Statistikk du kan stå for
Holm-Bonferroni, Benjamini-Hochberg og Šidák
Tre korreksjoner som kontrollerer to ulike ting. Hvilken dere vil ha, avhenger av hvor mange varianter dere kjører og hva en falsk vinner koster.
Holm-Bonferroni er den strengeste av de tre. Den sorterer sammenligningene og jobber nedover fra den strammeste terskelen, og stopper ved den første som feiler, og kontrollerer sjansen for å komme med noen falsk påstand i det hele tatt. Det er riktig standard når en falsk vinner ville blitt levert og levd med.
Benjamini-Hochberg jobber fra motsatt ende, og kontrollerer andelen falske positive blant resultatene dere kaller vinnere, heller enn sjansen for noen i det hele tatt. Det er en svakere og mer nyttig garanti når flere varianter er live: det er merkbart mindre sannsynlig at den kaster bort en reell effekt, mot at den innimellom slipper gjennom en dårlig.
Šidák bruker én terskel på hver sammenligning i stedet for en sekvens av dem. Den er litt mindre streng enn en ren Bonferroni og antar at sammenligningene er uavhengige, som er en rimelig antakelse når variantene deres er genuint ulike ideer og en dårlig en når de er variasjoner over samme tema.
Ingen er også et alternativ, og det er ærlig om hva det koster: med flere sammenligninger ved en ukorrigert terskel oppgir konsollen rett ut hvor sannsynlig minst én falsk vinner blir. Det er et forsvarlig valg på en test med én enkelt variant og sjelden et forsvarlig valg ellers.