Statistikk du kan stå inne for
Holm-Bonferroni, Benjamini-Hochberg og Šidák
Tre korreksjoner som kontrollerer to ulike ting. Hvilken du bør velge, avhenger av hvor mange varianter du kjører og hva en falsk vinner koster.
Holm-Bonferroni er den strengeste av de tre. Den sorterer sammenligningene, starter med den strengeste terskelen og stopper ved den første som ikke består. Den kontrollerer sjansen for å komme med noen falsk påstand i det hele tatt. Det er riktig standard når en falsk vinner ville blitt rullet ut og levd med.
Benjamini-Hochberg jobber fra motsatt ende. Den kontrollerer andelen falske positive blant resultatene du kaller vinnere, ikke sjansen for en eneste falsk positiv. Garantien er svakere, men mer nyttig når flere varianter kjører: metoden kaster merkbart sjeldnere bort en reell effekt, og prisen er at en og annen dårlig variant slipper gjennom.
Šidák bruker én terskel på alle sammenligninger, ikke en rekke av terskler. Den er litt mindre streng enn ren Bonferroni og forutsetter at sammenligningene er uavhengige. Det er rimelig når variantene er helt ulike ideer, og dårlig når de er variasjoner over samme tema.
«Ingen» er også et alternativ, og kostnaden er åpen: med flere sammenligninger og en ukorrigert terskel sier konsollen rett ut hvor sannsynlig det blir med minst én falsk vinner. Det kan forsvares på en test med én variant, men sjelden ellers.