Holm-Bonferroni, Benjamini-Hochberg og Šidák

Holm-Bonferroni er den strengeste af de tre. Den sorterer sammenligningerne og arbejder sig ned fra den strammeste tærskel, stopper ved den første, der ikke holder, og styrer risikoen for overhovedet at fremsætte en falsk påstand. Det er det rigtige udgangspunkt, når en falsk vinder ville blive udrullet og levet med.

Benjamini-Hochberg arbejder fra den anden ende og styrer andelen af falske positive blandt de resultater, I kalder vindere, frem for risikoen for en enkelt. Det er en svagere garanti og en mere brugbar en, når flere varianter er live: den er mærkbart mindre tilbøjelig til at smide en reel effekt væk, mod at den nu og da lukker en dårlig ind.

Šidák lægger én tærskel på hver sammenligning i stedet for en række af dem. Den er en smule mindre streng end en almindelig Bonferroni og antager, at sammenligningerne er uafhængige, hvilket er en rimelig antagelse, når jeres varianter er reelt forskellige idéer, og en dårlig en, når de er variationer over samme tema.

Ingen korrektion er også en mulighed, og den er ærlig om, hvad det koster: med flere sammenligninger på en ukorrigeret tærskel siger konsollen lige ud, hvor sandsynligt mindst én falsk vinder bliver. Det er et forsvarligt valg på en test med én variant og sjældent forsvarligt ellers.