Holm-Bonferroni, Benjamini-Hochberg en Šidák

Holm-Bonferroni is de strengste van de drie. Hij sorteert de vergelijkingen en werkt van de strakste drempel af omlaag, stoppend bij de eerste die faalt, en beheerst de kans op ook maar één valse claim. Het is de juiste standaardkeuze wanneer een valse winnaar zou worden doorgevoerd en u er daarna mee moet leven.

Benjamini-Hochberg werkt vanaf het andere eind, en beheerst het aandeel valse positieven onder de resultaten die u tot winnaar uitroept, in plaats van de kans op ook maar één. Dat is een zwakkere garantie en een nuttigere wanneer meerdere varianten live staan: hij gooit merkbaar minder vaak een echt effect weg, ten koste van af en toe een onterechte winnaar.

Šidák past één drempel toe op elke vergelijking in plaats van een reeks ervan. Hij is iets minder streng dan een gewone Bonferroni en neemt aan dat de vergelijkingen onafhankelijk zijn, wat een redelijke aanname is wanneer uw varianten werkelijk verschillende ideeën zijn, en een zwakke wanneer ze variaties op één thema zijn.

Geen correctie is ook een optie, en die is eerlijk over wat ze kost: bij meerdere vergelijkingen op een ongecorrigeerde drempel zegt de console ronduit hoe waarschijnlijk minstens één valse winnaar wordt. Dat is een verdedigbare keuze bij een test met één variant en zelden een verdedigbare daarbuiten.