Holm-Bonferroni, Benjamini-Hochberg en Šidák

Holm-Bonferroni is de strengste van de drie. Hij sorteert de vergelijkingen en werkt van de strakste drempel af omlaag, stoppend bij de eerste die faalt, en beheerst de kans op ook maar één valse claim. Het is de juiste standaard wanneer een valse winnaar zou worden uitgeleverd en waarmee geleefd moet worden.

Benjamini-Hochberg werkt vanaf het andere eind, en beheerst het aandeel valse positieven onder de resultaten die u tot winnaar uitroept, in plaats van de kans op ook maar één. Dat is een zwakkere garantie en een nuttigere wanneer meerdere varianten live staan: hij gooit betekenisvol minder vaak een echt effect weg, ten koste van af en toe een slechte binnenlaten.

Šidák past één drempel toe op elke vergelijking in plaats van een reeks ervan. Hij is iets minder streng dan een gewone Bonferroni en neemt aan dat de vergelijkingen onafhankelijk zijn, wat een redelijke aanname is wanneer uw varianten werkelijk verschillende ideeën zijn, en een zwakke wanneer ze variaties op één thema zijn.

Geen is ook een optie, en is eerlijk over wat het kost: bij meerdere vergelijkingen op een ongecorrigeerde drempel zegt de console ronduit hoe waarschijnlijk minstens één valse winnaar wordt. Dat is een verdedigbare keuze bij een test met één variant en zelden een verdedigbare daarbuiten.