Holm-Bonferroni, Benjamini-Hochberg och Šidák

Holm-Bonferroni är den strängaste av de tre. Den sorterar jämförelserna och arbetar nedåt från den strängaste gränsen, stannar vid den första som misslyckas, och kontrollerar chansen att göra något falskt påstående alls. Det är rätt standardval när en falsk vinnare skulle skeppas och levas med.

Benjamini-Hochberg arbetar från andra hållet, och kontrollerar andelen falska positiva bland resultaten ni kallar vinnare snarare än chansen för någon alls. Det är en svagare garanti och en mer användbar när flera varianter är live: den är märkbart mindre benägen att kasta bort en verklig effekt, till priset av att då och då släppa in en dålig.

Šidák tillämpar en gräns på varje jämförelse i stället för en sekvens av dem. Den är något mindre sträng än en ren Bonferroni och antar att jämförelserna är oberoende, vilket är ett rimligt antagande när era varianter är genuint olika idéer och ett dåligt när de är variationer på ett tema.

Ingen är också ett alternativ, och det är öppet med vad det kostar: med flera jämförelser vid en okorrigerad gräns anger konsolen rakt ut hur sannolikt det blir att minst en falsk vinnare uppstår. Det är ett försvarbart val på ett test med en variant och sällan ett försvarbart val annars.