Holm-Bonferroni, Benjamini-Hochberg och Šidák

Holm-Bonferroni är den strängaste av de tre. Den sorterar jämförelserna, börjar vid den strängaste tröskeln och arbetar sig nedåt tills en jämförelse inte klarar sin tröskel. Den kontrollerar risken för att över huvud taget göra något falskt påstående. Det är ett bra standardval när en falsk vinnare skulle rullas ut och bli kvar.

Benjamini-Hochberg arbetar från andra hållet och kontrollerar andelen falska positiva bland de resultat du kallar vinnare, inte risken för att få någon alls. Garantin är svagare men mer användbar när flera varianter är igång: metoden kastar märkbart mer sällan bort en verklig effekt, till priset av att då och då släppa igenom en dålig.

Šidák använder en och samma tröskel för alla jämförelser och ingen sekvens. Den är något mindre sträng än en vanlig Bonferroni och förutsätter att jämförelserna är oberoende. Det är rimligt när varianterna är helt olika idéer, men sämre när de är variationer på samma tema.

Att inte korrigera alls är också ett alternativ, och konsolen är öppen med vad det kostar: vid flera jämförelser med okorrigerad tröskel visar den rakt ut hur sannolikt det är att minst en falsk vinnare dyker upp. Det går att försvara i ett test med en enda variant, men sällan i andra fall.