Statystyka, której da się obronić
Holm-Bonferroni, Benjamini-Hochberg i Šidák
Trzy poprawki kontrolujące dwie różne rzeczy. To, której chcecie, zależy od liczby prowadzonych wariantów i tego, ile kosztuje fałszywy zwycięzca.
Holm-Bonferroni jest najsurowsza z trzech. Sortuje porównania i schodzi w dół od najciaśniejszego progu, zatrzymując się na pierwszym, który zawodzi, i kontroluje szansę popełnienia jakiegokolwiek fałszywego twierdzenia. To właściwy domyślny wybór, kiedy fałszywy zwycięzca zostałby wdrożony i z nim żylibyście.
Benjamini-Hochberg pracuje z drugiego końca i kontroluje udział fałszywych trafień wśród wyników nazwanych zwycięzcami, a nie szansę jakiegokolwiek. To słabsza gwarancja i użyteczniejsza, kiedy działa kilka wariantów naraz: znacznie mniej prawdopodobne, że odrzuci realny efekt, kosztem dopuszczenia od czasu do czasu złego.
Šidák stosuje jeden próg do każdego porównania zamiast sekwencji progów. Jest odrobinę mniej surowa niż zwykły Bonferroni i zakłada, że porównania są niezależne, co jest rozsądnym założeniem, kiedy warianty są naprawdę różnymi pomysłami, a słabym, kiedy są wariacjami na jeden temat.
Brak poprawki też jest opcją i jest uczciwy co do kosztów: przy kilku porównaniach na nieskorygowanym progu konsola podaje wprost, jak prawdopodobny staje się co najmniej jeden fałszywy zwycięzca. To obronny wybór przy teście na jeden wariant i rzadko obronny poza tym.