Statistika, kterou obhájíte
Holm-Bonferroni, Benjamini-Hochberg a Šidák
Tři korekce, které kontrolují dvě různé věci. Která se hodí, závisí na tom, kolik variant běží a co stojí falešný vítěz.
Holm-Bonferroni je z těch tří nejpřísnější. Seřadí porovnání a pracuje odshora od nejpřísnějšího prahu dolů, zastaví se u prvního, které selže, a kontroluje šanci na jakékoli falešné tvrzení. Je to správná výchozí volba, když by se falešný vítěz vydal a muselo by se s ním žít.
Benjamini-Hochberg pracuje z opačného konce a kontroluje podíl falešně pozitivních mezi výsledky, které označíte za vítěze, ne šanci na jakýkoli. To je slabší záruka a užitečnější, když běží víc variant zároveň: je znatelně méně pravděpodobné, že zahodí skutečný efekt, za cenu občasného přiznání toho špatného.
Šidák uplatňuje jeden práh na každé porovnání místo sekvence prahů. Je o něco méně přísný než obyčejný Bonferroni a předpokládá, že jsou porovnání nezávislá, což je rozumný předpoklad, když jsou vaše varianty skutečně různé nápady, a špatný, když jsou variace na jedno téma.
Žádná je taky možnost a je poctivá ohledně toho, co stojí: při několika porovnáních na nekorigovaném prahu konzole rovnou uvede, jak pravděpodobný se stává aspoň jeden falešný vítěz. To je obhajitelná volba u testu s jedinou variantou a zřídkakdy obhajitelná jinde.