Statistika, kterou obhájíte
Korekce na vícenásobné porovnání
Otestujte čtyři varianty po 0,05 a máte zhruba jednu šanci z pěti na falešného vítěze. Korekce je to, co tomu zabrání.
Každá další varianta je další šance, že bude šum vypadat jako vítěz. Při čtyřech porovnáních posuzovaných po 0,05 je šance, že aspoň jedno projde náhodou, blízko dvaceti procentům, a vítěz, kterého vydáte, je stejně pravděpodobně artefakt jako zlepšení.
Korekce zpřísní práh, aby to vykompenzovala. Pertento nabízí tři, plus žádnou, a použití jedné mění jen verdikt o významnosti. P-hodnota, z-skóre a intervaly zůstávají nedotčené, takže přepnutí metody nikdy nezmění důkaz, jen standard, podle kterého ho posuzujete.
S jedinou variantou se všechny čtyři scvrknou na stejný práh. Místo aby vás nechala to objevit vyzkoušením každé možnosti, konzole to řekne přímo a uvede skutečný práh, který zvolená metoda uplatňuje na váš počet porovnání.
Jedna korekce je napevno zvolená, ne volitelná, kdekoli platforma jedná sama za sebe. Fronta pozornosti, implementační fronta i pravidlo automatického zastavení čtou stejnou metodu, protože fronta nemůže nabídnout rozbalovací seznam a dvě obrazovky, které si odporují v tom, kdo vyhrál, je přesně ta chyba, které se tím vyhýbá.