Statistik du kan stå för
Korrigering för multipla jämförelser
Testa fyra varianter vid 0,05 var och ni har ungefär en chans på fem för en falsk vinnare. En korrigering är det som stoppar det.
Varje ytterligare variant är ännu en chans för brus att se ut som en vinnare. Med fyra jämförelser bedömda vid 0,05 var är chansen att minst en passerar av tur nära 20 procent, och vinnaren ni skeppar är lika sannolikt en artefakt som en förbättring.
En korrigering skärper ribban för att kompensera. Pertento erbjuder tre, plus ingen, och att tillämpa en ändrar bara det signifikanta utfallet. P-värdet, z-värdet och intervallen förblir orörda, så att byta metod ändrar aldrig beviset, bara måttstocken ni håller det mot.
Med en enda variant reduceras alla fyra till samma gräns. I stället för att låta er upptäcka det genom att prova varje alternativ säger konsolen det rakt ut, och anger den faktiska gränsen den valda metoden tillämpar över ert antal jämförelser.
En korrigering är fastnålad snarare än vald varhelst plattformen agerar på egen hand. Uppmärksamhetskön, implementeringskön och den automatiska stoppregeln läser alla samma metod, för en kö kan inte erbjuda en rullgardinsmeny, och två skärmar som är oense om vem som vann är buggen det här undviker.