Statistikk du kan stå for
Korreksjon for flere sammenligninger
Test fire varianter ved 0,05 hver, og dere har omtrent én av fem sjanser for en falsk vinner. En korreksjon er det som stopper det.
Hver ekstra variant er en ny sjanse for at støy ser ut som en vinner. Med fire sammenligninger dømt ved 0,05 hver, er sjansen for at minst én krysser av flaks nær tjue prosent, og vinneren dere leverer er like sannsynlig et artefakt som en forbedring.
En korreksjon strammer grensen for å kompensere. Pertento tilbyr tre, pluss ingen, og å bruke én endrer bare den signifikante dommen. P-verdien, z-verdien og intervallene er urørt, så å bytte metode endrer aldri bevisene, bare standarden dere holder dem opp mot.
Med én enkelt variant reduseres alle fire til samme terskel. I stedet for å la dere oppdage det ved å prøve hvert alternativ, sier konsollen det rett ut, og oppgir den faktiske terskelen den valgte metoden bruker på tvers av antallet sammenligninger dere har.
Én korreksjon er fastlåst heller enn valgt der plattformen handler på egne vegne. Oppmerksomhetskøen, implementeringskøen og den automatiske stoppregelen leser alle den samme metoden, fordi en kø ikke kan tilby en nedtrekksmeny, og to skjermer som er uenige om hvem som vant, er feilen dette unngår.