Statistikk du kan stå inne for
Korreksjon for flere sammenligninger
Test fire varianter mot 0,05 hver, og sjansen for en falsk vinner er omtrent én av fem. En korreksjon hindrer det.
Hver ekstra variant er en ny sjanse for at støy ser ut som en vinner. Med fire sammenligninger på 0,05 hver er sjansen for at minst én krysser grensen av ren flaks nær tjue prosent. Vinneren du ruller ut, kan da like gjerne være et artefakt som en forbedring.
En korreksjon skjerper kravet for å veie opp for dette. Pertento har tre metoder, pluss ingen korreksjon, og valget endrer bare konklusjonen om signifikans. P-verdien, z-verdien og intervallene er uendret, så et metodebytte endrer aldri bevisene, bare kravet du måler dem mot.
Med én variant gir alle fire samme terskel. Det trenger du ikke finne ut ved å prøve hver metode: konsollen sier det rett ut, og viser terskelen den valgte metoden faktisk bruker for antallet sammenligninger du har.
Der plattformen handler på egen hånd, er korreksjonen låst og ikke valgfri. Oppgavekøen, implementeringskøen og den automatiske stoppregelen bruker alle samme metode. En kø kan ikke ha en nedtrekksmeny, og to skjermer som er uenige om hvem som vant, er nettopp feilen dette hindrer.