Statistikk du kan stå for
Frekventistiske resultater
P-verdien, z-verdien og intervallet, regnet ut slik noen som vil krangle med dere, ville regnet dem ut.
Den frekventistiske halvdelen svarer på ett spørsmål: hvor ofte ville en forskjell minst så stor som denne dukke opp ved tilfeldighet, hvis varianten ikke endret noe som helst. Lavere er vanskeligere å bortforklare, og under 0,05 er den vanlige grensen.
Sammenligningen er en z-test for to andeler mellom hver variant og kontrollen, slått sammen på standard vis. Z-verdien har fortegn i variantens retning, så en variant som ligger foran, leser positivt og stemmer med løftintervallet regnet ut ved siden av. Det høres trivielt ut og er det ikke: en fortegnskonvensjon som er uenig mellom to kolonner i én tabell, er hvordan en tapende variant sendes live.
Den signifikante dommen er p-verdien etter korreksjon for flere sammenligninger, ikke før den. Med én variant har korreksjonen ingen effekt og grensen er ganske enkelt 0,05; med flere strammes den, og konsollen oppgir terskelen i stedet for å la dere regne den ut selv.
En utrullet variant ekskluderes fra sammenligningen. Den mottar ingen randomisert trafikk, så å behandle den som en testarm ville sammenligne den mot en kontroll den ikke lenger konkurrerer med, og blåse opp antallet sammenligninger alt annet korrigeres for.