Frekventistiske resultater

Den frekventistiske delen svarer på ett spørsmål: hvor ofte ville en forskjell minst like stor som denne dukket opp ved ren tilfeldighet, hvis varianten ikke endret noe i det hele tatt? Jo lavere verdi, desto vanskeligere er det å forklare forskjellen bort. Den vanlige grensen er 0,05.

Sammenligningen er en z-test for to andeler mellom hver variant og kontrollen, med samlet varians på vanlig måte. Z-verdien har fortegn i variantens retning: en variant som ligger foran, får en positiv verdi, som stemmer med uplift-intervallet som regnes ut ved siden av. Det høres trivielt ut, men er det ikke: stemmer ikke fortegnene i to kolonner i samme tabell overens, kan en tapende variant ende opp som vinner.

Signifikans avgjøres av p-verdien etter korreksjon for flere sammenligninger, ikke før. Med én variant har korreksjonen ingen effekt, og grensen er 0,05. Med flere varianter blir grensen strengere, og konsollen oppgir terskelen så du slipper å regne den ut selv.

En utrullet variant holdes utenfor sammenligningen. Den får ingen randomisert trafikk, og hadde vi behandlet den som en testarm, ville vi sammenlignet den med en kontroll den ikke lenger konkurrerer mot og blåst opp antallet sammenligninger som alt annet korrigeres for.