Statistik som håller
Frekventistiska resultat
P-värdet, z-värdet och intervallet, beräknade som den som vill ifrågasätta dig skulle göra det.
Den frekventistiska delen svarar på en fråga: hur ofta skulle en skillnad minst lika stor som den här uppstå av en slump om varianten inte förändrade något alls? Ju lägre värde, desto svårare är det att förklara bort, och den vanliga gränsen går vid 0,05.
Jämförelsen är ett z-test för två proportioner mellan varje variant och kontrollen, poolat på standardsätt. Z-värdet får tecken efter variantens riktning, så en variant som ligger före får ett positivt värde som stämmer med uplift-intervallet bredvid. Det låter trivialt, men är det inte: när två kolumner i samma tabell har olika teckenkonvention är det så förlorande varianter går live.
Om utfallet är signifikant avgörs av p-värdet efter korrigering för multipla jämförelser, inte före. Med en variant påverkar korrigeringen ingenting och gränsen är helt enkelt 0,05. Med flera varianter blir den strängare, och konsolen visar tröskeln så att du slipper räkna ut den.
En utrullad variant utesluts ur jämförelsen. Den får ingen randomiserad trafik, så om den behandlades som en testvariant skulle den jämföras mot en kontroll som den inte längre konkurrerar med, och antalet jämförelser som allt annat korrigeras för skulle bli för stort.