Statistik du kan stå för
Frekventistiska resultat
P-värdet, z-värdet och intervallet, beräknade på det sätt någon som vill argumentera mot er skulle beräkna dem.
Den frekventistiska halvan svarar på en fråga: hur ofta skulle en skillnad minst så här stor uppträda av slump, om varianten inte ändrade något alls. Lägre är svårare att bortförklara, och under 0,05 är den vanliga ribban.
Jämförelsen är ett tvåproportions-z-test mellan varje variant och kontrollen, sammanslaget på det vanliga sättet. Z-värdet tecknas i variantens riktning, så en variant som ligger före läses positiv och stämmer med lyftintervallet beräknat bredvid det. Det låter trivialt och är det inte: en teckenkonvention som är oense mellan två kolumner i en och samma tabell är hur en förlorande variant skeppas.
Det signifikanta utfallet är p-värdet efter korrigering för multipla jämförelser, inte före. Med en variant har korrigeringen ingen effekt och ribban är helt enkelt 0,05; med flera skärps den, och konsolen anger gränsen i stället för att låta er räkna ut den.
En driftsatt variant utesluts från jämförelsen. Den får ingen randomiserad trafik, så att behandla den som en testarm skulle jämföra den mot en kontroll den inte längre konkurrerar med och blåsa upp antalet jämförelser allt annat korrigeras för.