Statistik du kan stå på mål for
Frekventistiske resultater
P-værdien, z-værdien og intervallet, beregnet som en, der gerne vil diskutere med jer, ville beregne dem.
Den frekventistiske halvdel svarer på ét spørgsmål: hvor ofte ville en forskel, der er mindst så stor, opstå ved tilfældighed, hvis varianten intet ændrede. Lavere er sværere at bortforklare, og under 0,05 er den sædvanlige barre.
Sammenligningen er en z-test for to andele mellem hver variant og kontrollen, poolet på standardmåden. Z-værdien får fortegn i variantens retning, så en variant, der ligger foran, læses som positiv og stemmer med det løfteinterval, der beregnes ved siden af. Det lyder trivielt og er det ikke: en fortegnskonvention, der er uenig mellem to kolonner i samme tabel, er sådan en tabende variant bliver leveret.
Udfaldet signifikant er p-værdien efter korrektion for multiple sammenligninger, ikke før. Med en enkelt variant har korrektionen ingen effekt, og barren er simpelthen 0,05; med flere strammes den, og konsollen oplyser tærsklen frem for at lade jer regne den ud.
En udrullet variant udelades af sammenligningen. Den modtager ingen randomiseret trafik, så at behandle den som en testarm ville sammenligne den med en kontrol, den ikke længere konkurrerer mod, og puste antallet af sammenligninger op, som alt det andet korrigeres for.