Statistikk du kan stå inne for
Uplift og konfidensintervaller
To intervaller med hver sin jobb. Det andre avgjør diskusjonen.
Det første gjelder variantens egen konverteringsrate: området der den sanne raten mest sannsynlig ligger. Det er et Wilson-intervall, ikke et naivt, så det holder seg mellom null og hundre prosent også i små utvalg. En enklere beregning kan der gi en nedre grense under null.
Det andre er det som avgjør. Uplift-intervallet er området for forskjellen mot kontrollen. Ligger hele området over null, er varianten klart foran. Krysser det null, er «ingen forskjell» fortsatt forenlig med det du har målt, uansett hvor lovende punktestimatet ser ut.
Derfor vises begge. Når intervallene til to varianter overlapper, sier det ikke om forskjellen mellom dem er reell. Å lese dem som om det gjorde det, er en av de vanligste grunnene til at et eksperiment avgjøres for tidlig.
Resten av plattformen bruker også uplift-intervallet. Oppgavekøen kårer bare en vinner når intervallet ligger på én side av null, implementeringskøen krever det samme, og automatisk stopp avviser uten det. Én definisjon av «foran», brukt overalt.