Statistikk du kan stå for
Løft- og konfidensintervaller
To intervaller, med to ulike jobber. Det som avgjør en diskusjon, er det andre.
Det første intervallet er for en variants egen konverteringsrate: området den sanne raten mest sannsynlig faller i. Det er et Wilson-intervall heller enn et naivt et, som betyr at det holder seg innenfor null og hundre prosent selv ved små utvalg, der en enklere beregning muntert rapporterer en nedre grense under null.
Det andre er det som avgjør ting. Løftintervallet er området for forskjellen mot kontrollen. Hvis hele området ligger over null, er varianten genuint foran. Hvis det spenner over null, er «ingen forskjell» fortsatt forenlig med det dere har målt, uansett hvor oppmuntrende punktestimatet ser ut.
Det skillet er hvorfor begge vises. To overlappende per-variant-intervaller sier ikke om forskjellen mellom dem er reell, og å lese dem som om de gjorde det, er en av de vanligste måtene et eksperiment blir kalt for tidlig.
Løftintervallet er også det resten av plattformen leser. Oppmerksomhetskøen kaller bare en vinner når intervallet holder seg på én side av null, implementeringskøen bruker samme port, og den automatiske stoppen nekter uten det. Én definisjon av «foran», brukt overalt.