Statistik du kan stå för
Lyft- och konfidensintervall
Två intervall, som gör två olika jobb. Det som avgör en diskussion är det andra.
Det första intervallet gäller en variants egen konverteringsgrad: intervallet dess verkliga andel med störst sannolikhet faller inom. Det är ett Wilson-intervall snarare än ett naivt, vilket betyder att det håller sig innanför noll och hundra procent även vid små urval, där en enklare beräkning glatt rapporterar en undre gräns under noll.
Det andra är det som avgör saker. Lyftintervallet är intervallet för skillnaden mot kontrollen. Om hela intervallet ligger över noll är varianten verkligen före. Om det spänner över noll är "ingen skillnad" fortfarande förenligt med vad ni har mätt, hur lovande punktskattningen än ser ut.
Den distinktionen är varför båda visas. Två överlappande per-variant-intervall säger inte om skillnaden mellan dem är verklig, och att läsa dem som om de gjorde det är ett av de vanligaste sätten ett experiment avgörs för tidigt.
Lyftintervallet är också det resten av plattformen läser. Uppmärksamhetskön utser bara en vinnare när intervallet håller sig på ena sidan av noll, implementeringskön tillämpar samma spärr, och det automatiska stoppet vägrar utan det. En definition av "före", använd överallt.