Uplift och konfidensintervall

Det första intervallet gäller en variants egen konverteringsgrad: spannet där den verkliga andelen sannolikt ligger. Det är ett Wilson-intervall och inte ett naivt, så det håller sig mellan noll och hundra procent även vid små urval. En enklare beräkning kan i samma läge ange en nedre gräns under noll.

Det andra är det som avgör. Uplift-intervallet visar spannet för skillnaden mot kontrollen. Ligger hela spannet över noll är varianten klart före. Om det sträcker sig över noll kan det du har mätt fortfarande bero på att det inte finns någon skillnad, hur lovande punktskattningen än ser ut.

Därför visas båda. Två överlappande intervall, ett per variant, säger inte om skillnaden mellan varianterna är verklig, och att läsa dem så är ett av de vanligaste sätten att avsluta ett experiment för tidigt.

Uplift-intervallet är också det resten av plattformen utgår från. Uppmärksamhetskön utser bara en vinnare när intervallet ligger helt på ena sidan om noll, implementeringskön använder samma spärr och det automatiska stoppet agerar inte utan det. Samma definition av “före” överallt.