Lift- en betrouwbaarheidsintervallen

Het eerste interval is voor het eigen conversiepercentage van een variant: de reeks waarin het werkelijke percentage het meest waarschijnlijk valt. Het is een Wilson-interval in plaats van een naïef interval, wat betekent dat het binnen nul en honderd procent blijft, zelfs bij kleine steekproeven, waar een simpelere berekening vrolijk een ondergrens onder nul rapporteert.

Het tweede is het interval dat beslist. Het liftinterval is de reeks voor het verschil met de controle. Ligt de hele reeks boven nul, dan ligt de variant er echt voor. Overspant het nul, dan is "geen verschil" nog steeds verenigbaar met wat u gemeten heeft, hoe bemoedigend de puntschatting ook oogt.

Dat onderscheid is waarom beide worden getoond. Twee overlappende intervallen per variant vertellen u niet of het verschil ertussen echt is, en ze zo lezen alsof dat wel zo is, is een van de meest gebruikelijke manieren waarop een experiment te vroeg wordt uitgeroepen.

Het liftinterval is ook wat de rest van het platform leest. De aandachtswachtrij roept alleen een winnaar uit wanneer het interval aan één kant van nul blijft, de implementatiewachtrij past dezelfde poort toe, en het automatische stoppen weigert zonder dat. Eén definitie van "voorop", overal gebruikt.