Statistik du kan stå på mål for
Løft og konfidensintervaller
To intervaller, der gør to forskellige ting. Det, der afgør en diskussion, er det andet.
Det første interval gælder en variants egen konverteringsrate: det område, dens sande rate med størst sandsynlighed ligger i. Det er et Wilson-interval frem for et naivt, hvilket betyder, at det holder sig mellem nul og hundrede procent selv ved små stikprøver, hvor en enklere beregning muntert rapporterer en nedre grænse under nul.
Det andet er det, der afgør noget. Løfteintervallet er området for forskellen mod kontrollen. Ligger hele området over nul, ligger varianten reelt foran. Går det hen over nul, er "ingen forskel" stadig forenelig med det, I har målt, uanset hvor lovende punktestimatet ser ud.
Den forskel er grunden til, at begge vises. To overlappende intervaller pr. variant siger intet om, hvorvidt forskellen mellem dem er reel, og at læse dem, som om de gjorde, er en af de mest almindelige måder, et eksperiment bliver afgjort for tidligt.
Løfteintervallet er også det, resten af platformen læser. Opgavekøen kalder først en vinder, når intervallet holder sig på den ene side af nul, implementeringskøen stiller det samme krav, og det automatiske stop nægter uden det. Én definition af "foran", brugt overalt.