Stopp ved signifikans

Å stoppe i det øyeblikket en test krysser p under 0,05, er et skoleeksempel på valgfri stopping. Kikker du gang på gang og stopper første gang grensen krysses, stiger andelen falske positive langt over de fem prosentene du tror du tester med. En automatisk sjekk kikker hvert eneste minutt, og det er det verste tilfellet.

Derfor er regelen forsiktig. Automatisk stopp krever at den sekvensielle testen og den korrigerte p-verdien er enige, om samme variant og i samme retning. Den sekvensielle testen er gyldig ved kontinuerlig overvåkning. Den korrigerte p-verdien er en lesehjelp for et menneske som ser på resultatet av og til, og er ikke en gyldig stoppregel alene.

Dette har en kjent konsekvens, og plattformen er åpen om den. Den sekvensielle testen er dimensjonert for et fast uplift-mål. Har eksperimentet en reell, men mindre effekt, ser den ingen effekt, mens p-verdien til slutt blir signifikant. De blir aldri enige, ingenting utløses, og eksperimentet går til planlagt slutt. Derfor må du oppgi en sluttdato når denne innstillingen er på: signifikans kan bare avslutte et eksperiment tidlig, aldri være det eneste som avslutter det.

Tre sperrer står foran hele løpet. En fordeling som ikke lenger stemmer, et helt døgn uten trafikk eller interferens fra et annet eksperiment som kjører: hver for seg blokkerer de stoppen, fordi avlesningen den ville bygget på, ikke kan stoles på.