Sekventiel test

En test med fast horisont er gyldig, hvis I ser på den én gang, til slut. Ser I hver dag og stopper ved den første overskridelse, klatrer andelen af falske positive langt over de fem procent, I tror I kører med. Det er ikke en finesse; det er den enkeltvis mest almindelige måde, eksperimenteringsprogrammer narrer sig selv.

Sekventiel test er den test, der er designet til netop det. Dens fejlrater er styret under løbende overvågning, så et kig på dag ni er lige så gyldigt som et kig på dag tredive, og et klart resultat kan handles på, når det kommer, frem for når kalenderen siger til.

Den kalder også det andet udfald, hvad en test med fast horisont ikke kan. "Ingen effekt af den størrelse, denne test blev bygget til at finde" er en rigtig konklusion, og at handle på den frigør trafikken til den næste idé i stedet for at lade en flad test køre videre på håb.

Den er bevidst konservativ omkring automatisering. Et automatisk stop kræver, at den sekventielle test og den korrigerede p-værdi er enige, om den samme variant, i den samme retning. De vil ikke altid være enige, og det kendte tilfælde er en reel effekt, der er mindre end den, den sekventielle test er dimensioneret til: den læser ingen effekt, mens p-værdien til sidst læser signifikant, intet udløses, og eksperimentet kører til sin planlagte slutning. Det er den retning, det er meningen, den skal fejle i.