Sekvensiell testing

En test med fast horisont er gyldig hvis dere ser én gang, på slutten. Se hver dag og stopp ved første kryssing, og andelen falske positive stiger langt over de fem prosentene dere tror dere kjører på. Dette er ikke en finesse; det er den enkeltvis vanligste måten eksperimenteringsprogrammer lurer seg selv på.

Sekvensiell testing er testen designet for det. Feilratene kontrolleres under kontinuerlig overvåkning, så et blikk på dag ni er like gyldig som et blikk på dag tretti, og et klart resultat kan handles på når det ankommer heller enn når kalenderen sier det.

Den kaller også det andre utfallet, som testing med fast horisont ikke kan. «Ingen effekt av størrelsen denne testen ble bygget for å finne» er en reell konklusjon, og å handle på den frigjør trafikken til neste idé i stedet for å la en flat test kjøre videre på håp.

Den er bevisst konservativ om automatisering. En automatisert stopp krever at den sekvensielle testen og den korrigerte p-verdien er enige, på samme variant, i samme retning. De vil ikke alltid være enige, og det kjente tilfellet er en reell effekt mindre enn den sekvensielle testen er dimensjonert for: den leser ingen effekt mens p-verdien til slutt leser signifikant, ingenting utløses, og eksperimentet kjører til sin planlagte slutt. Det er den tilsiktede retningen å feile i.