Sekvensiell testing

En test med fast horisont er gyldig hvis du ser på resultatet én gang, helt til slutt. Ser du hver dag og stopper første gang grensen krysses, stiger andelen falske positive langt over de fem prosentene du tror du tester med. Det er ingen spissfindighet: dette er den vanligste måten testprogrammer lurer seg selv på.

Sekvensiell testing er laget for akkurat dette. Feilratene holdes under kontroll ved kontinuerlig overvåkning, så det er like gyldig å se på resultatet på dag ni som på dag tretti, og et klart resultat kan du handle på med en gang, uten å vente på kalenderen.

Den kan også konkludere i den andre retningen, noe testing med fast horisont ikke kan. «Ingen effekt av den størrelsen testen ble bygget for å finne» er en ekte konklusjon. Handler du på den, blir trafikken ledig for neste idé, og du slipper å la en flat test gå videre på håp.

Den er bevisst forsiktig med automatisering. Automatisk stopp krever at den sekvensielle testen og den korrigerte p-verdien er enige, om samme variant og i samme retning. De er ikke alltid enige. Det kjente tilfellet er en reell effekt som er mindre enn den testen er dimensjonert for: den sekvensielle testen ser ingen effekt, mens p-verdien til slutt blir signifikant. Da skjer ingenting, og eksperimentet går til planlagt slutt. Det er med vilje: hvis noe skal svikte, skal det svikte denne veien.