Test sequenziale

Un test a orizzonte fisso è valido se guardate una volta, alla fine. Guardate ogni giorno e fermatevi al primo superamento, e il tasso di falsi positivi sale molto sopra il cinque per cento a cui credete di lavorare. Non è una sottigliezza; è il singolo modo più comune in cui i programmi di sperimentazione ingannano se stessi.

Il test sequenziale è il test progettato per questo. I suoi tassi di errore sono controllati sotto monitoraggio continuo, quindi uno sguardo al nono giorno è valido come uno al trentesimo, e un risultato chiaro si può usare quando arriva anziché quando lo dice il calendario.

Dichiara anche l’altro esito, cosa che un test a orizzonte fisso non può fare. "Nessun effetto dell’ampiezza per cui questo test è stato costruito" è una conclusione vera, e agire su di essa libera il traffico per l’idea successiva invece di lasciare un test piatto a girare per speranza.

È deliberatamente prudente sull’automazione. Un arresto automatico richiede che il test sequenziale e il valore p corretto concordino, sulla stessa variante, nella stessa direzione. Non concorderanno sempre, e il caso noto è un effetto reale più piccolo di quello per cui il test sequenziale è dimensionato: quello legge nessun effetto mentre il valore p finisce per leggere significativo, non scatta nulla, e il test arriva alla sua fine pianificata. È la direzione in cui si vuole fallire.