Arresto alla significatività

Fermarsi nel momento in cui un test scende sotto p 0,05 è arresto opzionale da manuale. Sbirciare ripetutamente e fermarsi al primo superamento gonfia il tasso di falsi positivi molto oltre il cinque per cento nominale, e un controllo automatico sbircia ogni singolo minuto, che è il caso peggiore.

Quindi la regola è prudente. Un arresto automatico richiede che il test sequenziale e il valore p corretto concordino, sulla stessa variante, nella stessa direzione. Il test sequenziale è valido sotto monitoraggio continuo; il valore p corretto è un aiuto alla lettura per una persona che guarda di tanto in tanto e da solo non è una regola di arresto valida.

Questo ha una conseguenza nota, che la piattaforma applica anziché nascondere. Il test sequenziale è dimensionato per un incremento obiettivo fisso, quindi un test con un effetto reale ma più piccolo lo lascia a leggere nessun effetto mentre il valore p finisce per leggere significativo. Non concordano mai, non scatta nulla, e il test arriva alla sua fine pianificata. È per questo che una data di fine pianificata è obbligatoria insieme a questa impostazione: la significatività può solo far finire un test in anticipo, mai essere l’unica cosa che lo chiude.

Tre porte di affidabilità stanno davanti a tutto il percorso. Una ripartizione che non corrisponde più, un giorno intero senza traffico, o l’interferenza di un altro test attivo bloccano ciascuna l’arresto, perché la lettura su cui si baserebbe non è affidabile.