Sikring for minste kjøretid

Trafikken er ikke den samme på en tirsdag som på en søndag, og det er heller ikke kjøpsintensjonen. Et eksperiment som stoppes etter fire dager, har målt akkurat de dagene, og effekten det rapporterer, holder ikke når det møter en hel uke.

Derfor håndheves en minste kjøretid før automatisk stopp ved signifikans er tillatt. Standarden er fjorten dager, to hele forretningssykluser, og den kan ikke settes under sju. Den nedre grensen er hard, ikke en advarsel, for argumentet for å gå under den er alltid det samme, og alltid feil.

Sikringen gjelder bare stopp ved signifikans. En planlagt sluttdato avslutter fortsatt eksperimentet når den kommer, og du kan alltid stoppe et eksperiment for hånd. Sikringen er der for å hindre at automatikken handler på en avlesning som er tatt for tidlig, ikke for å hindre deg i å styre testprogrammet ditt.

Den sjekkes med vilje før sperren for manglende trafikk. Et eksperiment som nettopp er startet, ser likt ut som et som ikke har registrert noe på et døgn, og en blokkering på det grunnlaget er endelig. Hvis sperren ble vurdert før eksperimentet hadde fått mulighet til å motta trafikk, ville hver eneste tidsplan med stopp ved signifikans blitt ødelagt innen ett minutt etter at den gikk live.