Monitoring

Værn om mindste kørselstid

Fjorten dage som standard, og aldrig under syv. Under en uge måler I en tirsdag frem for en forretning.

14 dage som standardGulv på 7 dageHåndhævet, ikke anbefalet

Trafikken er ikke den samme på en tirsdag som på en søndag, og hensigten er det heller ikke. Et eksperiment, der stoppes efter fire dage, har målt netop de dage, det nu var, og den effekt, det rapporterer, holder ikke til mødet med en hel uge.

Derfor håndhæves en mindste kørselstid, før et automatisk stop ved signifikans tillades. Standarden er fjorten dage, altså to hele forretningscyklusser, og den kan slet ikke sættes under syv. Det gulv er en hård grænse frem for en advarsel, fordi argumentet for at gå under det altid er det samme og altid forkert.

Den styrer kun signifikansforløbet. En planlagt sluttid afslutter stadig eksperimentet, når den kommer, og et menneske kan altid stoppe et i hånden. Værnet findes for at hindre automatisering i at handle på et tal, der er læst for tidligt, ikke for at forhindre jer i at drive jeres eget program.

Den tjekkes før porten for ingen trafik, med vilje. Et netop startet eksperiment ser præcis ud som et, der intet har registreret i et døgn, og at blokere på den aflæsning er endeligt, så en vurdering af den, før eksperimentet har haft mulighed for at få trafik, ville ødelægge hver planlægning med stop ved signifikans inden for et minut efter, at den gik live.

Bedre eksperimenter, bedre konvertering

Test on all visitors with the world’s lightest script and make confident decisions powered by real-time reporting.