Vangrails voor minimale looptijd

Verkeer is op een dinsdag niet hetzelfde als op een zondag, en intentie ook niet. Een experiment dat na vier dagen stopt, heeft precies die dagen gemeten, en het gerapporteerde effect overleeft geen volle week.

Daarom wordt een minimale looptijd afgedwongen voordat een geautomatiseerde stop bij significantie is toegestaan. Standaard is dat veertien dagen, twee volledige bedrijfscycli, en hij kan helemaal niet onder zeven worden ingesteld. Die ondergrens is een harde grens en geen waarschuwing, want het argument om eronder te gaan is altijd hetzelfde en altijd fout.

Hij bewaakt alleen het significantiepad. Een geplande einddatum beëindigt het experiment nog steeds zodra die aanbreekt, en iemand kan altijd handmatig stoppen. De vangrail bestaat om automatisering tegen te houden die handelt op een te vroeg genomen lezing, niet om u tegen te houden bij het beheren van uw eigen programma.

Hij wordt bewust vóór de geen-verkeer-poort gecontroleerd. Een net gestart experiment ziet er identiek uit aan een experiment dat een dag lang niets heeft vastgelegd, en blokkeren op die lezing is definitief. Die poort controleren voordat een experiment de kans heeft gehad verkeer te ontvangen, zou dus elke planning voor stoppen bij significantie binnen een minuut na livegang vernietigen.