Sperrer mot ødelagte data

Automatikk er bare så god som tallet den leser. Tre tilfeller gjør at tallet ikke kan leses, og hvert av dem blokkerer alle handlinger som ville bygget på det.

Sample ratio mismatch betyr at trafikken ikke ble fordelt slik du satte den opp, så de to gruppene kan ikke sammenlignes, og ingen forskjell mellom dem holder. Ingen trafikk på et helt døgn betyr at ingenting måles. Og et interferensfunn betyr at et annet eksperiment som kjører, ødelegger avlesningen. Det er den eneste av de tre som ingenting annet ville fanget opp.

Den tredje sperren er skilt fra den første og ikke slått sammen med den, for de overlapper ikke slik man skulle tro. En omdirigering som påvirker et annet eksperiment, viser seg riktignok som et fordelingsavvik. Men to eksperimenter som endrer samme element, gir en perfekt fordeling og en sidekombinasjon ingen har sett på. Det er usynlig for sample ratio-sjekken, og er likevel ikke en avlesning å handle på.

Sperrene gjelder bare stopp ved signifikans. Tidsstopp er ubetinget, fordi det alltid er trygt å avslutte et eksperiment, og å la et ødelagt eksperiment kjøre forbi planlagt slutt gjør ett problem til to. Når en sperre blokkerer, får du årsaken i klartekst, ikke en statuskode.