Sikkerhedskontroller ved datafejl

Automatisering er kun så god som det tal, den læser. Tre tilstande betyder, at tallet ikke kan læses, og hver af dem blokerer enhver handling, der ville bygge på det.

En skæv fordeling betyder, at trafikken ikke blev delt som konfigureret, så de to grupper ikke er sammenlignelige, og ingen forskel mellem dem holder. Ingen trafik i et helt døgn betyder, at der slet ikke måles noget. Og et fund af forstyrrelse betyder, at et andet kørende eksperiment ødelægger denne aflæsning, og det er den, intet andet ville fange.

Den tredje port er adskilt fra den første frem for lagt ind i den, fordi de to ikke overlapper, som man skulle tro. Et samspil mellem viderestillinger viser sig ganske vist som en skæv fordeling, men to eksperimenter, der redigerer samme element, giver en perfekt fordeling og en sidekombination, ingen har gennemgået, hvilket er usynligt for kontrollen af stikprøvefordelingen og stadig ikke en aflæsning, der er værd at handle på.

Sikkerhedskontrollerne gælder kun stop ved signifikans. Det tidsbaserede stop er ubetinget, fordi det altid er trygt at afslutte et eksperiment. En fejlbehæftet test, der fortsætter efter sin planlagte slutdato, giver to problemer i stedet for ét. Når en kontrol blokerer en handling, forklares årsagen med almindelige ord frem for en statuskode.