Tillidsporte på brudt data

Automatisering er kun så god som det tal, den læser. Tre tilstande betyder, at tallet ikke kan læses, og hver af dem blokerer enhver handling, der ville bygge på det.

En skæv fordeling betyder, at trafikken ikke blev delt som konfigureret, så de to grupper ikke er sammenlignelige, og ingen forskel mellem dem holder. Ingen trafik i et helt døgn betyder, at der slet ikke måles noget. Og et fund af forstyrrelse betyder, at et andet kørende eksperiment ødelægger denne aflæsning, og det er den, intet andet ville fange.

Den tredje port er adskilt fra den første frem for lagt ind i den, fordi de to ikke overlapper, som man skulle tro. Et samspil mellem viderestillinger viser sig ganske vist som en skæv fordeling, men to eksperimenter, der redigerer samme element, giver en perfekt fordeling og en sidekombination, ingen har gennemgået, hvilket er usynligt for kontrollen af stikprøvefordelingen og stadig ikke en aflæsning, der er værd at handle på.

Tillidsporte værner kun om signifikansforløbet. Det tidsbaserede stop er ubetinget, fordi det altid er trygt at afslutte et eksperiment, og at lade et brudt køre videre forbi sin planlagte slutning laver to problemer ud af ét. Når en port blokerer, står grunden i almindelige ord frem for som en statuskode.