Tillitsspärrar mot trasig data

Automatisering är bara så bra som talet den läser. Tre villkor betyder att talet inte går att läsa, och vart och ett blockerar varje åtgärd som skulle grunda sig på det.

En snedvriden urvalsfördelning betyder att trafiken inte delades som konfigurerat, så de två grupperna inte är jämförbara och ingen kontrast mellan dem håller. Ingen trafik under ett helt dygn betyder att ingenting alls mäts. Och ett störningsfynd betyder att ett annat pågående experiment förstör den här avläsningen, vilket är det enda inget annat skulle fånga.

Den tredje spärren är skild från den första i stället för inbakad i den, för de två överlappar inte på det sätt de ser ut att göra. En omdirigeringsinteraktion visar sig visserligen som en snedvriden fördelning, men två experiment som redigerar samma element ger en perfekt fördelning och en sidkombination ingen granskat, vilket är osynligt för fördelningskontrollen och ändå inte en avläsning värd att agera på.

Tillitsspärrar skyddar bara signifikansvägen. Det tidsbaserade stoppet är ovillkorligt, för att avsluta ett experiment är alltid säkert och att låta ett trasigt fortsätta köra förbi sitt planerade slut gör ett problem till två. När en spärr blockerar anges skälet i klartext snarare än som en statuskod.