Spärrar mot trasig data

Automatisering är bara så bra som siffran den läser. Tre villkor gör att siffran inte går att tolka, och varje villkor blockerar alla åtgärder som skulle bygga på den.

Sample ratio mismatch betyder att trafiken inte fördelades som inställt, så att de två grupperna inte går att jämföra och ingen jämförelse mellan dem håller. Ingen trafik under ett helt dygn betyder att ingenting mäts alls. Och störning betyder att ett annat pågående experiment förstör den här avläsningen, det enda fall som inget annat skulle fånga upp.

Den tredje spärren är skild från den första och inte inbakad i den, eftersom de två inte överlappar så som man skulle tro. En omdirigering som stör syns visserligen som en snedvriden fördelning, men två experiment som ändrar samma element ger en perfekt fördelning och en sidkombination som ingen har granskat. Det syns inte för kontrollen av trafikfördelningen och är ändå ingen avläsning att agera på.

Spärrarna skyddar bara signifikansstoppet. Tidsstoppet är ovillkorligt, eftersom det alltid är säkert att avsluta ett experiment och eftersom ett trasigt experiment som får fortsätta förbi sitt planerade slut gör ett problem till två. När en spärr blockerar anges orsaken med vanliga ord och inte som en statuskod.