Statistik du kan stå för
Larm för snedvriden urvalsfördelning
Kontrollen som körs innan något annat tal betyder något: delades trafiken faktiskt som ni konfigurerade den.
En snedvriden urvalsfördelning betyder att delningen ni konfigurerade inte är delningen som hände. Oftast är orsaken en variant som inte lyckas applicera, en omdirigering som tappar besökare på vägen, eller botfiltrering som träffar en arm hårdare än den andra.
Det är en validitetsspärr snarare än ett mått, och det är därför den kontrolleras först. Om tilldelningen är trasig är de två grupperna inte jämförbara, och varje p-värde, intervall och rekommendation på sidan mäter det felet snarare än er ändring.
Testet är ett chi-två-anpassningstest mot de konfigurerade vikterna, vid en gräns långt strängare än den vanliga. Med riktig trafik är delningen aldrig exakt nominell, och vid 0,05 skulle ett fullt friskt experiment utlösa larmet en gång på tjugo, vilket lär alla att ignorera det. Det avstår också från att köras alls under ett minsta urval eller med färre än två armar som tar trafik, för vid den punkten är avsaknad av bevis inte bevis på ett problem.
Exakt en implementation av det här finns. Larmet som mejlar er, skärmen ni landar på och automatiseringen som vägrar agera når alla samma utfall från samma kod, för ett larm som motsäger sidan det länkar till är sämre än inget larm.