Larm för sample ratio mismatch

Sample ratio mismatch betyder att trafiken inte fördelades som du ställde in. Oftast beror det på en variant som inte laddas, en omdirigering som tappar besökare på vägen eller botfiltrering som slår hårdare mot den ena varianten än den andra.

Det är en validitetskontroll och inget mått, och därför görs den först. Om tilldelningen är trasig går de två grupperna inte att jämföra, och varje p-värde, intervall och rekommendation på sidan mäter då felet och inte din ändring.

Testet är ett chi-två-test för anpassning mot de inställda vikterna, med en tröskel som är långt strängare än den vanliga. Med riktig trafik blir fördelningen aldrig exakt som planerat, och vid 0,05 skulle ett helt friskt experiment slå larm en gång av tjugo, och då lär sig alla att ignorera larmet. Testet körs inte alls under ett minsta urval eller när färre än två varianter får trafik, eftersom avsaknad av bevis då inte är bevis på ett problem.

Det finns bara en implementation av det här. Larmet som mejlar dig, skärmen du hamnar på och automatiseringen som vägrar agera kommer fram till samma utfall med samma kod, eftersom ett larm som säger emot sidan det länkar till är sämre än inget larm.