Varsler om sample ratio mismatch

Sample ratio mismatch betyr at fordelingen du satte opp, ikke er den du endte opp med. Som regel skyldes det en variant som ikke ble vist, en omdirigering som mister besøkende underveis, eller bot-filtrering som rammer én variant hardere enn en annen.

Dette er en sperre mot ugyldige data, ikke en måling, og derfor sjekkes den først. Er tildelingen ødelagt, kan de to gruppene ikke sammenlignes, og alle p-verdier, intervaller og anbefalinger på siden måler feilen, ikke endringen din.

Testen er en kjikvadrat-tilpasningstest mot vektene du har satt, med en terskel som er langt strengere enn den vanlige. Med ekte trafikk blir fordelingen aldri helt eksakt. Ved 0,05 ville et helt friskt eksperiment slått alarm én gang av tjue, og da lærer alle seg å ignorere den. Testen kjøres heller ikke under et visst minstevolum, eller med færre enn to varianter som får trafikk, for da er mangel på bevis ikke det samme som bevis for at noe er galt.

Dette finnes i bare én implementasjon. Alarmen som sender deg e-post, skjermen du havner på og automatiseringen som nekter å handle, kommer frem til det samme fra samme kode. Et varsel som motsier siden det lenker til, er verre enn å ikke ha noe varsel.