Alarmer for utvalgsforhold-avvik

Et utvalgsforhold-avvik betyr at fordelingen dere konfigurerte, ikke er fordelingen som skjedde. Vanligvis er årsaken en variant som ikke klarte å anvendes, en omdirigering som mistet besøkende underveis, eller bot-filtrering som traff én arm hardere enn den andre.

Det er en gyldighetsport heller enn en måling, og det er derfor den sjekkes først. Hvis tildelingen er ødelagt, er de to gruppene ikke sammenlignbare, og hver p-verdi, hvert intervall og hver anbefaling på siden måler den feilen heller enn å måle endringen deres.

Testen er en kjikvadrat-tilpasningstest mot de konfigurerte vektene, ved en terskel langt strengere enn den vanlige. Med reell trafikk er fordelingen aldri eksakt nominell, og ved 0,05 ville et helt friskt eksperiment utløst alarmen én gang av tjue, som lærer alle å ignorere den. Den avstår også fra å kjøre i det hele tatt under et minste utvalg eller med færre enn to armer som tar trafikk, fordi på det punktet er fravær av bevis ikke bevis på et problem.

Nøyaktig én implementasjon av dette finnes. Alarmen som sender dere e-post, skjermen dere lander på, og automatiseringen som nekter å handle, kommer alle fram til samme dom fra samme kode, fordi et varsel som motsier siden det lenker til, er verre enn ingen varsel.