Statistik du kan stå på mål for
Alarmer for skæv fordeling
Kontrollen, der kører før alle andre tal betyder noget: blev trafikken faktisk delt, som I konfigurerede den?
En skæv fordeling betyder, at den fordeling, I konfigurerede, ikke er den fordeling, der skete. Årsagen er oftest en variant, der ikke bliver anvendt, en omdirigering, der taber besøgende på vejen, eller botfiltrering, der rammer den ene arm hårdere end den anden.
Det er en gyldighedsport frem for et måltal, og derfor kontrolleres den først. Er tildelingen i stykker, er de to grupper ikke sammenlignelige, og hver p-værdi, hvert interval og hver anbefaling på siden måler den fejl frem for at måle jeres ændring.
Testen er en chi-i-anden-tilpasningstest mod de konfigurerede vægte, på en tærskel langt strengere end den sædvanlige. Med rigtig trafik er fordelingen aldrig præcis nominel, og ved 0,05 ville et helt sundt eksperiment udløse alarmen én gang ud af tyve, hvilket lærer alle at ignorere den. Den nægter også at køre under en mindste stikprøve, eller hvis mindre end to arme får trafik, for på det punkt er fravær af bevis ikke bevis for et problem.
Der findes præcis én implementering af dette. Alarmen, der mailer jer, den skærm, I lander på, og automatiseringen, der nægter at handle, kommer alle frem til samme udfald ud fra den samme kode, for en alarm, der modsiger den side, den linker til, er værre end ingen alarm.