Statystyka, której da się obronić
Alarmy niezgodności proporcji próby
Sprawdzenie, które musi przejść, zanim jakakolwiek inna liczba coś znaczy: czy ruch faktycznie podzielił się tak, jak skonfigurowaliście.
Niezgodność proporcji próby znaczy, że podział, który skonfigurowaliście, nie jest podziałem, który się wydarzył. Zwykle przyczyną jest wariant, który nie nakłada się poprawnie, przekierowanie gubiące odwiedzających po drodze albo filtrowanie botów uderzające mocniej w jedno ramię niż w drugie.
To bramka poprawności, a nie metryka, i dlatego sprawdzana jest jako pierwsza. Jeśli przypisanie jest zepsute, obie grupy nie są porównywalne, a każda wartość p, przedział i rekomendacja na stronie mierzą tę usterkę, zamiast mierzyć waszą zmianę.
Test to zgodność chi-kwadrat wobec skonfigurowanych wag, przy progu znacznie surowszym niż zwykły. Przy prawdziwym ruchu podział nigdy nie jest dokładnie nominalny, a przy 0,05 zdrowy test wywoływałby alarm raz na dwadzieścia, co uczy wszystkich go ignorować. Odmawia też uruchomienia poniżej minimalnej próby albo przy mniej niż dwóch ramionach biorących ruch, bo w takim punkcie brak dowodu nie jest dowodem problemu.
Istnieje dokładnie jedna implementacja tego. Alarm, który przychodzi e-mailem, ekran, na który trafiacie, i automatyzacja, która odmawia działania, wszystkie dochodzą do tego samego orzeczenia z tego samego kodu, bo alert sprzeczny z ekranem, do którego prowadzi, jest gorszy niż brak alertu.