Statystyka, której da się obronić
Minimalny wykrywalny efekt
Najmniejsza zmiana, jaką przy tym ruchu można wiarygodnie wykryć. Różnica poniżej tego progu nie stanie się istotna, choćbyście czekali bez końca.
To ten tryb porażki, który wygląda jak "brak wyniku", a naprawdę jest "za mało ruchu, żeby kiedykolwiek się dowiedzieć". Test mierzący różnicę mniejszą niż próg, jaki rozstrzygnie jego próba, będzie stał na nieistotnym w nieskończoność, i żadna cierpliwość tego nie zmieni przy obecnym poziomie ruchu.
Więc konsola podaje próg wprost, w punktach procentowych, obok współczynnika kontrolnego, którego jest ułamkiem. Pół punktu procentowego nic nie znaczy bez wiedzy, czy stawka bazowa to jeden procent, czy czterdzieści.
Mówi też wprost, czy mierzona różnica leży powyżej tego progu, czy poniżej niego. Poniżej niego test nie potrafi rozstrzygnąć tego, co pokazuje, a użyteczna reakcja jest inna niż ta, którą sugeruje istotność: przetestujcie coś śmielszego, przejdźcie na stronę z większym ruchem albo zaakceptujcie, że pytanie jest nierozstrzygalne na tym szablonie.
Próg i wymagana wielkość próby są zdefiniowane jako dokładne odwrotności siebie nawzajem, a nie osobnymi wzorami. Kiedyś liczono je z różnych założeń o wariancji, więc różniły się o kilka procent, co miało znaczenie, bo ten sam panel pokazuje obie wartości, a jedna z nich decyduje, czy różnica jest rozstrzygalna.