Statystyka, której da się obronić
Analiza mocy statystycznej
Szansa, że ten test mógłby wykryć różnicę, którą teraz pokazuje, jeśli ta różnica jest prawdziwa.
Moc to szansa, że test wykryłby prawdziwą różnicę danej wielkości. Poniżej mniej więcej osiemdziesięciu procent wynik zerowy znaczy "jeszcze za mało danych", a nie "brak efektu", a traktowanie tych dwóch jako tego samego jest sposobem, w jaki dobry pomysł zostaje porzucony.
Pertento wymierza analizę wobec różnicy, którą test faktycznie mierzy, a nie wobec stałego docelowego wzrostu wybranego z góry. Wymiarowanie wobec zaszytych na sztywno pięciu procent odpowiada na "kiedy mógłbym wykryć pięć procent", co nie jest pytaniem, które ktokolwiek zadaje o działającym teście. Pytanie brzmi, kiedy efekt, który widzę, stanie się rozstrzygający.
W tym wyliczeniu jest celowe zabezpieczenie. Zmierzona różnica nigdy nie jest wprowadzana z powrotem przez próg wykrywalnego efektu, który sam pochodzi z bieżącej próby. Zrobienie tego uczyniłoby odpowiedź samospełniającą się i zgłaszałoby wystarczające dane dla testu, który jest wyraźnie niedomocowany.
Kiedy zmierzona różnica jest zbyt mała, żeby w ogóle wobec niej wymiarować, bo efekt bliski zeru wymagałby nieograniczonej próby, analiza wraca do docelowego wzrostu i podaje, którego z dwóch użyła. Precyzyjnie wyglądająca liczba bez wskazania, co założyła, jest gorsza niż uczciwa.