Statystyka, której da się obronić
Testowanie sekwencyjne
Test, na który wolno wam patrzeć na bieżąco. Odpowiada na inne pytanie niż wartość p, i te dwa mogą się zasadnie nie zgadzać.
Test o stałym horyzoncie jest ważny, jeśli spojrzycie raz, na koniec. Zaglądajcie codziennie i zatrzymujcie się przy pierwszym przekroczeniu progu, a odsetek fałszywych zwycięzców wspina się daleko powyżej pięciu procent, które wam się wydaje, że stosujecie. To nie jest subtelność; to najczęstszy sposób, w jaki programy eksperymentowania oszukują same siebie.
Testowanie sekwencyjne jest testem zbudowanym właśnie na to. Jego poziomy błędu są kontrolowane przy ciągłym monitorowaniu, więc spojrzenie dziewiątego dnia jest tak samo ważne jak spojrzenie trzydziestego, a na wyraźny wynik można zareagować wtedy, kiedy się pojawi, a nie wtedy, kiedy mówi o tym kalendarz.
Ogłasza też drugi wynik, którego test o stałym horyzoncie nie potrafi. "Brak efektu wielkości, do wykrycia której zbudowano ten test" jest prawdziwym wnioskiem, a zareagowanie na niego zwalnia ruch dla kolejnego pomysłu zamiast zostawiać płaski test działający z samej nadziei.
Jest celowo ostrożne co do automatyzacji. Automatyczne zatrzymanie wymaga zgody testu sekwencyjnego i poprawionej wartości p, na tym samym wariancie, w tym samym kierunku. Nie zawsze się zgodzą, a znany przypadek to realny efekt mniejszy niż ten, na który wymierzony jest test sekwencyjny: on odczytuje brak efektu, podczas gdy wartość p w końcu odczytuje istotność, nic się nie uruchamia, a test dobiega do zaplanowanego końca. To zamierzony kierunek zawodzenia.