Monitoring
Zatrzymanie przy istotności
Zatrzymajcie się wcześniej, kiedy dowód naprawdę na to zasługuje, a nigdy, kiedy tylko na to wygląda.
Zatrzymanie w chwili, gdy test przekracza p poniżej 0,05, to podręcznikowe zatrzymanie oportunistyczne. Wielokrotne zaglądanie i zatrzymanie się przy pierwszym przekroczeniu progu podnosi odsetek fałszywych zwycięzców daleko powyżej nominalnych pięciu procent, a zautomatyzowane sprawdzenie zagląda co minutę, co jest tego najgorszym przypadkiem.
Więc reguła jest ostrożna. Automatyczne zatrzymanie wymaga zgody testu sekwencyjnego i poprawionej wartości p, na tym samym wariancie, w tym samym kierunku. Test sekwencyjny jest ważny przy ciągłym monitorowaniu; poprawiona wartość p to pomoc w czytaniu dla człowieka, który zagląda od czasu do czasu, i sama z siebie nie jest ważną regułą zatrzymania.
To ma znaną konsekwencję, którą platforma egzekwuje, a nie ukrywa. Test sekwencyjny jest wymiarowany wobec stałego docelowego wzrostu, więc test z prawdziwym, ale mniejszym efektem zostawia go odczytującego brak efektu, podczas gdy wartość p w końcu odczytuje istotność. Nigdy się nie zgadzają, nic się nie uruchamia, a test dobiega do zaplanowanego końca. Dlatego zaplanowana data końca jest obowiązkowa obok tego ustawienia: istotność wolno tylko wcześniej zakończyć test, nigdy być jedynym powodem, dla którego się kończy.
Trzy bramki zaufania stoją przed całą ścieżką. Podział, który przestał się zgadzać, cały dzień bez ruchu albo zakłócenie od innego działającego testu, każde z nich blokuje zatrzymanie, bo odczyt, na którym by się opierało, nie zasługuje na zaufanie.