Zastavení při významnosti

Zastavit ve chvíli, kdy test poprvé podlezl p pod 0,05, je učebnicové volitelné zastavování. Opakované nahlížení a zastavení při prvním překročení nafoukne míru falešně pozitivních daleko za nominální pět procent, a automatizovaná kontrola nahlíží doslova každou minutu, což je ten nejhorší případ.

Proto je pravidlo konzervativní. Automatické zastavení vyžaduje, aby se sekvenční test a korigovaná p-hodnota shodly, na stejné variantě, ve stejném směru. Sekvenční test je platný i při průběžném sledování; korigovaná p-hodnota je pomůcka pro člověka, který se dívá jen občas, a sama o sobě není platné pravidlo pro zastavení.

Má to známý důsledek, který platforma vymáhá, a ne skrývá. Sekvenční test je dimenzovaný na pevný cílový nárůst, takže experiment se skutečným, ale menším efektem u něj vychází jako žádný efekt, zatímco p-hodnota nakonec vyjde významná. Nikdy se neshodnou, nic se nespustí a experiment doběhne do svého naplánovaného konce. Proto je naplánované datum konce u tohoto nastavení povinné: významnost smí experiment jen ukončit dřív, nikdy nesmí být jediným důvodem, proč skončí.

Před celou cestou stojí tři brány důvěryhodnosti. Rozdělení, které přestalo odpovídat, celý den bez provozu, nebo interference od jiného běžícího experimentu, každá z toho zastavení zablokuje, protože čtení, na kterém by stálo, se nedá věřit.