Monitoring a automatizace
Zastavení při významnosti
Zastavte předčasně, když to důkaz doopravdy ospravedlňuje, a nikdy, když to tak jen vypadá.
Zastavit ve chvíli, kdy test poprvé podlezl p pod 0,05, je učebnicové volitelné zastavování. Opakované nahlížení a zastavení při prvním překročení nafoukne míru falešně pozitivních daleko za nominální pět procent, a automatizovaná kontrola nahlíží doslova každou minutu, což je ten nejhorší případ.
Proto je pravidlo konzervativní. Automatické zastavení vyžaduje, aby se sekvenční test a korigovaná p-hodnota shodly, na stejné variantě, ve stejném směru. Sekvenční test je platný i při průběžném sledování; korigovaná p-hodnota je pomůcka pro člověka, který se dívá jen občas, a sama o sobě není platné pravidlo pro zastavení.
Má to známý důsledek, který platforma vymáhá, a ne skrývá. Sekvenční test je dimenzovaný na pevný cílový nárůst, takže experiment se skutečným, ale menším efektem u něj vychází jako žádný efekt, zatímco p-hodnota nakonec vyjde významná. Nikdy se neshodnou, nic se nespustí a experiment doběhne do svého naplánovaného konce. Proto je naplánované datum konce u tohoto nastavení povinné: významnost smí experiment jen ukončit dřív, nikdy nesmí být jediným důvodem, proč skončí.
Před zastavením proběhnou tři kontroly spolehlivosti. Neodpovídající rozdělení provozu, celý den bez provozu nebo rušení jiným experimentem zastavení zablokují, protože měřeným údajům nelze důvěřovat.