Sekventiell testning

Ett test med fast horisont är giltigt om ni tittar en gång, i slutet. Titta varje dag och stoppa vid den första korsningen, och andelen falska positiva klättrar långt över de fem procent ni tror att ni kör på. Det här är ingen finess, det är det enskilt vanligaste sättet experimentprogram lurar sig själva.

Sekventiell testning är testet byggt för det. Dess felfrekvenser kontrolleras under löpande övervakning, så en titt på dag nio är lika giltig som en titt på dag trettio, och ett tydligt resultat kan hanteras när det kommer i stället för när kalendern säger till.

Den avgör också det andra utfallet, vilket testning med fast horisont inte kan. "Ingen effekt av den storlek det här testet byggdes för att hitta" är en verklig slutsats, och att agera på den frigör trafiken för nästa idé i stället för att låta ett platt test fortsätta av ren förhoppning.

Den är avsiktligt konservativ när det gäller automatisering. Ett automatiskt stopp kräver att det sekventiella testet och det korrigerade p-värdet är överens, om samma variant, i samma riktning. De kommer inte alltid att vara överens, och det kända fallet är en verklig effekt mindre än den det sekventiella testet är dimensionerat för: det avläser ingen effekt medan p-värdet till slut blir signifikant, ingenting utlöses, och experimentet körs till sitt schemalagda slut. Det är den avsedda riktningen att misslyckas i.