Sekventiell testning

Ett test med fast horisont är giltigt bara om du tittar en gång, i slutet. Tittar du varje dag och stoppar första gången gränsen passeras, hamnar andelen falska positiva långt över de fem procent du tror att du kör på. Det är ingen petitess utan det vanligaste sättet för experimenterande team att lura sig själva.

Sekventiell testning är gjord för just det. Felfrekvensen hålls under kontroll även när du följer testet löpande, så en titt på dag nio är lika giltig som en titt på dag trettio, och ett tydligt resultat kan du agera på när det kommer, inte när kalendern säger det.

Den kan också avgöra det andra utfallet, vilket ett test med fast horisont inte kan. “Ingen effekt av den storlek testet byggdes för att hitta” är en riktig slutsats. Agerar du på den frigörs trafik till nästa idé, och ett platt test slipper rulla på av ren förhoppning.

Den är medvetet försiktig med automatisering. Ett automatiskt stopp kräver att det sekventiella testet och det korrigerade p-värdet är överens om samma variant och samma riktning. Det är de inte alltid. Det kända fallet är en verklig effekt som är mindre än den testet är dimensionerat för: det sekventiella testet ser ingen effekt, p-värdet blir till slut signifikant, ingenting utlöses och experimentet körs till sitt planerade slut. Det är avsiktligt: om något ska brista, så hellre åt det hållet.