Stopp vid signifikans

Att stoppa i samma stund som p går under 0,05 är optional stopping rakt av. Den som tittar gång på gång och stoppar första gången gränsen passeras får en andel falska positiva som ligger långt över de nominella fem procenten, och en automatisk kontroll tittar varje minut, vilket är värsta tänkbara fall.

Därför är regeln försiktig. Ett automatiskt stopp kräver att det sekventiella testet och det korrigerade p-värdet är överens om samma variant och samma riktning. Det sekventiella testet är giltigt vid löpande uppföljning. Det korrigerade p-värdet är ett hjälpmedel för en människa som tittar då och då, och duger inte som stoppregel på egen hand.

Det har en känd konsekvens, som plattformen tillämpar och inte döljer. Det sekventiella testet är dimensionerat för ett fast uplift-mål, så i ett experiment med en verklig men mindre effekt ser testet ingen effekt medan p-värdet till slut blir signifikant. De blir aldrig överens, ingenting utlöses och experimentet körs till sitt planerade slut. Därför krävs ett planerat slutdatum tillsammans med den här inställningen: signifikans får bara avsluta ett experiment i förtid, aldrig vara det enda som avslutar det.

Tre spärrar står framför hela flödet. En trafikfördelning som slutat stämma, ett helt dygn utan trafik eller störning från ett annat pågående experiment blockerar stoppet var för sig, eftersom underlaget stoppet skulle bygga på inte går att lita på.