Stopp vid signifikans

Att stoppa i samma ögonblick ett test korsar p under 0,05 är läroboksexemplet på valfritt stoppande. Att kika upprepade gånger och stoppa vid första korsningen blåser upp andelen falska positiva långt förbi de nominella fem procenten, och en automatiserad kontroll kikar varje enda minut, vilket är det värsta tänkbara fallet av det.

Så regeln är konservativ. Ett automatiskt stopp kräver att det sekventiella testet och det korrigerade p-värdet är överens, om samma variant, i samma riktning. Det sekventiella testet är giltigt vid löpande övervakning; det korrigerade p-värdet är ett läshjälpmedel för en människa som tittar då och då och är ingen giltig stoppregel på egen hand.

Det här har en känd konsekvens, som plattformen tillämpar i stället för att dölja. Det sekventiella testet är dimensionerat för ett fast mållyft, så ett experiment med en verklig men mindre effekt lämnar det avläsande ingen effekt medan p-värdet till slut blir signifikant. De blir aldrig överens, ingenting utlöses, och experimentet körs till sitt schemalagda slut. Det är därför ett schemalagt slutdatum är obligatoriskt vid sidan av den här inställningen: signifikans får bara någonsin avsluta ett experiment tidigt, aldrig vara det enda som avslutar det.

Tre tillitsspärrar står framför hela vägen. En fördelning som slutade stämma, ett helt dygn utan trafik, eller störning från ett annat pågående experiment blockerar var för sig stoppet, för avläsningen det skulle grunda sig på inte går att lita på.