Stop ved signifikans

At stoppe i det øjeblik en test krydser p under 0,05 er lærebogseksemplet på et selektivt stop. At kigge gentagne gange og stoppe ved den første krydsning puster andelen af falske positive langt op over de nominelle fem procent, og en automatisk kontrol kigger hvert eneste minut, hvilket er det værste tilfælde af det.

Derfor er reglen konservativ. Et automatisk stop kræver, at den sekventielle test og den korrigerede p-værdi er enige, om den samme variant, i den samme retning. Den sekventielle test er gyldig under løbende overvågning; den korrigerede p-værdi er en læsehjælp til et menneske, der ser til en gang i mellem, og er ikke i sig selv en gyldig stopregel.

Det har en kendt konsekvens, som platformen håndhæver frem for at skjule. Den sekventielle test er dimensioneret til et fast måltal for løft, så et eksperiment med en reel men mindre effekt efterlader den på ingen effekt, mens p-værdien til sidst viser signifikans. De bliver aldrig enige, intet udløses, og eksperimentet kører til sin planlagte slutning. Derfor er en planlagt slutdato obligatorisk sammen med denne indstilling: signifikans må kun afslutte et eksperiment tidligt, aldrig være det eneste, der afslutter det.

Tre tillidsporte ligger foran hele forløbet. En fordeling, der er holdt op med at passe, et helt døgn uden trafik, eller forstyrrelse fra et andet kørende eksperiment blokerer hver for sig stoppet, fordi det tal, det ville bygge på, ikke er til at stole på.