Stoppen bij significantie

Stoppen zodra een test onder p 0,05 zakt is klassiek optioneel stoppen. Herhaaldelijk gluren en stoppen bij de eerste overschrijding blaast het percentage vals-positieven ver op boven de nominale vijf procent, en een geautomatiseerde controle gluurt elke minuut, wat het slechtste geval daarvan is.

Daarom is de regel conservatief. Een geautomatiseerde stop vereist dat de sequentiële toets en de gecorrigeerde p-waarde overeenstemmen, op dezelfde variant, in dezelfde richting. De sequentiële toets is geldig bij doorlopende monitoring; de gecorrigeerde p-waarde is een leeshulp voor een mens die af en toe kijkt en is op zichzelf geen geldige stopregel.

Dit heeft een bekend gevolg, dat het platform afdwingt in plaats van verbergt. De sequentiële toets is gedimensioneerd op een vaste doellift, dus een experiment met een echt maar kleiner effect blijft bij deze toets op geen effect staan terwijl de p-waarde uiteindelijk significant wordt. Ze stemmen nooit overeen, er gebeurt niets, en het experiment loopt door tot zijn geplande einde. Daarom is een geplande einddatum verplicht naast deze instelling: significantie mag een experiment alleen vroeger beëindigen, nooit het enige zijn dat het beëindigt.

Drie vertrouwenspoorten staan voor het hele pad. Een verdeling die niet meer klopt, een volle dag zonder verkeer, of interferentie van een ander lopend experiment blokkeren elk de stop, want de lezing waarop hij zou berusten kan niet worden vertrouwd.