Sequentieel toetsen

Een toets met een vaste horizon is geldig als u één keer kijkt, aan het einde. Kijk elke dag en stop bij de eerste kruising, en het vals-positievenpercentage klimt ver boven de vijf procent waarvan u denkt dat u ermee draait. Dit is geen subtiliteit; het is de meest gebruikelijke manier waarop experimentprogramma's zichzelf voor de gek houden.

Sequentieel toetsen is de toets die daarvoor ontworpen is. De foutpercentages ervan worden beheerst onder doorlopende monitoring, zodat een blik op dag negen even geldig is als een blik op dag dertig, en op een duidelijk resultaat gehandeld kan worden zodra het binnenkomt in plaats van wanneer de kalender het zegt.

Het roept ook de andere uitkomst, wat een toets met vaste horizon niet kan. "Geen effect van de grootte waarvoor deze toets is gebouwd om te vinden" is een echte conclusie, en ernaar handelen bevrijdt het verkeer voor het volgende idee in plaats van een vlakke test op hoop te laten doordraaien.

Het is bewust behoudend over automatisering. Een geautomatiseerde stop vereist dat de sequentiële toets en de gecorrigeerde p-waarde het eens zijn, op dezelfde variant, in dezelfde richting. Ze zullen niet altijd overeenstemmen, en het bekende geval is een echt effect dat kleiner is dan waarvoor de sequentiële toets is gedimensioneerd: hij leest geen effect terwijl de p-waarde uiteindelijk significant wordt gelezen, er gebeurt niets, en het experiment loopt door tot zijn geplande einde. Dat is de bedoelde richting om in te falen.