Valvonta ja automaatio
Pysäytys merkitsevyydellä
Lopettakaa aikaisin, kun näyttö sen aidosti oikeuttaa, älkääkä koskaan silloin, kun se vain näyttää siltä.
Pysäyttäminen heti, kun p alittaa 0,05:n, on oppikirjaesimerkki valikoivasta pysäyttämisestä. Toistuva kurkistelu ja pysäyttäminen ensimmäisellä rajan ylityksellä nostavat väärien positiivisten osuuden kauas nimellisen viiden prosentin yläpuolelle, ja automaattinen tarkistus kurkistaa joka ikinen minuutti, mikä on pahin mahdollinen tapaus.
Siksi sääntö on varovainen. Automaattinen pysäytys edellyttää, että sekventiaalinen testi ja korjattu p-arvo ovat samaa mieltä samasta variantista ja samasta suunnasta. Sekventiaalinen testi on pätevä jatkuvassa seurannassa; korjattu p-arvo on apuväline satunnaisesti tuloksia katsovalle ihmiselle eikä yksinään pätevä pysäytyssääntö.
Tällä on tunnettu seuraus, jonka alusta kertoo eikä piilota. Sekventiaalinen testi on mitoitettu kiinteälle tavoitenousulle, joten jos todellinen vaikutus on pienempi, sekventiaalinen testi näyttää, ettei vaikutusta ole, kun taas p-arvo lopulta näyttää merkitsevää. Ne eivät koskaan päädy samaan tulokseen, mikään ei laukea, ja testi jatkuu ajastettuun päättymiseensä asti. Siksi ajastettu päättymispäivä on tämän asetuksen kanssa pakollinen: merkitsevyys voi vain päättää testin aikaisemmin, ei koskaan olla ainoa syy sen päättymiseen.
Ennen pysäytystä tehdään kolme luotettavuustarkistusta. Asetuksista poikkeava jakauma, kokonainen päivä ilman liikennettä tai toisen testin aiheuttama häiriö estää pysäytyksen, koska mittaustulokseen ei voi luottaa.