Tilastot, jotka kestävät tarkastelun
Sekventiaalinen testaus
Testi, jota saa katsoa jatkuvasti. Se vastaa eri kysymykseen kuin p-arvo, ja ne voivat perustellusti olla eri mieltä.
Kiinteän horisontin testi on pätevä, jos katsotte tulosta vain kerran, lopussa. Jos katsotte joka päivä ja pysähdytte ensimmäiseen rajan ylitykseen, väärien positiivisten osuus nousee kauas sen viiden prosentin yläpuolelle, jota luulette käyttävänne. Tämä ei ole pikkuasia; se on yleisin yksittäinen tapa, jolla testausohjelmat huijaavat itseään.
Sekventiaalinen testaus on juuri tähän suunniteltu testi. Sen virhetasot pysyvät hallinnassa jatkuvassa seurannassa, joten tuloksen katsominen yhdeksäntenä päivänä on yhtä pätevää kuin kolmantenakymmenentenä, ja selvän tuloksen perusteella voi toimia heti, kun se saapuu, eikä vasta kalenterin sanelemana.
Se toteaa myös toisenlaisen lopputuloksen, mihin kiinteän horisontin testi ei pysty. "Ei vaikutusta siinä kokoluokassa, jonka löytämiseen testi oli mitoitettu" on aito johtopäätös, ja sen perusteella toimiminen vapauttaa liikenteen seuraavalle idealle sen sijaan, että vaikutukseton testi jätettäisiin pyörimään toivon varassa.
Se on tarkoituksella varovainen automaation suhteen. Automaattinen pysäytys edellyttää, että sekventiaalinen testi ja korjattu p-arvo ovat samaa mieltä samasta variantista ja samasta suunnasta. Ne eivät aina ole, ja tunnettu tapaus on todellinen vaikutus, joka on pienempi kuin se, jota varten sekventiaalinen testi on mitoitettu: se toteaa, ettei vaikutusta ole, kun taas p-arvo lopulta näyttää merkitsevää, mikään ei laukea, ja testi jatkuu suunniteltuun päättymispäivään asti. Jos jokin pettää, sen on tarkoitus pettää juuri tähän suuntaan.