Tilastot jotka kestävät tarkastelun
Sekventiaalinen testaus
Testi jota saa katsoa jatkuvasti. Se vastaa eri kysymykseen kuin p-arvo, ja ne kaksi voivat perustellusti olla eri mieltä.
Kiinteän horisontin testi on pätevä jos katsotte vain kerran, lopussa. Katsokaa joka päivä ja pysähtykää ensimmäiseen ylitykseen, ja väärien positiivisten osuus nousee kauas sen viiden prosentin yläpuolelle jota luulette ajavanne. Tämä ei ole hienovaraisuus; se on yksittäinen yleisin tapa jolla testausohjelmat huijaavat itseään.
Sekventiaalinen testaus on tähän suunniteltu testi. Sen virhetasot hallitaan jatkuvan seurannan alla, joten katsominen päivänä yhdeksän on yhtä pätevää kuin katsominen päivänä kolmekymmentä, ja selvään tulokseen voi toimia kun se saapuu eikä silloin kun kalenteri niin sanoo.
Se toteaa myös toisen lopputuloksen, mitä kiinteän horisontin testi ei osaa. "Ei vaikutusta tämän kokoluokkaa jota testi rakennettiin löytämään" on aito johtopäätös, ja siihen toimiminen vapauttaa liikenteen seuraavalle idealle sen sijaan että vaikutukseton testi jätettäisiin ajumaan toivon varassa.
Se on tarkoituksella varovainen automaation kanssa. Automaattinen pysäytys vaatii että sekventiaalinen testi ja korjattu p-arvo ovat samaa mieltä, samasta variantista, samaan suuntaan. Ne eivät aina ole samaa mieltä, ja tunnettu tapaus on todellinen vaikutus joka on pienempi kuin se, johon sekventiaalinen testi on mitoitettu: se toteaa ei vaikutusta samalla kun p-arvo lopulta lukee merkitsevän, mikään ei laukea, ja testi ajaa loppuun suunniteltuun päivämäärään asti. Se on tarkoitettu suunta epäonnistua.