Tilastot, jotka kestävät tarkastelun
Pienin havaittava vaikutus
Pienin muutos, jonka tämä liikennemäärä voi luotettavasti havaita. Sitä pienempi ero ei muutu merkitseväksi odottamalla.
Tämä virhetila näyttää siltä, ettei tulosta ole, vaikka todellisuudessa liikenne ei koskaan riitä kertomaan. Testi, joka mittaa pienempää eroa kuin sen otos pystyy ratkaisemaan, pysyy ei-merkitsevänä loputtomiin, eikä kärsivällisyys muuta sitä nykyisellä liikennemäärällä.
Siksi konsoli ilmoittaa rajan suoraan prosenttiyksikköinä sen kontrollitason rinnalla, johon se suhteutuu. Puoli prosenttiyksikköä ei kerro mitään, ellei tiedä, onko perustaso yksi prosentti vai neljäkymmentä.
Se myös kertoo suoraan, onko mitattu ero rajan ylä- vai alapuolella. Alapuolella testi ei pysty ratkaisemaan sitä, mitä se näyttää, ja hyödylliset johtopäätökset ovat eri kuin ne, joita merkitsevyys antaisi ymmärtää: testatkaa jotain rohkeampaa, siirtykää kanavaan, jossa on enemmän liikennettä, tai hyväksykää, ettei kysymykseen voi vastata tällä sivupohjalla.
Raja ja vaadittu otoskoko on määritelty toistensa täsmällisiksi käänteisiksi erillisten kaavojen sijaan. Aiemmin ne laskettiin eri varianssioletuksista, ja siksi ne erosivat toisistaan muutaman prosentin, millä oli väliä, koska sama näkymä näyttää molemmat ja toinen niistä ratkaisee, onko ero ylipäätään ratkaistavissa.