Pienin havaittava vaikutus

Tämä on vikatila joka näyttää ”ei tulosta” -tulokselta mutta on oikeasti ”liikennettä ei koskaan riitä kertomaan”. Testi joka mittaa pienempää eroa kuin sen otos pystyy ratkaisemaan, pysyy ei-merkitsevänä loputtomiin, eikä kärsivällisyys sitä nykyisellä liikennemäärällä muuta.

Siksi konsoli ilmoittaa rajan suoraan, prosenttiyksikköinä, sen kontrollitason rinnalla johon se suhteutuu. Puoli prosenttiyksikköä ei kerro mitään ellei tiedä onko perustaso yksi prosentti vai neljäkymmentä.

Se myös kertoo suoraan onko mitattava ero rajan ylä- vai alapuolella. Alapuolella testi ei kykene ratkaisemaan sitä mitä se näyttää, ja hyödylliset johtopäätökset eroavat niistä joita merkitsevyys ehdottaisi: testatkaa jotain rohkeampaa, siirtykää liikenteeltään suurempaan kanavaan, tai hyväksykää ettei kysymykseen voi vastata tällä sivupohjalla.

Raja ja vaadittu otoskoko on määritelty toistensa täsmällisiksi käänteisluvuiksi erillisten kaavojen sijaan. Ne laskettiin aiemmin eri varianssioletuksista ja olivat siksi muutaman prosentin verran eri mieltä keskenään, millä oli väliä koska sama näkymä näyttää molemmat ja toinen niistä ratkaisee onko ero ylipäätään ratkaistavissa.