Tilastot jotka kestävät tarkastelun
Tilastollisen voiman analyysi
Mahdollisuus että tämä testi pystyisi havaitsemaan eron jonka se juuri nyt näyttää, jos ero on todellinen.
Voima on todennäköisyys että testi havaitsisi tietyn kokoisen todellisen eron. Alle noin kahdeksankymmenen prosentin, nollatulos tarkoittaa "ei vielä tarpeeksi dataa" eikä "ei vaikutusta", ja näiden kahden kohteleminen samana on tapa jolla hyvä idea hylätään.
Pertento mitoittaa analyysin eroa vasten jota testi juuri nyt oikeasti mittaa, ei etukäteen valittua kiinteää tavoitenousua vasten. Mitoittaminen kovakoodattua viittä prosenttia vasten vastaa kysymykseen "milloin voisin havaita viisi prosenttia", mikä ei ole kysymys jonka kukaan esittää käynnissä olevasta testistä. Kysymys on milloin näkemäni vaikutus muuttuu ratkaisevaksi.
Tuossa laskennassa on tarkoituksellinen suoja. Mitattua eroa ei koskaan syötetä takaisin havaittavan vaikutuksen alarajan läpi, joka on itsessään johdettu nykyisestä otoksesta. Sen tekeminen tekisi vastauksesta itseään toteuttavan ja ilmoittaisi riittävän datan testille joka on pahasti alimitoitettu.
Kun mitattu ero on liian pieni mitoitettavaksi lainkaan, lähes nollavaikutus tarvitsisi rajattoman otoksen, analyysi palaa tavoitenousuun ja kertoo kumpaa kahdesta se käytti. Tarkalta näyttävä luku ilman merkintää siitä mitä se oletti on pahempi kuin rehellinen.