Tilastot, jotka kestävät tarkastelun
Tilastollisen voiman analyysi
Todennäköisyys sille, että tämä testi pystyisi havaitsemaan sen eron, jonka se nyt näyttää, jos ero on todellinen.
Voima on todennäköisyys sille, että testi havaitsisi tietyn kokoisen todellisen eron. Kun voima on alle noin kahdeksankymmenen prosentin, nollatulos tarkoittaa "ei vielä tarpeeksi dataa" eikä "ei vaikutusta", ja näiden kahden sekoittaminen on tapa, jolla hyvä idea hylätään.
Pertento mitoittaa analyysin sitä eroa vasten, jota testi juuri nyt oikeasti mittaa, eikä etukäteen valittua kiinteää tavoitenousua vasten. Mitoitus kovakoodattua viittä prosenttia vasten vastaa kysymykseen "milloin voisin havaita viiden prosentin eron", eikä sitä kysy kukaan käynnissä olevasta testistä. Kysymys on, milloin näkemäni vaikutus muuttuu ratkaisevaksi.
Laskentaan on rakennettu tarkoituksellinen suoja. Mitattua eroa ei koskaan syötetä takaisin havaittavan vaikutuksen alarajan kautta, koska alaraja on itse johdettu nykyisestä otoksesta. Muuten vastaus toteuttaisi itse itsensä ja ilmoittaisi datan riittäväksi testille, joka on pahasti alimitoitettu.
Kun mitattu ero on liian pieni mitoitettavaksi lainkaan (lähes nollavaikutus vaatisi rajattoman otoksen), analyysi käyttää tavoitenousua ja kertoo, kumpaa kahdesta se käytti. Tarkalta näyttävä luku, josta ei näe, mitä se oletti, on huonompi kuin rehellinen luku.