Styrkeanalyse

Statistisk styrke er sjansen et eksperiment ville oppdaget en reell forskjell av en gitt størrelse. Under omtrent åtti prosent betyr et nullresultat «ikke nok data ennå» heller enn «ingen effekt», og å behandle de to som det samme er hvordan en god idé forlates.

Pertento dimensjonerer analysen mot forskjellen eksperimentet faktisk måler, ikke mot et fast mål-løft valgt på forhånd. Å dimensjonere mot en hardkodet fem prosent svarer på «når kunne jeg oppdaget fem prosent», som ikke er spørsmålet noen stiller om et eksperiment som kjører. Spørsmålet er når effekten jeg ser, blir avgjørende.

Det finnes en bevisst sikring i den beregningen. Den målte forskjellen mates aldri tilbake gjennom gulvet for oppdagbar effekt, som selv er utledet fra det nåværende utvalget. Å gjøre det gjør svaret selvoppfyllende og rapporterer nok data for et eksperiment som er alvorlig underdimensjonert.

Når den målte forskjellen er for liten til å dimensjonere mot i det hele tatt, en nær-null-effekt trenger et ubegrenset utvalg, faller analysen tilbake på et mål-løft og sier hvilket av de to den brukte. Et presist utseende tall uten indikasjon på hva det antok, er verre enn et ærlig ett.