Statistiek die u kunt verantwoorden
Power-analyse
De kans dat dit experiment het verschil kan aantonen dat het nu laat zien, als dat verschil echt is.
Power is de kans dat een experiment een echt verschil van een gegeven grootte zou aantonen. Onder ruwweg tachtig procent betekent een nulresultaat "nog niet genoeg data" in plaats van "geen effect", en die twee als hetzelfde behandelen is hoe een goed idee wordt opgegeven.
Pertento dimensioneert de analyse tegen het verschil dat het experiment werkelijk meet, niet tegen een vaste doellift die vooraf is gekozen. Dimensioneren tegen een hardgecodeerde vijf procent beantwoordt "wanneer zou ik vijf procent kunnen aantonen", wat niemand vraagt van een lopend experiment. De vraag is wanneer het effect dat ik zie doorslaggevend wordt.
Er zit een bewuste vangrail in die berekening. Het gemeten verschil wordt nooit teruggevoerd door de ondergrens van het aantoonbare effect, die zelf is afgeleid uit de huidige steekproef. Dat wel doen maakt het antwoord zelfvervullend en rapporteert voldoende data voor een experiment dat ernstig ondergedimensioneerd is.
Wanneer het gemeten verschil te klein is om er überhaupt tegen te dimensioneren, een bijna-nul-effect vraagt een onbegrensde steekproef, valt de analyse terug op een doellift en zegt welke van de twee is gebruikt. Een precies ogend getal zonder aanwijzing wat het aannam, is erger dan een eerlijk getal.