Styrkeberäkning

Styrka är chansen att ett experiment skulle upptäcka en verklig skillnad av en given storlek. Under ungefär 80 procent betyder ett nollresultat "inte tillräckligt med data ännu" snarare än "ingen effekt", och att behandla de två som samma sak är hur en bra idé överges.

Pertento dimensionerar beräkningen mot skillnaden experimentet faktiskt mäter, inte mot ett fast mållyft valt i förväg. Att dimensionera mot hårdkodade fem procent svarar på "när kan jag upptäcka fem procent", vilket inte är frågan någon ställer om ett pågående experiment. Frågan är när effekten jag ser blir avgörande.

Det finns ett avsiktligt skydd i den beräkningen. Den uppmätta skillnaden matas aldrig tillbaka genom golvet för upptäckbar effekt, som självt härleds från det aktuella urvalet. Att göra det gör svaret självuppfyllande och rapporterar tillräcklig data för ett experiment som är kraftigt underdimensionerat.

När den uppmätta skillnaden är för liten att dimensionera mot alls, och en nästan noll-effekt behöver ett obegränsat urval, faller beräkningen tillbaka på ett mållyft och anger vilket av de två den använde. Ett tal som ser precist ut utan någon antydan om vad det antog är sämre än ett ärligt.