Styrkeberäkning

Statistisk styrka är chansen att ett experiment upptäcker en verklig skillnad av en viss storlek. Under ungefär 80 procent betyder ett resultat utan utslag “för lite data ännu” och inte “ingen effekt”, och den som blandar ihop de två lägger ner bra idéer i onödan.

Pertento dimensionerar beräkningen efter den skillnad experimentet mäter, inte efter ett uplift-mål som valts i förväg. Räknar du mot fasta fem procent får du svar på “när kan jag upptäcka fem procent”, och det är inte frågan någon ställer om ett pågående experiment. Frågan är: när blir effekten jag ser avgörande?

Beräkningen har ett inbyggt skydd. Den uppmätta skillnaden matas aldrig tillbaka genom gränsen för minsta upptäckbara effekt, som i sin tur härleds ur det aktuella urvalet. Då skulle svaret bli självuppfyllande och visa att datan räcker för ett experiment som i själva verket har alldeles för låg styrka.

Är den uppmätta skillnaden för liten att räkna efter, eftersom en effekt nära noll kräver ett oändligt stort urval, faller beräkningen tillbaka på ett uplift-mål och anger vilket av de två den använde. En siffra som ser exakt ut men inte säger vad den förutsätter är sämre än en ärlig siffra.