Analýza síly

Síla je šance, že by experiment odhalil skutečný rozdíl dané velikosti. Pod zhruba osmdesáti procenty znamená nulový výsledek zatím nedost dat, ne žádný efekt, a zacházet s těmi dvěma jako se stejnou věcí je způsob, jak se opustí dobrý nápad.

Pertento dimenzuje analýzu proti rozdílu, který experiment skutečně měří, ne proti pevnému cílovému nárůstu zvolenému předem. Dimenzování proti napevno danému pěti procentům odpovídá na kdy bych mohl odhalit pět procent, což není otázka, kterou se kdokoli ptá u běžícího experimentu. Otázka zní, kdy se efekt, který vidím, stane průkazným.

V tom výpočtu je záměrná pojistka. Naměřený rozdíl se nikdy nezpětně nevrací přes dolní hranici rozlišitelného účinku, která je sama odvozená ze současného vzorku. Udělat to by odpověď učinilo samosplňující a nahlásilo by dostatek dat pro experiment, který má výrazně nedostatečnou sílu.

Když je naměřený rozdíl příliš malý na to, aby se proti němu dalo dimenzovat vůbec, téměř nulový efekt by potřeboval neomezený vzorek, analýza spadne zpátky na cílový nárůst a řekne, kterou ze dvou použila. Přesně vyhlížející číslo bez uvedení, co předpokládalo, je horší než poctivé.