Análise de potência

A potência é a probabilidade de um teste detectar uma diferença real de uma dada dimensão. Abaixo de cerca de oitenta por cento, um resultado nulo significa "ainda sem dados suficientes" e não "sem efeito", e tratar as duas coisas como a mesma é como uma boa ideia acaba abandonada.

O Pertento dimensiona a análise face à diferença que o teste está realmente a medir, não face a um ganho-alvo fixo escolhido de antemão. Dimensionar contra um cinco por cento fixo responde a "quando conseguiria detectar cinco por cento", que não é a pergunta que se faz sobre um teste já em curso. A pergunta é quando o efeito que está a ver se torna conclusivo.

Há uma salvaguarda deliberada nesse cálculo. A diferença medida nunca é realimentada através do limiar do efeito detectável, que é ele próprio derivado da amostra actual. Fazer isso tornaria a resposta auto-confirmável e reportaria dados suficientes para um teste com potência claramente insuficiente.

Quando a diferença medida é demasiado pequena para dimensionar contra ela de todo, um efeito quase nulo precisa de uma amostra sem limite, a análise recua para um ganho-alvo e diz qual dos dois usou. Um número com aspecto preciso e sem indicação do que assumiu é pior do que um número honesto.