Análise de poder

Poder é a chance de um experimento detectar uma diferença real de determinado tamanho. Abaixo de aproximadamente oitenta por cento, um resultado nulo significa "ainda não há dados suficientes" e não "não há efeito", e tratar as duas coisas como iguais é como uma boa ideia acaba abandonada.

O Pertento dimensiona a análise contra a diferença que o experimento está de fato medindo, não contra um ganho-alvo fixo escolhido de antemão. Dimensionar contra um cinco por cento fixo responde "quando eu conseguiria detectar cinco por cento", que não é a pergunta que se faz sobre um experimento em andamento. A pergunta é quando o efeito que estou vendo se torna conclusivo.

Há uma salvaguarda deliberada nesse cálculo. A diferença medida nunca é realimentada através do piso de efeito detectável, que é ele mesmo derivado da amostra atual. Fazer isso tornaria a resposta autorrealizável e reportaria dados suficientes para um experimento com poder gravemente insuficiente.

Quando a diferença medida é pequena demais para dimensionar contra ela sequer, um efeito quase nulo exige uma amostra sem limite, a análise recorre a um ganho-alvo e informa qual dos dois usou. Um número de aparência precisa sem indicar o que ele presumiu é pior que um número honesto.