Análisis de potencia

La potencia es la probabilidad de que un experimento detecte una diferencia real de un tamaño dado. Por debajo de aproximadamente el ochenta por ciento, un resultado nulo significa «todavía no hay datos suficientes» y no «no hay efecto», y tratar las dos cosas como la misma es como se abandona una buena idea.

Pertento dimensiona el análisis contra la diferencia que el experimento de verdad está midiendo, no contra una mejora objetivo fija elegida de antemano. Dimensionar contra un cinco por ciento fijo responde a «cuándo podría detectar un cinco por ciento», que no es la pregunta que nadie hace de un experimento en marcha. La pregunta es cuándo se vuelve concluyente el efecto que estoy viendo.

Hay un seguro deliberado en ese cálculo. La diferencia medida nunca se realimenta a través del umbral de efecto detectable, que a su vez se deriva de la muestra actual. Hacerlo volvería la respuesta autocumplida e informaría de datos suficientes para un experimento con muy poca potencia.

Cuando la diferencia medida es demasiado pequeña para dimensionar contra ella (un efecto casi nulo necesitaría una muestra sin límite), el análisis recurre a una mejora objetivo y dice cuál de las dos usó. Un número de aspecto preciso sin indicar qué asumió es peor que uno honesto.