Efecto mínimo detectable

Este es el modo de fallo que parece «sin resultado» y en realidad es «tráfico insuficiente para saberlo nunca». Un experimento que mide una diferencia menor que el umbral que su muestra puede resolver se queda en no significativo indefinidamente, y ninguna cantidad de paciencia lo cambia al nivel de tráfico actual.

Por eso la consola informa del umbral directamente, en puntos porcentuales, junto a la tasa de control de la que es una fracción. Medio punto porcentual no significa nada si no se sabe si la tasa base es del uno por ciento o del cuarenta.

También indica con claridad si la diferencia medida queda por encima o por debajo de ese umbral. Por debajo, el experimento no puede resolver lo que está mostrando, y las respuestas útiles son distintas de las que sugiere la significancia: probar algo más audaz, pasar a una página con más tráfico, o aceptar que la pregunta no tiene respuesta en esta plantilla.

El umbral y el tamaño de muestra requerido se definen como inversos exactos el uno del otro, en lugar de mediante fórmulas separadas. Antes se calculaban a partir de supuestos de varianza distintos y por eso discrepaban en un pequeño porcentaje, lo cual importaba porque el mismo panel muestra ambos y uno de ellos decide si una diferencia es resoluble.