Parada por significancia

Parar en el momento en que un test cruza un valor p por debajo de 0,05 es el ejemplo de libro de la parada opcional. Mirar de forma repetida y parar en el primer cruce infla la tasa de falsos positivos muy por encima del cinco por ciento nominal, y una comprobación automatizada mira cada minuto, que es el peor caso posible de eso.

Por eso la regla es conservadora. Una parada automatizada exige que el test secuencial y el valor p corregido coincidan, sobre la misma variante y en la misma dirección. El test secuencial es válido bajo monitorización continua; el valor p corregido es una ayuda de lectura para una persona que mira de vez en cuando y no es, por sí solo, una regla de parada válida.

Esto tiene una consecuencia conocida, que la plataforma hace cumplir en lugar de esconder. El test secuencial está dimensionado para una mejora objetivo fija, así que un experimento con un efecto real pero más pequeño lo deja leyendo «sin efecto» mientras el valor p acaba leyendo significativo. Nunca coinciden, nada se dispara, y el experimento corre hasta su fin programado. Por eso una fecha de fin programada es obligatoria junto a este ajuste: la significancia solo puede terminar un experimento antes de tiempo, nunca ser lo único que lo termina.

Tres controles de confianza se sitúan delante de todo este camino. Un reparto que dejó de coincidir, un día entero sin tráfico, o interferencia de otro experimento en marcha bloquean la parada cada uno, porque la lectura en la que se basaría no se puede creer.