Pruebas secuenciales

Una prueba de horizonte fijo es válida si se mira una sola vez, al final. Mírela cada día y deténgase en el primer cruce, y la tasa de falsos positivos sube muy por encima del cinco por ciento que usted cree estar corriendo. Esto no es un matiz; es la forma más común en que los programas de experimentación se engañan a sí mismos.

Las pruebas secuenciales son la prueba diseñada para eso. Su tasa de error se controla bajo monitorización continua, así que una mirada el día nueve es tan válida como una mirada el día treinta, y se puede actuar sobre un resultado claro en cuanto llega y no cuando lo diga el calendario.

También declara el otro desenlace, algo que una prueba de horizonte fijo no puede hacer. «Sin efecto del tamaño que esta prueba se diseñó para encontrar» es una conclusión real, y actuar sobre ella libera el tráfico para la siguiente idea en lugar de dejar un test plano corriendo por pura esperanza.

Es deliberadamente conservadora con la automatización. Una parada automática exige que la prueba secuencial y el valor p corregido coincidan, sobre la misma variante, en la misma dirección. No siempre coincidirán, y el caso conocido es un efecto real más pequeño que aquel para el que está dimensionada la prueba secuencial: declara que no hay efecto mientras el valor p acaba siendo significativo, no salta nada, y el experimento corre hasta su fecha de fin programada. Esa es la dirección en la que se pretende que falle.