Monitoring
Controles de confianza sobre datos rotos
Tres condiciones bajo las que la automatización se niega a actuar, porque la lectura sobre la que actuaría no se puede creer.
La automatización solo es tan buena como la cifra que lee. Tres condiciones hacen que la cifra no se pueda leer, y cada una de ellas bloquea cualquier acción que se basara en ella.
Un desajuste en el reparto de la muestra significa que el tráfico no se repartió como se configuró, así que los dos grupos no son comparables y ningún contraste entre ellos se sostiene. Ningún tráfico durante un día entero significa que no se está midiendo nada en absoluto. Y un hallazgo de interferencia significa que otro experimento en marcha está corrompiendo esta lectura, que es lo único que nada más detectaría.
Ese tercer control está separado del primero en lugar de fundida con ella, porque las dos no se solapan como podría parecer. Una interacción por redirección sí aflora como un desajuste en el reparto, pero dos experimentos que editan el mismo elemento producen un reparto perfecto y una combinación de página que nadie revisó, invisible para la comprobación del reparto de la muestra y aun así una lectura sobre la que no vale la pena actuar.
Los controles de confianza solo protegen el camino de la significancia. La parada basada en tiempo es incondicional, porque terminar un experimento siempre es seguro y dejar uno roto en marcha más allá de su fin previsto convierte un problema en dos. Cuando un control bloquea, el motivo se indica en palabras claras y no como un código de estado.