Monitoring
Detección de interferencias
El problema que aflora en el experimento equivocado. Una redirección que saca tráfico de otro test aparece como una alarma allí, sin nada que apunte a la causa.
Este es el modo de fallo casi imposible de diagnosticar desde dentro del experimento que lo informa. Un experimento de redirección que saca tráfico de otra audiencia aflora como un desajuste en el reparto de la muestra, en el otro experimento, donde nada en los datos apunta a la causa. Alguien se pasa una tarde investigando un test que funciona correctamente.
La detección de interferencias informa de la relación y no del síntoma. Nombra a los dos experimentos y sobre qué están colisionando, así que la alarma llega con su explicación adjunta en lugar de como un misterio en el lugar equivocado.
También detecta el caso que no produce ninguna alarma. Dos experimentos que editan el mismo elemento mantienen un reparto de tráfico perfecto, así que la comprobación del reparto de la muestra no ve nada mal, y lo que reciben los visitantes es una combinación de página que ninguno de los dos test pretendía. Por eso la interferencia es un control de confianza separado de la comprobación del reparto y no fundida con ella.
El hallazgo bloquea la acción automatizada sobre el experimento afectado mientras se mantenga. El motivo se redacta una sola vez y se reutiliza, así que el editor del tablero, el motor y la cola de atención dicen todos la misma frase sobre el mismo par en lugar de tres redacciones distintas.