Détection d'interférence

C'est le mode d'échec presque impossible à diagnostiquer depuis le test qui le signale. Un test de redirection qui retire du trafic à l'audience d'un autre se manifeste comme un écart de répartition dans cet autre test, où rien dans les données ne renvoie à la cause. Quelqu'un passe un après-midi à enquêter sur un test qui fonctionne pourtant correctement.

La détection d'interférence signale la relation plutôt que le symptôme. Elle nomme les deux tests et ce sur quoi ils entrent en collision, si bien que l'alarme arrive avec son explication jointe plutôt que comme un mystère au mauvais endroit.

Elle rattrape aussi le cas qui ne produit aucune alarme du tout. Deux tests qui modifient le même élément conservent une répartition de trafic parfaite, si bien que le contrôle de ratio d'échantillonnage ne voit rien d'anormal, et ce que reçoivent les visiteurs est une combinaison de page qu'aucun des deux tests ne prévoyait. C'est pourquoi l'interférence est un contrôle de fiabilité distinct du contrôle de répartition plutôt que fondu dedans.

Le constat bloque l'action automatisée sur le test concerné tant qu'il tient. La raison est formulée une fois et réutilisée, si bien que l'éditeur du tableau, le moteur et la file classée disent tous la même phrase sur la même paire plutôt que trois formulations différentes.