Contrôles de fiabilité sur données cassées

L'automatisation ne vaut que ce que vaut le chiffre qu'elle lit. Trois conditions signifient que le chiffre ne peut pas être lu, et chacune bloque toute action qui s'appuierait dessus.

Un écart de ratio d'échantillonnage signifie que le trafic ne s'est pas réparti comme configuré, si bien que les deux groupes ne sont pas comparables et qu'aucun contraste entre eux ne tient. Aucun trafic pendant une journée entière signifie que rien n'est mesuré du tout. Et un constat d'interférence signifie qu'un autre test en cours corrompt cette lecture, ce qu'aucun autre contrôle ne détecterait.

Ce troisième contrôle est distinct du premier plutôt que fondu dedans, parce que les deux ne se recouvrent pas comme on pourrait le croire. Une interaction par redirection se manifeste bien comme un écart de répartition, mais deux tests qui modifient le même élément produisent une répartition parfaite et une combinaison de page que personne n'a relue, ce qui est invisible pour le contrôle de ratio d'échantillonnage et reste pourtant une lecture sur laquelle il ne faut pas agir.

Les contrôles de fiabilité ne gardent que le chemin de la significativité. L'arrêt fondé sur le temps est inconditionnel, parce que terminer un test est toujours sans risque et que laisser un test cassé tourner au-delà de sa fin prévue fait deux problèmes d'un seul. Quand un contrôle bloque, la raison est énoncée en toutes lettres plutôt que comme un code de statut.