Vertrauensprüfungen bei defekten Daten

Automatisierung ist nur so gut wie die Zahl, die sie liest. Drei Bedingungen bedeuten, dass die Zahl nicht lesbar ist, und jede blockiert jede Aktion, die auf ihr beruhen würde.

Eine schiefe Aufteilung bedeutet, dass der Traffic nicht so aufgeteilt wurde wie konfiguriert, sodass die beiden Gruppen nicht vergleichbar sind und kein Vergleich zwischen ihnen standhält. Kein Traffic für einen vollen Tag bedeutet, dass überhaupt nichts gemessen wird. Und ein Störungsbefund bedeutet, dass ein anderes laufendes Experiment diesen Messwert verfälscht, was das Einzige ist, das sonst nichts erfassen würde.

Diese dritte Prüfung steht getrennt von der ersten, statt in sie eingefaltet zu sein, weil beide sich nicht so überschneiden, wie es aussieht. Eine Weiterleitungs-Interaktion zeigt sich zwar als Aufteilungsfehler, aber zwei Experimente, die dasselbe Element bearbeiten, ergeben eine perfekte Aufteilung und eine Seitenkombination, die niemand geprüft hat, was für die Stichprobenverhältnis-Prüfung unsichtbar bleibt und trotzdem kein Messwert ist, auf den man handeln sollte.

Vertrauensprüfungen schützen nur den Signifikanzpfad. Der zeitbasierte Stopp ist bedingungslos, weil ein Experiment zu beenden immer sicher ist und ein kaputtes über sein geplantes Ende hinaus laufen zu lassen aus einem Problem zwei macht. Blockiert eine Prüfung, wird der Grund in klaren Worten genannt statt als Statuscode.