Monitoring
Störungserkennung
Das Problem, das im falschen Experiment auftaucht. Eine Weiterleitung, die Traffic aus einem anderen Test zieht, erscheint dort als Alarm, ohne Hinweis auf die Ursache.
Das ist der Fehlerfall, der aus dem meldenden Experiment heraus fast unmöglich zu diagnostizieren ist. Ein Weiterleitungs-Experiment, das Traffic aus einem anderen Publikum zieht, zeigt sich dort als Aufteilungsfehler, wo nichts in den Daten auf die Ursache zurückweist. Jemand verbringt einen Nachmittag damit, einen Test zu untersuchen, der korrekt funktioniert.
Die Störungserkennung meldet die Beziehung statt das Symptom. Sie nennt beide Experimente und worüber sie kollidieren, sodass der Alarm mit seiner Erklärung ankommt statt als Rätsel am falschen Ort.
Sie erfasst auch den Fall, der gar keinen Alarm auslöst. Zwei Experimente, die dasselbe Element bearbeiten, behalten eine perfekte Traffic-Aufteilung, die Stichprobenverhältnis-Prüfung sieht also nichts Falsches, und was Besucher bekommen, ist eine Seitenkombination, die keiner der beiden Tests vorgesehen hat. Deshalb ist Störung eine eigene Vertrauensprüfung, getrennt von der Aufteilungsprüfung, statt in sie eingefaltet zu sein.
Der Befund blockiert automatisiertes Handeln am betroffenen Experiment, solange er besteht. Der Grund wird einmal formuliert und wiederverwendet, sodass Board-Editor, Engine und Aufgabenliste alle denselben Satz über dasselbe Paar sagen statt drei verschiedene Formulierungen davon.