Monitoring
Alarme für überfällige und stille Tests
Die zwei Fehler, die aus dem Ergebnisbildschirm heraus niemand bemerkt: ein Test, der über sein Ende hinaus läuft, und einer, der unbemerkt aufgehört hat, Daten zu sammeln.
Ein überfälliges Experiment sollte enden und hat es nicht getan. Es läuft weiter, teilt weiter Traffic und kostet weiter das Publikum, das es beansprucht, meist weil die Entscheidung, die es hervorbrachte, nie getroffen wurde. Es wird als wartende Entscheidung eingeordnet, nicht als Fehler, denn nichts ist kaputt, jemand muss nur entscheiden.
Ein Experiment ohne Daten ist das dringendere. Ein voller Tag ohne Aufzeichnung, während der Test noch läuft, bedeutet fast immer, dass eine Targeting-Regel nicht mehr greift oder das Snippet bei einem Deploy verloren ging. Aus dem Ergebnisbildschirm heraus sieht das wie eine ruhige Woche aus; von außen ist es ein Test, der aufgehört hat, ein Test zu sein.
Beide erreichen Sie, statt darauf zu warten, gefunden zu werden. Beide sind standardmäßig für E-Mail und Slack aktiv, zusammen mit der fehlerhaften Aufteilung, denn Zustandssignale rechtfertigen eine Unterbrechung, Lebenszyklus-Ereignisse dagegen nicht.
Ein Kein-Daten-Befund blockiert außerdem automatisiertes Stoppen. Nach einer Schlussfolgerung zu handeln, die aus einem Experiment gezogen wurde, das aufgehört hat zu sammeln, ist genau der Fall, für den es die Vertrauensprüfungen gibt.