Monitoring
Alarme für überfällige und stille Tests
Die zwei Fehler, die aus dem Ergebnisbildschirm heraus niemand bemerkt: ein Test über seinem Ende, und einer, der still aufgehört hat zu sammeln.
Ein überfälliges Experiment sollte enden und hat es nicht getan. Es läuft weiter, teilt weiter Traffic und kostet weiter das Publikum, das es beansprucht, meist weil die Entscheidung, die es hervorbrachte, nie getroffen wurde. Es wird als wartende Entscheidung eingeordnet, nicht als Fehler, denn nichts ist kaputt, jemand muss nur entscheiden.
Ein Experiment ohne Daten ist das dringendere. Ein voller Tag ohne Aufzeichnung, während der Test noch läuft, bedeutet fast immer, dass eine Targeting-Regel nicht mehr greift oder das Snippet bei einem Deploy verloren ging. Aus dem Ergebnisbildschirm heraus sieht das wie eine ruhige Woche aus; von außen ist es ein Test, der aufgehört hat, ein Test zu sein.
Beide erreichen Sie, statt darauf zu warten, gefunden zu werden. Beide sind standardmäßig für E-Mail und Slack aktiv, zusammen mit dem Aufteilungsfehler, denn Gesundheitssignale verdienen eine Unterbrechung, wie es Lebenszyklus-Ereignisse nicht tun.
Ein Kein-Daten-Befund blockiert außerdem automatisiertes Stoppen. Auf eine Schlussfolgerung zu handeln, die aus einem Experiment gezogen wurde, das aufgehört hat zu sammeln, ist genau der Fall, für den die Vertrauensprüfungen existieren.