Experiment-Debrief

Ein Testergebnis ist vergessen, sobald die Person, die den Test durchgeführt hat, weiterzieht. Das Debrief schließt diese Lücke. Wenn Sie einen Test beenden, bietet Pertento eine kurze Abfrage an, die das Ergebnis und die Hypothese zeigt und dann fragt, was Sie erwartet haben, warum es Ihrer Meinung nach so kam und was Sie als Nächstes tun. Jede Frage ist optional, und das Beenden eines Tests wartet nie darauf.

Pertento entwirft, was es sehen kann, und Sie bestätigen oder korrigieren es. Es vergleicht eine volle Woche Website-Traffic mit der ersten Woche, für die Geräte, auf die der Test ausgerichtet war, und meldet eine Verschiebung von 15 % oder mehr bei Tests, die 14 Tage oder länger liefen. Es vermerkt auch Lücken im Tracking: Tage ohne erfasste Besucher oder eine Besucheraufteilung, die von den geplanten Gewichten abgewichen ist. Ihre Antwort bestimmt, welche äußeren Faktoren das Debrief festhält.

Danach hat der Test einen Tab “Debrief”, eine einzelne Karte, die mit der Erkenntnis beginnt. Auf der einen Seite stehen die Fakten aus Ihrer Statistik (Uplift, Konfidenz, Besucher und die Tage, die der Test lief), auf der anderen die Antworten Ihres Teams. Die Überschrift wird aus der Statistik erzeugt und nie getippt, sodass sie ein Ergebnis nicht übertreiben kann. Eine Variante, die für sich genommen gut aussieht, aber die strengere Hürde verfehlt, die beim Vergleich mehrerer Varianten gilt, wird als “nicht deutlich genug, um es zu entscheiden” beschrieben, weder als Gewinn noch als neutral.

Der Tab ist bei jedem Test vorhanden, der beendet wurde oder bei dem ein Gewinner ausgerollt wurde. Jeder mit Zugriff auf den Test kann ihn jederzeit ausfüllen oder ändern, und die Karte zeigt, wer ihn zuletzt ausgefüllt hat und wann, sodass ein neues Teammitglied die Erkenntnis dort findet, wo der Test liegt.