Problematische Tests bleiben außen vor

Ergebnisse zusammenzuführen hilft nur, wenn sie sich sinnvoll auswerten lassen. Ein Test mit fehlerhafter Traffic-Aufteilung oder ohne erfasste Daten wird aus allen Mustern ausgeschlossen, weil seine Zahlen nicht das aussagen, was sie zu bedeuten scheinen. Beide Probleme werden gemessen und lassen sich daher nicht durch eine persönliche Einschätzung aufheben.

Das Debrief ergänzt, was die Daten nicht sehen können. Ein Test, in dessen Debrief ein Tracking-Problem oder ein Website-Release während der Laufzeit gemeldet wird, bleibt ebenfalls außen vor. Jeder andere äußere Faktor, den das Team meldet, etwa eine Kampagne oder eine Saison, lässt den Test drin, gewichtet ihn aber geringer, und zwar einmal, egal wie viele Faktoren angekreuzt sind, weil Menschen dazu neigen, alles anzukreuzen, was zutreffen könnte.

Kleinere Probleme werden gezeigt statt verrechnet: zu wenige Besucher, eine Laufzeit unter einer Woche oder eine Überschneidung mit einem anderen Test erscheinen als Hinweise auf der Erkenntniskarte. Die Evidenz-Ansicht führt auf, was noch nicht gezählt wird, sodass ein Test nie stillschweigend verschwindet.

Stellt sich ein gemeldetes Problem als behoben heraus, öffnet jemand, der Experimente anlegen darf, die Debrief-Seite des Tests und wählt “Tracking behoben, einbeziehen”. Damit wird ein vom Team gemeldeter Faktor zurückgenommen. Eine fehlerhafte Aufteilung oder fehlende Daten kann das nicht übergehen, denn sie wurden gemessen.