Stimme der Kunden
Antworten je Variante gespeichert
Jede Antwort trägt die Varianten, die ihr Urheber gerade sah, und genau das macht ein Auswerten je Arm überhaupt möglich.
Wenn ein Besucher antwortet, wird die Antwort mit einer Aufzeichnung gespeichert, in welcher Variante er für jedes Experiment war, in das er zu diesem Zeitpunkt eingeschrieben war. Nicht nur das eine, für das Sie sich später zufällig interessieren.
Das zählt, weil die Frage, die Sie stellen wollen, meist erst entschieden wird, nachdem die Antworten eingetroffen sind. Das ganze Bild zu speichern bedeutet, dass Sie Antworten nachträglich nach jedem gleichzeitig laufenden Experiment splitten können, statt nur nach einem im Voraus benannten.
Es entfernt außerdem eine ganze Fehlerklasse. Im Nachhinein zu rekonstruieren, welche Variante jemand sah, bedeutet, eine Antwort über die Zeit hinweg mit einer Zuordnung zu verknüpfen, und Zuordnungen können sich ändern, wenn Gewichte bearbeitet oder ein Experiment ausgerollt wird. Sie im Moment des Antwortens zu erfassen macht die Zuordnung exakt.
Einblendungen tragen dieselbe Aufzeichnung, was es erlaubt, eine Rücklaufquote je Variante zu messen statt zu schätzen. Eine Umfrage gezeigt zu bekommen und sie zu beantworten sind unterschiedliche Ereignisse, und beide müssen zuordenbar sein, damit die Rate dazwischen etwas bedeutet.