Statistik, die Sie vertreten können
Auswertung von Kombinationen
Wenn zwei Experimente gleichzeitig laufen, wirken ihre Änderungen zusammen? Eine enge Frage, sauber beantwortet.
Experimente gleichzeitig laufen zu lassen kostet nichts an Stichprobengröße, weil jedes unabhängig randomisiert. Was es kosten kann, ist Additivität: Zwei Änderungen, die je für sich funktionieren, kombinieren sich nicht zwingend so, wie man annehmen würde. Die Kombinationsauswertung ist die Prüfung dafür.
Wählen Sie zwei oder mehr Experimente auf derselben Website, und der Bericht misst, ob ihre Effekte zusammenwirken und ob sich die Bestellwerte zwischen den Kombinationen unterscheiden, in denen Besucher gelandet sind. Er wird allein aus Conversion-Zahlen über ein Odds Ratio berechnet, und die Algebra geht auf, weil sich die Zuteilungsterme bei unabhängiger Randomisierung exakt aufheben.
Sie ist präzise darin, was sie nicht beantwortet. Ohne einen Expositionsnenner kann sie nicht sagen, welche Kombination am besten konvertiert; sie kann sagen, ob die beiden Änderungen zusammenwirken, und das ist die Frage, die entscheidet, ob sich jedes Ergebnis für sich allein bestätigt.
Das ist die enge, statistische Frage. Die breitere operative Frage, ob zwei Experimente einander beschädigen statt sich nur zu kombinieren, deckt die Kollisions- und Störungserkennung ab, und die melden sich von selbst, ohne dass jemand fragt.