Frequentistisch und bayesianisch, nebeneinander

Dafür ist die zweite Hälfte dieser Seite da. Ein Ergebnis kommt mit der Größe des Unterschieds, dem Intervall darum und der Wahrscheinlichkeit, dass es Zufall ist, auf zwei unabhängigen Wegen berechnet und nebeneinander gezeigt. Umsatz wird je Variante gemessen und nicht aus der Conversion-Rate abgeleitet, sodass eine Variante, die häufiger konvertiert und billiger verkauft, nicht als Gewinn erscheint. Und die Plattform benennt ihre eigene Unsicherheit, statt sie zu verbergen, und das ist der Teil, der einer Prüfung standhält: Ein Ergebnis, das noch nicht eindeutig ist, sagt das in Worten, statt als eindeutiges dargestellt zu werden.

Nein, und der Aufbau setzt voraus, dass Sie keinen haben. Jede Kennzahl trägt ihre Erklärung an Ort und Stelle, geschrieben, um zu sagen, was die Zahl Ihnen mitteilt, und nicht, um den Begriff zu definieren, und mehrere davon gibt es genau dafür, ein Missverständnis abzuwenden: Die Spalte mit dem Unterschied sagt ausdrücklich, dass sie für sich genommen nichts darüber aussagt, ob der Abstand echt ist. Neben den Kennzahlen steht eine Empfehlung in klaren Worten. Was die Konsole nicht tut: durch Verbergen vereinfachen. Wer also den p-Wert und das Intervall sehen will, findet beides.

Drei Absicherungen, und der Vergleich mit dem, was Sie heute nutzen, lohnt sich. Mehrere Varianten gleichzeitig zu testen erhöht die Chance, dass eine zufällig wie ein Gewinner aussieht, also wird die Schwelle zum Ausgleich verschärft, und die Konsole nennt die angewandte Schwelle, statt sie Sie ausrechnen zu lassen. Ein Ergebnis täglich anzusehen erhöht die Rate falsch positiver Befunde, deshalb ist der Test, den man laufend lesen darf, getrennt von dem, bei dem das nicht gilt, und die Plattform stoppt ein Experiment nur dann früh, wenn beide übereinstimmen. Und vor all dem prüft sie, ob der Traffic wirklich so aufgeteilt wurde, wie Sie es konfiguriert haben, denn wenn nicht, hält nichts stand, was daraus berechnet wurde.

Manchmal ja und manchmal wirklich nicht, und genau hier ist die Plattform am nützlichsten, bevor Sie drei Monate mit dem Herausfinden verbracht haben. Jedes Experiment berichtet den kleinsten Unterschied, den der vorhandene Traffic zuverlässig erkennen kann. Liegt der Effekt, den Sie suchen, unter dieser Grenze, hilft auch keine Geduld, und die Konsole sagt das, statt einen Test unbegrenzt auf “nicht signifikant” stehen zu lassen. Zu wissen, welche Ihrer Seiten eine Frage beantworten können und welche nicht, ist auf einer überschaubaren Website mehr wert als auf einer großen.

Nein. Beides wird für jedes Experiment berechnet und zusammen gezeigt, das ist also eine Frage der Lesart und keine Konfigurationsentscheidung, die man falsch treffen kann. Der frequentistische Teil berichtet, wie unwahrscheinlich das Ergebnis wäre, wenn die Änderung nichts bewirkt hätte. Der bayesianische Teil berichtet die Wahrscheinlichkeit, dass jede Variante die beste ist, und was eine falsche Wahl Sie kosten würde. Teams finden das Zweite meist leichter umsetzbar und das Erste leichter verteidigbar, und genau deshalb wurde keines von beiden weggelassen.