Statistik, die Sie vertreten können

Wahrscheinlichkeit, die Beste zu sein

Lesen Sie sie direkt. Anders als ein p-Wert ist sie die Antwort auf die Frage, die Sie tatsächlich gestellt haben.

Direkt lesbarÜber alle ArmeSpeist die Empfehlung

Ein p-Wert sagt Ihnen, wie überraschend Ihre Daten unter einer Annahme wären, die Sie nicht glauben. Fast jeder liest ihn als die Wahrscheinlichkeit, dass die Variante besser ist, was er nicht aussagt. Diese Zahl ist die, die Menschen zu lesen glauben, korrekt berechnet.

Sie ist der Anteil simulierter Ergebnisse, in denen diese Variante vor jedem anderen Arm liegt, die Kontrolle eingeschlossen. Weil sie über alle Arme zugleich berechnet wird, summieren sich die Wahrscheinlichkeiten eines Experiments zu eins, und ein Dreier-Test braucht keine separate Korrektur, um gelesen zu werden.

Darauf baut die Empfehlung der Konsole auf. Eine Variante bei oder über 95 Prozent, deren frequentistisches Ergebnis auch ihre korrigierte Schwelle nimmt, wird als Gewinner mit hoher Konfidenz gemeldet. Über 80 Prozent wird sie als aufkommend gemeldet, mit dem ehrlichen Rat, weiterlaufen zu lassen.

Sie tritt neben den erwarteten Verlust, nicht an seine Stelle. Eine hohe Wahrscheinlichkeit mit großem erwartetem Verlust ist eine andere Entscheidung als eine hohe Wahrscheinlichkeit mit vernachlässigbarem, und die zweite macht das Ausliefern meist leicht.

Bessere Experimente, bessere Conversion

Test on all visitors with the world’s lightest script and make confident decisions powered by real-time reporting.