Statistik, die Sie vertreten können
Uplift und Konfidenzintervalle
Zwei Intervalle, die zwei verschiedene Aufgaben erfüllen. Das, was eine Diskussion entscheidet, ist das zweite.
Das erste Intervall gilt der eigenen Conversion-Rate einer Variante: dem Bereich, in dem ihre wahre Rate am ehesten liegt. Es ist ein Wilson-Intervall statt eines naiven, das heißt, es bleibt auch bei kleinen Stichproben zwischen null und hundert Prozent, wo eine einfachere Berechnung munter eine Untergrenze unter null meldet.
Das zweite ist das, was entscheidet. Das Uplift-Intervall ist der Bereich für den Unterschied zur Kontrolle. Liegt der ganze Bereich über null, ist die Variante wirklich vorn. Umfasst er null, ist “kein Unterschied” immer noch vereinbar mit dem, was Sie gemessen haben, wie ermutigend der Punktschätzer auch aussieht.
Genau deshalb werden beide gezeigt. Zwei überlappende Varianten-Intervalle sagen Ihnen nicht, ob der Unterschied zwischen ihnen real ist, und sie so zu lesen, als täten sie das, ist einer der häufigsten Wege, ein Experiment zu früh zu beenden.
Auch der Rest der Plattform liest das Uplift-Intervall. Die Aufgabenliste ruft einen Gewinner nur aus, wenn das Intervall auf einer Seite von null bleibt, die Umsetzungsliste wendet dieselbe Schranke an, und der automatische Stopp verweigert sich ohne es. Eine Definition von “vorn”, überall genutzt.