Statistik, die Sie vertreten können
Erwarteter Verlust
Was Sie aufgeben, wenn Sie diese Variante ausliefern und sie sich als nicht die beste erweist. Oft die Zahl, die die Entscheidung tatsächlich fällt.
Signifikanz beantwortet, ob Sie zwei Dinge auseinanderhalten können. Erwarteter Verlust beantwortet etwas Nützlicheres, wenn Sie kurz vor dem Handeln stehen: Wenn Sie diese wählen und sich irren, wie viel schlechter stehen Sie dann da.
Er wird aus demselben Posterior-Stichprobenziehen berechnet wie die Wahrscheinlichkeit der Bestleistung. Für jeden Zug misst er, wie weit diese Variante hinter dem besten Arm zurückblieb, und mittelt das über alle. Ein Arm, der meist der beste ist und nur leicht dahinter, wenn nicht, hat einen kleinen erwarteten Verlust.
Das macht knappe Fälle entscheidbar. Zwei Varianten, die statistisch schwer zu trennen sind, sind kommerziell oft trivial zu wählen, denn sich zu irren kostet fast nichts. Wochenlang auf Signifikanz zu warten, bei einer so billigen Entscheidung, ist ein schlechter Tausch von Traffic gegen Gewissheit.
Es funktioniert auch andersherum. Ein großer erwarteter Verlust bei einer Variante, die nominell vorn liegt, ist eine Warnung: Die Chance ist real, aber die Kehrseite ist nicht klein, und das ist ein Experiment, das es wert ist, länger zu laufen.