Statistik, die Sie vertreten können
Erwarteter Verlust
Was Sie aufgeben, wenn Sie diese Variante ausliefern und sie sich doch nicht als die beste erweist. Oft die Zahl, die tatsächlich den Ausschlag gibt.
Signifikanz beantwortet, ob Sie zwei Dinge auseinanderhalten können. Erwarteter Verlust beantwortet etwas Nützlicheres, wenn Sie kurz vor dem Handeln stehen: Wenn Sie diese wählen und sich irren, wie viel schlechter stehen Sie dann da.
Er wird aus demselben Posterior-Stichprobenziehen berechnet wie die Wahrscheinlichkeit, die beste Variante zu sein. Für jeden Zug misst er, wie weit diese Variante hinter dem besten Arm zurückblieb, und mittelt das über alle. Ein Arm, der meist der beste ist und sonst nur knapp dahinter liegt, hat einen kleinen erwarteten Verlust.
Das macht knappe Fälle entscheidbar. Zwei Varianten, die statistisch schwer zu trennen sind, sind kommerziell oft trivial zu wählen, denn sich zu irren kostet fast nichts. Bei einer so billigen Entscheidung wochenlang auf Signifikanz zu warten, ist ein schlechter Tausch von Traffic gegen Gewissheit.
Es funktioniert auch andersherum. Ein großer erwarteter Verlust bei einer Variante, die nominell vorn liegt, ist eine Warnung: Die Chance ist real, aber die Kehrseite ist nicht klein, und das ist ein Experiment, das länger laufen sollte.