Očekávaná ztráta

Významnost odpovídá na to, jestli od sebe dokážete rozeznat dvě věci. Očekávaná ztráta odpovídá na něco užitečnějšího, když se chystáte jednat: pokud si vyberete tuhle a splete se, o kolik jste na tom hůř.

Počítá se ze stejného vzorkování posterioru jako pravděpodobnost, že je nejlepší. Pro každý tah měří, o kolik tahle varianta zaostala za nejlepší větví, a to zprůměruje přes všechny tahy. Větev, která bývá obvykle nejlepší a jen málo zaostává, když není, má malou očekávanou ztrátu.

Tohle dělá těsné výsledky rozhodnutelnými. Dvě varianty, které je statisticky těžké rozlišit, bývají obchodně triviální volbou, protože omyl skoro nic nestojí. Čekat týdny na významnost u rozhodnutí, které je tak levné, je špatná výměna provozu za jistotu.

Funguje to i opačně. Velká očekávaná ztráta u varianty, která je nominálně napřed, je varování: pozitivní strana je skutečná, ale negativní není malá, a tohle je experiment, který se vyplatí nechat běžet déle.