Statistik du kan stå för
Förväntad förlust
Vad ni skulle ge upp genom att skeppa den här varianten om den visar sig inte vara bäst. Ofta talet som faktiskt avgör beslutet.
Signifikans svarar på om ni kan skilja två saker åt. Förväntad förlust svarar på något mer användbart när ni är på väg att agera: om ni väljer den här och har fel, hur mycket sämre ställda är ni.
Den beräknas från samma posteriorsampling som sannolikheten att vara bäst. För varje dragning mäter den hur långt efter den bästa armen den här varianten hamnade, och tar medelvärdet av det över alla dragningar. En arm som oftast är bäst och bara ligger lite efter när den inte är det har en liten förväntad förlust.
Det här är vad som gör jämna utfall avgörbara. Två varianter som är svåra att skilja statistiskt är ofta triviala att välja mellan kommersiellt, eftersom att ha fel kostar nästan ingenting. Att vänta veckor på signifikans för ett beslut så billigt är en dålig affär, trafik mot visshet.
Det slår åt andra hållet också. En stor förväntad förlust på en variant som nominellt ligger före är en varning: uppsidan är verklig men nedsidan är inte liten, och det här är ett experiment värt att köra längre.