Statistik som håller
Förväntad förlust
Vad du förlorar på att rulla ut varianten om den inte är bäst. Ofta är det den siffran som avgör beslutet.
Signifikans visar om det går att skilja två saker åt. Förväntad förlust svarar på något mer användbart när du ska agera: om du väljer den här varianten och har fel, hur mycket sämre går det då?
Den beräknas ur samma posteriordragningar som sannolikheten att vara bäst. För varje dragning mäts hur långt efter den bästa varianten den här hamnade, och sedan tas medelvärdet över alla dragningar. En variant som oftast är bäst, och bara ligger lite efter när den inte är det, har en liten förväntad förlust.
Därför går det att avgöra även jämna resultat. Två varianter som är svåra att skilja åt statistiskt är ofta enkla att välja mellan kommersiellt, eftersom ett felval knappt kostar något. Att vänta i veckor på signifikans för ett så billigt beslut är en dålig affär: du betalar med trafik för att få säkerhet.
Det gäller åt andra hållet också. Stor förväntad förlust för en variant som nominellt ligger före är en varning: uppsidan är verklig, men nedsidan är inte liten, och experimentet är värt att köra längre.