Statystyka, której da się obronić
Oczekiwana strata
Co byście stracili, wdrażając ten wariant, gdyby okazał się nie najlepszy. Często ta liczba naprawdę rozstrzyga decyzję.
Istotność odpowiada, czy potraficie odróżnić dwie rzeczy od siebie. Oczekiwana strata odpowiada na coś użyteczniejszego, kiedy zaraz macie działać: jeśli wybierzecie ten wariant i się mylicie, o ile jesteście gorzej.
Liczona jest z tego samego próbkowania a posteriori co prawdopodobieństwo bycia najlepszym. Dla każdego losowania mierzy, o ile ten wariant wypadł gorzej od najlepszego ramienia, i uśrednia to po wszystkich losowaniach. Ramię, które zwykle jest najlepsze i tylko odrobinę gorsze, kiedy nie jest, ma małą oczekiwaną stratę.
To właśnie to czyni bliskie wyniki decydowalnymi. Dwa warianty trudne do rozdzielenia statystycznie są często trywialne do wyboru komercyjnie, bo pomyłka kosztuje prawie nic. Czekanie tygodniami na istotność przy tak taniej decyzji to zła wymiana ruchu za pewność.
Działa też w drugą stronę. Duża oczekiwana strata przy wariancie nominalnie prowadzącym jest ostrzeżeniem: zysk jest realny, ale strata nie jest mała, i to test wart dłuższego prowadzenia.