Statistikk du kan stå for
Forventet tap
Hva dere ville gi opp ved å levere denne varianten hvis den viser seg ikke å være den beste. Ofte tallet som faktisk avgjør beslutningen.
Signifikans svarer på om dere kan skille to ting fra hverandre. Forventet tap svarer på noe mer nyttig når dere skal handle: hvis dere velger denne og tar feil, hvor mye verre stilt er dere.
Det regnes ut fra den samme posterior-samplingen som sannsynligheten for å være best. For hvert utvalg måler det hvor langt bak den beste armen denne varianten falt, og gjennomsnitter det over alle. En arm som som regel er best og bare litt bak når den ikke er det, har et lite forventet tap.
Dette er det som gjør jevne avgjørelser mulige å ta. To varianter som er vanskelige å skille statistisk, er ofte trivielle å velge mellom kommersielt, fordi det å ta feil koster nesten ingenting. Å vente uker på signifikans for en beslutning som billig, er en dårlig byttehandel av trafikk mot sikkerhet.
Det kutter andre veien også. Et stort forventet tap på en variant som nominelt ligger foran, er en advarsel: oppsiden er reell, men nedsiden er ikke liten, og dette er et eksperiment verdt å kjøre lenger.