Statistikk du kan stå inne for
Forventet tap
Det du taper ved å rulle ut denne varianten hvis den ikke viser seg å være best. Ofte er det dette tallet som avgjør.
Signifikans svarer på om du kan skille to ting fra hverandre. Forventet tap svarer på noe mer nyttig når du skal handle: hvis du velger denne varianten og tar feil, hvor mye taper du?
Det beregnes fra de samme posteriortrekningene som sannsynligheten for å være best. For hver trekning måler vi hvor langt varianten havnet bak den beste, og tar gjennomsnittet over alle trekningene. En variant som som regel er best, og bare ligger litt bak når den ikke er det, har et lite forventet tap.
Det er dette som gjør jevne valg mulige å ta. To varianter som er vanskelige å skille statistisk, er ofte enkle å velge mellom kommersielt, fordi en feil koster nesten ingenting. Å vente i uker på signifikans for så billig et valg er et dårlig bytte av trafikk mot sikkerhet.
Det virker begge veier. Stort forventet tap på en variant som formelt ligger foran, er et varsel: oppsiden er reell, men nedsiden er ikke liten, og eksperimentet bør gå lenger.