Statistiche difendibili
Perdita attesa
Ciò a cui rinuncereste pubblicando questa variante se si rivelasse non essere la migliore. Spesso è il numero che chiude davvero la decisione.
La significatività risponde alla domanda se due cose si possono distinguere. La perdita attesa risponde a qualcosa di più utile quando siete sul punto di agire: se scegliete questa e sbagliate, quanto ci perdete.
È calcolata dallo stesso campionamento a posteriori della probabilità di essere la migliore. Per ogni estrazione misura quanto questa variante è rimasta dietro al braccio migliore, e ne fa la media su tutte. Un braccio che è di solito il migliore e solo poco dietro quando non lo è ha una perdita attesa piccola.
È questo che rende decidibili i casi al limite. Due varianti difficili da separare statisticamente sono spesso banali da scegliere commercialmente, perché sbagliare non costa quasi nulla. Aspettare settimane la significatività su una decisione così economica è un cattivo scambio di traffico per certezza.
Vale anche nell’altro verso. Una perdita attesa grande su una variante nominalmente in vantaggio è un avviso: il vantaggio è reale ma il rischio non è piccolo, e questo è un test che vale la pena lasciare girare più a lungo.