Probabilità che una variante sia la migliore

Un valore p vi dice quanto sarebbero sorprendenti i vostri dati sotto un’assunzione a cui non credete. Quasi tutti lo leggono come la probabilità che la variante sia migliore, che non è ciò che dice. Questo numero è quello che le persone credono di leggere, calcolato come si deve.

È la quota di esiti simulati in cui questa variante risulta in vantaggio su ogni altro braccio, controllo compreso. Poiché è calcolata su tutti i bracci insieme, le probabilità di un test sommano a uno, e un test a tre vie non ha bisogno di una correzione separata per essere letto.

È ciò su cui è costruita la raccomandazione della console. Una variante al novantacinque per cento o oltre, il cui risultato frequentista supera anche la propria soglia corretta, è riferita come vincitore con alta confidenza. Sopra l’ottanta per cento è riferita come in tendenza, con il consiglio onesto di continuare.

Si accompagna alla perdita attesa anziché sostituirla. Una probabilità alta con una perdita attesa grande è una decisione diversa da una probabilità alta con una perdita trascurabile, e la seconda è di solito ciò che rende facile pubblicare.