Statistikk du kan stå for
Sannsynlighet for at variant er best
Les det direkte. I motsetning til en p-verdi er det svaret på spørsmålet dere faktisk stilte.
En p-verdi forteller hvor overraskende dataene deres ville vært under en antakelse dere ikke tror på. Nesten alle leser den som sannsynligheten for at varianten er bedre, som ikke er det den sier. Dette tallet er tallet folk tror de leser, regnet ut riktig.
Det er andelen simulerte utfall der denne varianten kommer ut foran hver eneste andre arm, kontrollen inkludert. Fordi det regnes ut på tvers av alle armer samtidig, summerer sannsynlighetene for et eksperiment seg til én, og en trearmet test trenger ingen egen korreksjon for å leses.
Det er det konsollens anbefaling bygges på. En variant på eller over nittifem prosent, hvis frekventistiske resultat også klarerer sin korrigerte terskel, rapporteres som en vinner med høy tillit. Over åtti prosent rapporteres den som trendende, med det ærlige rådet å fortsette å kjøre.
Den kobles med forventet tap heller enn å erstatte det. En høy sannsynlighet med et stort forventet tap er en annen beslutning enn en høy sannsynlighet med et ubetydelig ett, og den andre er som regel det som gjør det lett å levere.