Statistikk du kan stå inne for
Sannsynlighet for at varianten er best
Les den direkte. I motsetning til en p-verdi er det svaret på spørsmålet du faktisk stilte.
En p-verdi forteller hvor overraskende dataene dine ville vært hvis en antakelse du ikke tror på, stemte. Nesten alle leser den som sannsynligheten for at varianten er bedre, men det sier den ikke. Dette tallet er det folk tror de leser, riktig beregnet.
Det er andelen simulerte utfall der varianten havner foran alle de andre, kontrollen medregnet. Siden det beregnes for alle variantene samtidig, summerer sannsynlighetene i et eksperiment til én, og en test med tre varianter trenger ingen egen korreksjon for å kunne leses.
Anbefalingen i konsollen bygger på dette tallet. En variant på 95 prosent eller mer, der det frekventistiske resultatet også passerer den korrigerte terskelen, rapporteres som vinner med høy sikkerhet. Over 80 prosent rapporteres den som trendende, med det ærlige rådet å la testen gå videre.
Det brukes sammen med forventet tap, ikke i stedet for det. Høy sannsynlighet med stort forventet tap er en annen beslutning enn høy sannsynlighet med ubetydelig tap, og det siste gjør det som regel enkelt å rulle ut.