Statistik du kan stå på mål for
Sandsynlighed for at varianten er bedst
Læs den direkte. I modsætning til en p-værdi er den svaret på det spørgsmål, I faktisk stillede.
En p-værdi fortæller, hvor overraskende jeres data ville være under en antagelse, I ikke tror på. Næsten alle læser den som sandsynligheden for, at varianten er bedre, hvilket ikke er det, den siger. Dette tal er det tal, folk tror de læser, beregnet ordentligt.
Det er andelen af simulerede udfald, hvor denne variant kommer ud foran hver anden arm, kontrollen inklusive. Fordi den beregnes på tværs af alle arme på én gang, summerer sandsynlighederne i et eksperiment til én, og en test med tre veje kræver ingen separat korrektion for at kunne læses.
Det er det, konsollens anbefaling bygger på. En variant på eller over femoghalvfems procent, hvis frekventistiske resultat også klarer sin korrigerede tærskel, rapporteres som en vinder med høj sikkerhed. Over firs procent rapporteres den som på vej, med det ærlige råd at lade den køre videre.
Den hører sammen med forventet tab frem for at erstatte det. En høj sandsynlighed med et stort forventet tab er en anden beslutning end en høj sandsynlighed med et ubetydeligt, og det andet er oftest det, der gør en udrulning let.