Sannolikhet att varianten är bäst

Ett p-värde säger hur överraskande din data vore om ett antagande du inte tror på stämde. Nästan alla läser det som sannolikheten att varianten är bättre, men det är inte vad det visar. Den här siffran är den folk tror att de läser, korrekt beräknad.

Den anger andelen simulerade utfall där varianten hamnar före alla andra, kontrollen inräknad. Eftersom den räknas över alla varianter på en gång blir summan av sannolikheterna i ett experiment ett, och ett test med tre varianter behöver ingen separat korrigering för att gå att läsa.

Konsolens rekommendation bygger på den. En variant på minst 95 procent, vars frekventistiska resultat också klarar sin korrigerade gräns, rapporteras som vinnare med hög konfidens. Över 80 procent rapporteras den som trendande, med det ärliga rådet att låta experimentet gå vidare.

Den kompletterar förväntad förlust och ersätter den inte. Hög sannolikhet med stor förväntad förlust ger ett annat beslut än hög sannolikhet med försumbar förlust, och det senare är oftast det som gör det enkelt att rulla ut varianten.