Sannolikhet att variant är bäst

Ett p-värde talar om hur överraskande er data skulle vara under ett antagande ni inte tror på. Nästan alla läser det som sannolikheten att varianten är bättre, vilket inte är vad det säger. Den här siffran är talet folk tror att de läser, korrekt beräknat.

Det är andelen simulerade utfall där den här varianten kommer ut före varje annan arm, kontrollen inräknad. Eftersom den beräknas över alla armar samtidigt summerar sannolikheterna för ett experiment till ett, och ett trevägstest behöver ingen separat korrigering för att läsas.

Det är vad konsolens rekommendation bygger på. En variant på eller över 95 procent, vars frekventistiska resultat också klarar sin korrigerade gräns, rapporteras som en vinnare med hög konfidens. Över 80 procent rapporteras den som trendande, med det ärliga rådet att fortsätta köra.

Den kompletterar förväntad förlust snarare än ersätter den. En hög sannolikhet med en stor förväntad förlust är ett annat beslut än en hög sannolikhet med en försumbar, och det andra är oftast det som gör det enkelt att skeppa.