Statistiek die u kunt verantwoorden
Kans dat een variant de beste is
Lees hem rechtstreeks af. Anders dan een p-waarde is dit het antwoord op de vraag die u werkelijk stelde.
Een p-waarde vertelt u hoe verrassend uw data zou zijn onder een aanname die u niet gelooft. Bijna iedereen leest hem als de kans dat de variant beter is, wat niet is wat hij zegt. Dit cijfer is het getal dat mensen denken te lezen, correct berekend.
Het is het aandeel gesimuleerde uitkomsten waarin deze variant vóórligt op elke andere arm, inclusief de controle. Omdat het over alle armen tegelijk wordt berekend, tellen de kansen over een experiment op tot één, en heeft een driewegtest geen aparte correctie nodig om afgelezen te worden.
Het is waarop de aanbeveling van de console is gebouwd. Een variant op of boven vijfennegentig procent, waarvan het frequentistische resultaat ook zijn gecorrigeerde drempel haalt, wordt gerapporteerd als een winnaar met hoog vertrouwen. Boven tachtig procent wordt hij gerapporteerd als opkomend, met het eerlijke advies om te blijven doordraaien.
Het staat naast verwacht verlies in plaats van het te vervangen. Een hoge kans met een groot verwacht verlies is een ander besluit dan een hoge kans met een verwaarloosbaar verlies, en het tweede maakt uitleveren meestal makkelijk.