Bayesianske resultater

Den bayesianske halvdel modellerer hver variants konverteringsrate som en fordeling frem for som et punkt, med udgangspunkt i en uniform prior, der antager intet, og opdaterer den med det, der faktisk er observeret. Ud fra de fordelinger rapporterer den sandsynligheden for, at hver variant er den bedste af de testede, den forventede omkostning ved at vælge forkert, og et troværdighedsinterval pr. variant.

Den beregnes for hvert eksperiment, ikke som en alternativ tilstand, I skal slå til. Begge halvdele står på samme skærm, fordi de svarer på forskellige spørgsmål, og fordi folk har brug for begge: sandsynligheden er lettere at handle på, p-værdien er lettere at forsvare.

Sandsynlighederne kommer fra at udtrække fra posteriorfordelingerne mange gange og tælle, hvor ofte hver variant kommer ud i front. Én detalje betyder mere, end den ser ud til: udtrækningen er seedet ud fra data selv, så de samme tal altid giver det samme svar. Uden det ville en genindlæsning af siden flytte sandsynligheden en smule hver gang, og et tal, der ændrer sig, når intet har ændret sig, er et tal, ingen stoler på.

Som den frekventistiske halvdel beskriver dette en proces med konverteret eller ikke konverteret, så den beregnes for konverteringer. Omsætning pr. session er ikke den slags størrelse, og konsollen rapporterer den som fraværende frem for at udfylde kolonnen.