Statistikk du kan stå inne for
Bayesianske resultater
Sannsynligheten for at hver variant er best, og hva det koster å ta feil. Beregnes for hvert eksperiment, ved siden av p-verdien og ikke i stedet for den.
Den bayesianske delen modellerer konverteringsraten til hver variant som en fordeling, ikke som ett tall. Den starter med en uniform prior, som ikke forutsetter noe, og oppdaterer den med det som er observert. Ut fra fordelingene rapporterer Pertento sannsynligheten for at hver variant er best av dem som testes, forventet kostnad ved å velge feil og et troverdighetsintervall per variant.
Den beregnes for alle eksperimenter, så du slipper å slå den på. De to delene står på samme skjerm fordi de svarer på ulike spørsmål, og du trenger begge: sannsynligheten er lettere å handle på, p-verdien er lettere å forsvare.
Sannsynlighetene kommer fra mange trekninger fra posteriorene, og vi teller hvor ofte hver variant havner foran. En detalj betyr mer enn den ser ut til: trekningen bruker et seed utledet fra selve dataene, så de samme tallene gir alltid samme svar. Uten det ville sannsynligheten flyttet seg litt hver gang du lastet siden på nytt, og et tall som endrer seg uten at noe har skjedd, stoler ingen på.
Både denne delen og den frekventistiske beskriver en prosess der besøkende enten konverterer eller ikke, så begge beregnes for konverteringer. Inntekt per sesjon er ikke en slik størrelse. Konsollen markerer den som utilgjengelig og fyller ikke kolonnen med et anslag.