Eksperimentstatistikk du kan stå inne for

Det er det den andre halvdelen av siden er til for. Et resultat kommer med størrelsen på forskjellen, intervallet rundt den og hvor sannsynlig det er at den skyldes tilfeldigheter, regnet ut på to uavhengige måter og vist side om side. Inntekt måles per variant og regnes ikke ut fra konverteringsraten, så en variant som konverterer oftere, men selger billigere, ikke ser ut som en seier. Plattformen oppgir usikkerheten selv, og skjuler den ikke. Det er den delen som tåler gransking: et resultat som ennå ikke er entydig, sier det med ord og blir ikke framstilt som om det var det.

Nei, og designet forutsetter at du ikke har en. Hvert tall har forklaringen sin rett ved siden av, skrevet for å si hva tallet forteller deg, ikke for å definere begrepet. Flere av dem er der nettopp for å hindre feiltolking: differansekolonnen sier rett ut at den alene ikke viser om forskjellen er reell. Ved siden av tallene står det en anbefaling i vanlige ord. Men forenklingen skjer aldri ved at noe skjules, så den som vil ha p-verdien og intervallet, finner begge.

Tre sikringer, og de er verdt å sammenligne med det du bruker i dag. Tester du flere varianter samtidig, øker sjansen for at én ser ut som en vinner bare ved flaks. Derfor skjerper plattformen kravet, og konsollen viser terskelen den bruker, så du slipper å regne den ut selv. Følger du med på et resultat hver dag, øker andelen falske positive. Derfor holder plattformen testen som kan leses løpende adskilt fra den som ikke kan det, og stopper ikke et eksperiment tidlig med mindre begge er enige. Og først av alt sjekker den at trafikken faktisk ble fordelt slik du satte det opp, for hvis ikke, holder ingenting som er regnet ut fra den.

Noen ganger ja, andre ganger et klart nei, og da er plattformen mest nyttig: du får vite det før du har brukt tre måneder på å finne det ut. Hvert eksperiment oppgir den minste forskjellen trafikken din pålitelig kan avdekke. Ligger effekten du jager under den grensen, hjelper det ikke å vente. Konsollen sier fra, og lar ikke testen stå på «ikke signifikant» i det uendelige. Å vite hvilke sider som kan svare på et spørsmål og hvilke som ikke kan, er verdt mer på et lite nettsted enn på et stort.

Nei. Begge beregnes for hvert eksperiment og vises sammen, så det handler om hva du foretrekker å lese, ikke om en innstilling du kan velge feil. Den frekventistiske delen viser hvor usannsynlig resultatet ville vært hvis endringen ikke hadde gjort noe. Den bayesianske delen viser sannsynligheten for at hver variant er best, og hva det vil koste deg å velge feil. Mange synes at den bayesianske er lettest å handle ut fra og den frekventistiske lettest å forsvare, så vi har beholdt begge.