Eksperimentstatistik, I kan stå på mål for

Det er, hvad den anden halvdel af denne side er til. Et resultat kommer med størrelsen af forskellen, intervallet omkring den, og hvor sandsynligt det er, at det er tilfældigt, beregnet på to uafhængige måder og vist side om side. Omsætning måles pr. variant frem for at udledes af konverteringsrate, så en variant, der konverterer oftere og sælger billigere, læses ikke som en sejr. Og platformen oplyser sin egen usikkerhed i stedet for at skjule den, og det er den del, der holder ved nærlæsning: et resultat, der endnu ikke er entydigt, siger det, med ord, frem for at blive fremstillet som entydigt.

Nej. Designet tager højde for, at I ikke har en. Hvert tal har en forklaring lige ved siden af, som fortæller, hvad tallet betyder. Flere forklaringer forebygger bestemte misforståelser: Kolonnen med forskellen siger for eksempel direkte, at tallet alene ikke viser, om forskellen er reel. Tallene ledsages af en anbefaling i almindeligt sprog. Intet skjules for at gøre det enklere, så både p-værdi og interval er der for dem, der vil se dem.

Tre forsvar, og de er værd at holde op mod det, I bruger i dag. At teste flere varianter samtidig øger chancen for, at én ser ud som en vinder ved held, så barren strammes for at kompensere, og konsollen oplyser den tærskel, den anvender, frem for at lade jer regne den ud. At se på et resultat hver dag puster andelen af falske positive op, så den test, der er gyldig at læse løbende, er adskilt fra den, der ikke er, og platformen stopper ikke et eksperiment tidligt, medmindre begge er enige. Og før alt det tjekker den, at trafikken faktisk blev delt, som I konfigurerede, for hvis den ikke blev, holder intet, der er regnet ud fra den.

Nogle gange ja, andre gange nej. Platformen er nyttig, netop fordi I får svaret, før I har brugt tre måneder på at finde ud af det. Hvert eksperiment viser den mindste forskel, jeres trafik pålideligt kan påvise. Ligger den effekt, I leder efter, under den grænse, hjælper det ikke at vente. Konsollen siger det i stedet for at lade testen stå på "ikke signifikant" på ubestemt tid. At vide, hvilke sider der kan besvare et spørgsmål, er endnu mere værd på et mindre website.

Nej. Begge metoder beregnes for hvert eksperiment og vises sammen, så I vælger blot, hvordan I vil læse resultatet. Den frekventistiske del viser, hvor usandsynligt resultatet ville være, hvis ændringen ikke havde nogen effekt. Den bayesianske del viser sandsynligheden for, at hver variant er bedst, og hvad det ville koste at vælge forkert. Teams finder ofte den bayesianske del lettere at handle på og den frekventistiske lettere at forsvare. Derfor vises begge.