Frekventistisk og bayesiansk, side om side

Det er, hvad den anden halvdel af denne side er til. Et resultat kommer med størrelsen af forskellen, intervallet omkring den, og hvor sandsynligt det er, at det er tilfældigt, beregnet på to uafhængige måder og vist side om side. Omsætning måles pr. variant frem for at udledes af konverteringsrate, så en variant, der konverterer oftere og sælger billigere, læses ikke som en sejr. Og platformen oplyser sin egen usikkerhed i stedet for at skjule den, og det er den del, der holder ved nærlæsning: et resultat, der endnu ikke er entydigt, siger det, med ord, frem for at blive fremstillet som entydigt.

Nej, og designet går ud fra, at I ikke har en. Hvert tal bærer sin forklaring på stedet, skrevet for at sige, hvad tallet fortæller, frem for at definere begrebet, og flere findes netop for at forebygge en fejllæsning: differencekolonnen siger lige ud, at den i sig selv intet siger om, hvorvidt forskellen er reel. Ved siden af tallene står en anbefaling i almindelige ord. Hvad den ikke gør, er at forenkle ved at skjule, så den, der gerne vil se p-værdien og intervallet, finder begge.

Tre forsvar, og de er værd at holde op mod det, I bruger i dag. At teste flere varianter samtidig øger chancen for, at én ser ud som en vinder ved held, så barren strammes for at kompensere, og konsollen oplyser den tærskel, den anvender, frem for at lade jer regne den ud. At se på et resultat hver dag puster andelen af falske positive op, så den test, der er gyldig at læse løbende, er adskilt fra den, der ikke er, og platformen stopper ikke et eksperiment tidligt, medmindre begge er enige. Og før alt det tjekker den, at trafikken faktisk blev delt, som I konfigurerede, for hvis den ikke blev, holder intet, der er regnet ud fra den.

Nogle gange ja og nogle gange reelt nej, og det er her, platformen er mest nyttig, før I har brugt tre måneder på at finde ud af det. Hvert eksperiment rapporterer den mindste forskel, den trafik I har, pålideligt kan opdage. Ligger effekten, I jagter, under det gulv, løser ingen mængde tålmodighed den, og konsollen siger det frem for at lade en test ligge på "ikke signifikant" i det uendelige. At vide hvilke af jeres sider der kan svare på et spørgsmål, og hvilke der ikke kan, er værd mere på et beskedent website end på et stort.

Nej. Begge beregnes for hvert eksperiment og vises sammen, så det er en læsepræference frem for en konfigurationsbeslutning, I kan tage forkert. Den frekventistiske halvdel rapporterer, hvor usandsynligt resultatet ville være, hvis ændringen intet gjorde. Den bayesianske halvdel rapporterer sandsynligheden for, at hver variant er bedst, og hvad det ville koste jer at vælge forkert. Team synes gerne, den anden er lettere at handle på og den første lettere at forsvare, og det er præcis derfor, ingen af dem blev droppet.