Frekventistisk og bayesiansk, side om side

Det er hva den andre halvdelen av denne siden er til for. Et resultat kommer med størrelsen på forskjellen, intervallet rundt den, og hvor sannsynlig det er at det er tilfeldig, regnet ut på to uavhengige måter og vist side om side. Inntekt måles per variant heller enn utledes fra konverteringsrate, så en variant som konverterer oftere og selger billigere leses ikke som en seier. Og plattformen oppgir sin egen usikkerhet i stedet for å skjule den, og det er den delen som holder under gransking: et resultat som ennå ikke er avgjørende sier det, i ord, heller enn å bli framstilt som avgjort.

Nei, og designen går ut fra at dere ikke har en. Hvert tall bærer forklaringen sin på stedet, skrevet for å si hva tallet forteller heller enn for å definere begrepet, og flere finnes nettopp for å forebygge en feillesning: differansekolonnen sier rett ut at den i seg selv ikke sier noe om hvorvidt gapet er reelt. Ved siden av tallene står en anbefaling i vanlige ord. Hva den ikke gjør er å forenkle ved å skjule, så den som vil se p-verdien og intervallet finner begge.

Tre forsvar, og de er verdt å måle mot det dere bruker i dag. Å teste flere varianter samtidig øker sjansen for at én ser ut som en vinner ved flaks, så listen strammes for å kompensere, og konsollen oppgir terskelen den bruker i stedet for å la dere regne den ut. Å se på et resultat hver dag blåser opp andelen falske positive, så testen som er gyldig å lese fortløpende er skilt fra den som ikke er det, og plattformen stopper ikke et eksperiment tidlig med mindre begge er enige. Og før alt det sjekker den at trafikken faktisk ble delt som dere konfigurerte, for hvis den ikke ble det, holder ingenting som er regnet ut fra den.

Iblant ja og iblant faktisk nei, og det er her plattformen er mest nyttig før dere har brukt tre måneder på å finne det ut. Hvert eksperiment rapporterer den minste forskjellen trafikken dere har pålitelig kan oppdage. Ligger effekten dere jakter under det gulvet, løser ingen mengde tålmodighet den opp, og konsollen sier det i stedet for å la en test ligge på "ikke signifikant" i det uendelige. Å vite hvilke av sidene deres som kan svare på et spørsmål og hvilke som ikke kan, er verdt mer på et beskjedent nettsted enn på et stort.

Nei. Begge regnes ut for hvert eksperiment og vises sammen, så dette er en lesepreferanse heller enn en konfigurasjonsbeslutning dere kan ta feil. Den frekventistiske halvdelen rapporterer hvor usannsynlig resultatet ville være om endringen ikke gjorde noe. Den bayesianske halvdelen rapporterer sannsynligheten for at hver variant er best, og hva det ville koste dere å velge feil. Team synes gjerne den andre er lettere å handle på og den første lettere å forsvare, og det er nettopp derfor ingen av dem ble droppet.