Spørg om dette eksperiment

De fleste spørgsmål om en test er de samme tre: er det signifikant, kan vi stole på det endnu, og hvad gør vi nu. Hvert eksperiment har et felt i toppen, på hver fane, hvor I skriver netop det spørgsmål. Svaret vises i et panel ved siden af siden, mens det skrives, på det sprog, I spurgte på, med svaret først og begrundelsen bagefter.

Den læser de tal, Statistics-fanen viser, beregnet på samme måde, for det mål, den valuta, den metode og den korrektion, der er valgt dér: konverteringer, konverteringsrater og omsætning pr. variant, signifikans, sandsynligheden for at være bedst og det forventede tab, styrkeberegningen og hvor længe testen stadig skal køre, kontrollen af trafikfordelingen og de sekundære mål. Den finder aldrig på et tal og kalder aldrig en variant en vinder, når siden ikke gør det. Den læser også eksperimentets styring, varianter, mål og tidsplan, dets brief og dets opsamling, som den behandler som teamets læsning af resultatet frem for som en måling.

På et udkast hjælper den, før testen starter: om indstillingerne gør det, briefen har til hensigt, om hypotesen nævner en ændring, en effekt og en måling, der kan vise den, og hvad tallene i kørselstidsplanen betyder. Den læser kun. Den starter, stopper eller redigerer intet, og den kan ikke se en variants kode eller enkelte ændringer, skærmbilleder eller aktivitetsloggen. Tokens, nøgler og e-mailadresser i styringsregler og omdirigerings-URL'er skjules, før noget sendes.

Hvert eksperiment har én samtale, delt af alle, der kan åbne det, medlemmer inklusive, og hvert spørgsmål viser, hvem der stillede det. Har resultatet ændret sig, siden et svar blev givet, markeres svaret som forældet. Samtaler gemmes i 12 måneder, og hvert svar bruger AI-kreditter fra den konto, der ejer websitet, med omkostningen vist under svaret.