Statistikk du kan stå inne for
Spør om dette eksperimentet
Still et spørsmål med vanlige ord og få svar om dette eksperimentet: om resultatet er signifikant, hvor mye du kan stole på det, og hva du bør gjøre videre.
De fleste spørsmål om en test er de samme tre: er dette signifikant, kan jeg stole på det ennå, og hva gjør jeg nå. Hvert eksperiment har et felt øverst, på hver fane, der du skriver nettopp det spørsmålet. Svaret vises i et panel ved siden av innholdet mens det skrives, på språket du spurte på, med svaret først og begrunnelsen etterpå.
Den leser tallene som Statistics-fanen viser, beregnet på samme måte, for målet, valutaen, metoden og korreksjonen som er valgt der: konverteringer, konverteringsrater og inntekt per variant, signifikans, sannsynligheten for å være best og forventet tap, styrkeanalysen og hvor lenge testen fortsatt trenger, kontrollen av trafikkfordelingen og de sekundære målene. Den finner aldri på et tall og kaller aldri en variant en vinner når siden ikke gjør det. Den leser også eksperimentets målretting, varianter, mål og tidsplan, briefen og oppsummeringen, som den behandler som teamets tolkning av resultatet, ikke som en måling.
På et utkast hjelper den før testen starter: om innstillingene gjør det briefen har til hensikt, om hypotesen nevner en endring, en effekt og en måling som kan vise den, og hva tallene i kjøretidsplanen innebærer. Den bare leser. Den starter, stopper eller redigerer ingenting, og den kan ikke se koden til en variant eller enkeltendringer, skjermbilder eller aktivitetsloggen. Tokener, nøkler og e-postadresser i målrettingsregler og omdirigerings-URL-er skjules før noe sendes.
Hvert eksperiment har én samtale, delt av alle som kan åpne det, medlemmer inkludert, og hvert spørsmål viser hvem som stilte det. Har resultatet endret seg siden et svar ble gitt, merkes svaret som utdatert. Samtaler lagres i 12 måneder, og hvert svar bruker AI-kreditter fra kontoen som eier nettstedet, med kostnaden vist under svaret.