Fråga om det här experimentet

De flesta frågor om ett test är samma tre: är det här signifikant, kan jag lita på det än, och vad gör jag nu. Varje experiment har ett fält i sitt sidhuvud, på varje flik, där du skriver just den frågan. Svaret visas i en panel bredvid sidan medan det skrivs, på det språk du frågade på, med svaret först och resonemanget efter.

Den läser de tal som fliken Statistics visar, beräknade på samma sätt, för det mål, den valuta, den metod och den korrigering som valts där: konverteringar, konverteringsgrad och intäkt per variant, signifikans, sannolikheten att vara bäst och den förväntade förlusten, styrkeberäkningen och hur länge testet fortfarande behöver pågå, kontrollen av trafikfördelningen och de sekundära målen. Den hittar aldrig på ett tal och kallar aldrig en variant för vinnare när sidan inte gör det. Den läser också experimentets targeting, varianter, mål och schema, dess brief och dess avstämning, som den behandlar som teamets tolkning av resultatet och inte som en mätning.

På ett utkast hjälper den till innan testet startar: om inställningarna gör det som briefen avser, om hypotesen anger en ändring, en effekt och ett mått som kan visa den, och vad uppgifterna i planen för testets längd innebär. Den läser bara. Den startar, stoppar eller redigerar ingenting, och den kan inte se en variants kod eller enskilda ändringar, skärmbilder eller aktivitetsloggen. Token, nycklar och e-postadresser i targetingregler och omdirigerings-URL:er döljs innan något skickas.

Varje experiment har en konversation som delas av alla som kan öppna det, medlemmar inräknade, och varje fråga visar vem som ställde den. Om resultatet har ändrats sedan ett svar gavs markeras svaret som inaktuellt. Konversationer sparas i 12 månader, och varje svar drar AI-krediter från kontot som äger webbplatsen, med kostnaden visad under svaret.