Eksperimentering
Kjøretidsplan
Se før lansering om en test realistisk kan svare på spørsmålet sitt, og omtrent hvor lang tid den trenger.
De fleste skuffende tester ville aldri gitt noe svar. Enten ble de stoppet så snart tallene så interessante ut, eller så gikk de i månedsvis på for lite trafikk til å fange opp endringen de testet. Kjøretidsplanen skal avsløre det før lansering, ikke etterpå.
En kort veiviser spør om tre ting: hvor mye trafikk testen får, konverteringsraten til originalen og den minste uplift som er verdt å følge opp. Svaret er et anslag på kjøretiden, for eksempel «est. 4 weeks». Merkelappen er med vilje: det er et anslag, ikke et løfte, og det sier produktet rett ut.
Startverdiene hentes fra dine egne data: trafikken tidligere eksperimenter fikk, trafikken på nettstedet slik Pertento måler den, og konverteringsratene dine fra før. Vet du bedre, skriver du inn egne tall.
Hvert alternativ viser avveiningen: en mindre uplift krever en lengre test. Ser du de to ved siden av hverandre, er det som regel nok til å avgjøre om en idé er verdt å kjøre som den er. Planen lagres sammen med eksperimentet og vises i tidsplanen og på tidslinjen i Library.