Eksperimentering
Kjøretidsplan
Vit før lansering om en test realistisk kan svare på spørsmålet sitt, og omtrent hvor lenge den kommer til å trenge.
De fleste skuffende tester kom aldri til å gi et svar. Enten ble de stoppet i det øyeblikket tallene så interessante ut, eller så kjørte de i måneder på for lite trafikk til å oppdage endringen de testet. Kjøretidsplanen er der for å fange det før lansering heller enn etter.
En kort veiviser spør om tre ting: hvor mye trafikk testen vil få, originalens konverteringsrate og det minste løftet som er verdt å handle på. Den svarer med en anslått kjøretid, for eksempel “est. 4 weeks”. Merkelappen er bevisst: det er et anslag, ikke et løfte, og produktet sier det.
Startverdiene kommer fra deres egne data: trafikken de tidligere eksperimentene deres fikk, nettstedets trafikk slik Pertento måler den, og de tidligere konverteringsratene deres. Der dere vet bedre, skriver dere inn egne tall i stedet.
Hvert alternativ viser avveiningen, fordi et mindre løft krever en lengre test. Å se de to side om side er som regel det som avgjør om en idé er verdt å kjøre slik den står. Planen lagres med eksperimentet og vises i tidsplanen dets og på tidslinjen i Library.