Experiment
Plan för testets längd
Ta reda på redan före lansering om ett test realistiskt kan besvara sin fråga, och ungefär hur lång tid det tar.
De flesta besvikelser inom testning handlar om test som aldrig kunde ha gett något svar. Antingen stoppades de i samma stund som siffrorna började se intressanta ut, eller så pågick de i månader på för lite trafik för att kunna upptäcka ändringen de testade. Planen finns för att fånga det före lansering, inte efteråt.
En kort guide frågar efter tre saker: hur mycket trafik testet får, originalets konverteringsgrad och den minsta uplift som är värd att agera på. Svaret är en uppskattad testlängd, till exempel “est. 4 weeks”. Etiketten är avsiktlig: det är en uppskattning och inget löfte, och det står det också i produkten.
Startvärdena kommer från din egen data: trafiken som dina tidigare experiment fick, webbplatsens trafik så som Pertento mäter den och dina tidigare konverteringsgrader. Vet du bättre skriver du in egna värden i stället.
Varje alternativ visar avvägningen, eftersom en mindre uplift kräver ett längre test. Att se de två sida vid sida räcker oftast för att avgöra om en idé är värd att köra som den är. Planen sparas med experimentet och visas i dess schema och på tidslinjen i Library.