Experimentavstämning

Ett testresultat glöms bort när den som körde det går vidare. Testavstämningen sluter den cirkeln. När du avslutar ett test visar Pertento en kort ruta med resultatet och hypotesen och frågar sedan vad du väntade dig, varför du tror att det hände och vad du gör härnäst. Varje fråga är valfri, och att avsluta ett test väntar aldrig på den.

Pertento förutfyller det som går att se, och du bekräftar eller rättar det. Den jämför en hel vecka av webbplatsens trafik med den första veckan, för de enheter som testet riktade sig mot, och flaggar en förskjutning på 15 % eller mer för test som har pågått i 14 dagar eller längre. Den noterar också luckor i spårningen: dagar utan registrerade besökare, eller en besöksfördelning som har glidit från de planerade vikterna. Ditt svar avgör vilka yttre faktorer testavstämningen noterar.

Därefter har testet fliken “Debrief”, ett enda kort som leds av lärdomen. Fakta från din statistik står på ena sidan (uplift, konfidens, besökare och antalet dagar testet pågick) och teamets svar på den andra. Rubriken skrivs utifrån statistiken och skrivs aldrig för hand, så den kan inte överdriva ett resultat. En variant som ser bra ut ensam men inte klarar den strängare gräns som krävs när flera varianter jämförs beskrivs som inte tillräckligt för att kalla det en vinst, i stället för som en vinst eller som platt.

Fliken finns på varje test som har avslutats eller fått en vinnare utrullad. Alla med åtkomst till testet kan fylla i den eller ändra den när som helst, och kortet visar vem som skrev den senast och när, så att en ny kollega hittar lärdomen där testet finns.