Tre experimenttyper, en visuell redigerare

Ett skript i head är hela installationen, och det är den enda ändringen på er webbplats. Därefter byggs en variant genom att peka på element på era livesidor, så det första experimentet begränsas av hur lång tid det tar er att bestämma vad ni ska testa snarare än av något som måste upphandlas, byggas eller schemaläggas. Inget går live av misstag medan ni lär er: ett nytt experiment är ett utkast till dess ni startar det.

Varje webbplats får sin egen kompilerade fil med sina experiment inbakade, så körtiden vet redan vad den ska köra när den laddas och inget väntar på ett anrop till oss innan sidan renderas. Sidan hålls tillbaka en kort stund medan ändringarna appliceras, vilket är det som hindrar besökare från att se originalet blinka fram före testet, och den visas fram från fyra oberoende kodvägar så att ett fel ger den oförändrade sidan i stället för en tom. Spårningen laddas sist, efter att sidan är synlig, så mätningen fördröjer aldrig renderingen.

Text, formgivning, layout och position redigeras genom att peka, och strukturella ändringar täcks av fem HTML-placeringar mot ett element ni väljer. Bortom det tar det slut hederligt snarare än illa: allt som panelen inte kan uttrycka skriver ni som egen CSS eller JavaScript på varianten, vilket betyder att ett test aldrig blockeras av verktyget. Den verkliga gränsen är en ändring som sker innan sidan finns, rangordning, prislogik, en rekommendationsmodell. Sådant är serversidesexperiment, och de kräver era utvecklare.

Så många som ni har idéer till, och det här är svaret som är värt att kontrollera mot vad ni använder i dag. Varje experiment randomiserar oberoende, så en behörig besökare går in i varje experiment de kvalificerar sig för och varje experiment mäter mot hela den behöriga publiken. Samtidighet delar inte ert urval här, och därför kontrollerar plattformen om två tester skulle störa varandra i stället för att rationera hur många som får köra. Takten är oftast skillnaden mellan ett program som betalar sig och ett som inte gör det.

Vinnare som ni har hårdkodat ligger redan i er egen kodbas och påverkas inte, vilket är just det implementeringskön finns för att driva er mot: den listar varje vinnare som fortfarande levereras av oss och fortsätter flagga den till dess era utvecklare får plats. Vinnare som fortfarande levereras av plattformen slutar när den slutar, på samma sätt som vilken variant som helst slutar. Experimenten, hypoteserna och den skrivna historiken stannar i kontot snarare än i verktyg som är våra.