Tre eksperimenttyper, én visuell editor

Ett skript i head er hele installasjonen, og det er den eneste endringen på nettstedet deres. Derfra bygges en variant ved å peke på elementer på de live sidene deres, så det første eksperimentet begrenses av hvor lang tid dere bruker på å bestemme hva som skal testes, heller enn av noe som må anskaffes, bygges eller planlegges. Ingenting går live ved et uhell mens dere lærer: et nytt eksperiment er et utkast til dere starter det.

Hvert nettsted får sin egen kompilerte fil med eksperimentene sine bakt inn, så kjøretiden vet allerede hva den skal kjøre når den lastes, og ingenting venter på et kall til oss før siden rendres. Siden holdes kort tilbake mens endringene anvendes, og det er det som hindrer besøkende fra å se originalen blinke fram før testen, og den vises fra fire uavhengige kodeveier, slik at en feil viser den umodifiserte siden heller enn en blank. Sporingen lastes sist, etter at siden er synlig, så måling forsinker aldri rendringen.

Tekst, styling, layout og posisjon redigeres ved å peke, og strukturelle endringer dekkes av fem HTML-plasseringer mot et element dere velger. Utover det stopper den ærlig heller enn dårlig: alt panelet ikke kan uttrykke skriver dere som egendefinert CSS eller JavaScript på varianten, som betyr at en test aldri blir blokkert av verktøyet. Den reelle grensen er en endring som skjer før siden finnes, rangering, prislogikk, en anbefalingsmodell. Det er eksperimenter på serversiden, og de krever ingeniørene deres.

Så mange som dere har ideer til, og dette er svaret det er verdt å måle mot det dere bruker i dag. Hvert eksperiment randomiserer uavhengig, så en kvalifisert besøkende går inn i hvert eksperiment de kvalifiserer til, og hvert av dem måler mot hele det kvalifiserte publikummet. Samtidighet deler ikke utvalget deres her, og det er derfor plattformen sjekker om to tester ville forstyrre hverandre heller enn å rasjonere hvor mange som får kjøre. Kapasitet er ofte forskjellen mellom et program som lønner seg og et som ikke gjør det.

Seire dere har hardkodet ligger allerede i deres egen kodebase og berøres ikke, og det er nettopp dit implementeringskøen er ment å skyve dere: den lister hver seier som fortsatt leveres av oss og fortsetter å flagge den til ingeniørene deres har plass. Seire som fortsatt leveres av plattformen stopper når den stopper, på samme måte som en variant stopper. Eksperimentene, hypotesene og den skriftlige historikken blir liggende i kontoen heller enn i verktøy hos oss.