Tre eksperimenttyper, én visuel editor

Ét script-tag i head er hele installationen, og det er den eneste ændring på jeres website. Derfra bygges en variant ved at pege på elementer på jeres live sider, så det første eksperiment begrænses af, hvor lang tid I bruger på at beslutte, hvad der skal testes, frem for af noget, der skal indkøbes, bygges eller planlægges. Intet går live ved et uheld, mens I er i gang med at lære: et nyt eksperiment er et udkast, indtil I starter det.

Hvert website får sin egen kompilerede fil med sine eksperimenter bagt ind i den, så runtime allerede ved, hvad den skal køre, når den indlæses, og intet venter på et kald til os, før siden renderes. Siden holdes kortvarigt tilbage, mens ændringerne anvendes, og det er det, der stopper de besøgende fra at se originalen blinke frem før testen, og den vises fra fire uafhængige kodeveje, så en fejl viser den uændrede side frem for en blank. Målingen indlæses sidst, efter siden er synlig, så måling aldrig forsinker renderingen.

Tekst, styling, layout og placering redigeres ved at pege, og strukturelle ændringer dækkes af fem HTML-placeringer mod et element, I vælger. Ud over det stopper den ærligt frem for dårligt: alt det, panelet ikke kan udtrykke, skriver I som egen CSS eller JavaScript på varianten, hvilket betyder, at en test aldrig blokeres af værktøjet. Den reelle grænse er en ændring, der sker, før siden findes: rangering, prislogik, en anbefalingsmodel. Det er eksperimenter på serversiden, og de kræver jeres udviklere.

Så mange som I har idéer til, og det er det svar, der er værd at holde op mod det, I bruger i dag. Hvert eksperiment randomiserer uafhængigt, så en kvalificeret besøgende kommer med i hvert eksperiment, de kvalificerer til, og hvert enkelt måler mod hele det kvalificerede publikum. Samtidighed deler ikke jeres stikprøve her, og derfor tjekker platformen, om to test ville forstyrre hinanden, frem for at rationere, hvor mange der må køre. Tempo er oftest forskellen mellem et program, der tjener sig selv hjem, og et der ikke gør.

Vindere, I har hardkodet, ligger allerede i jeres egen kodebase og berøres ikke, og det er netop det, implementeringskøen findes for at skubbe jer mod: den lister hver vinder, der stadig leveres af os, og bliver ved med at flage den, indtil jeres udviklere har plads. Vindere, der stadig leveres af platformen, stopper, når den stopper, på samme måde som enhver variant stopper. Eksperimenterne, hypoteserne og den skrevne historik ligger i kontoen frem for i et værktøj, der er vores.