Overvågning og automatisering af eksperimenter

I får det at vide frem for at finde ud af det fra tallene uger senere. De to fejl, der er usynlige inde fra en resultatskærm, er en fordeling, der holdt op med at passe til det, I konfigurerede, og et eksperiment, der stilfærdigt holdt op med at registrere noget, oftest fordi en udrulning tog scriptet, eller en målretningsregel holdt op med at ramme. Begge rejser en alarm til mail og Slack som standard, begge markerer hvert resultat på det eksperiment som utroværdigt, og begge stopper platformen fra at handle på det. Det arbejde, der venter på jer, er en rangeret kø frem for et rod, og den regnes ud fra det, der er sandt lige nu, så intet forsvinder, fordi nogen ryddede en notifikation væk.

Ingenting, indtil I tænder for det, og derefter mindre, end I måske tror. Automatisering og automatisk udrulning af en vinder er separate kontakter, og begge starter slukket, fordi at stoppe det forkerte eksperiment automatisk koster den trafik, det allerede har brugt, mens en automatisk udrulning af en taber ændrer, hvad hver besøgende ser. Før den handler, skal den passere tre sikkerhedskontroller og en mindste kørselstid. Og med automatiseringen slukket vurderer den fortsat alt og registrerer, hvad den ville have gjort, med den samme kode, som ville have gjort det, så I kan se den have ret i en måned, før I lader den handle.

Medlemmer har læseadgang i hele platformen: de kan se hvert eksperiment og hvert resultat og ændre intet af det. Den regel håndhæves én gang, centralt, frem for skærm for skærm, og det betyder noget, fordi en rettighedsmodel anvendt pr. skærm er en, hvor den næste skærm, der bygges, stilfærdigt bliver undtagelsen. At starte, stoppe og udrulle ligger hos administratorer og ejere, og hver ændring, der betyder noget, registreres på eksperimentet med et navn og et tidspunkt på sig.

Det er den form, overvågningen er bygget om. Alt uafklaret på tværs af hver konto, I kan nå, samles i én visning, grupperet pr. kunde og pr. website, ordnet så noget utroværdigt kommer før noget, der blot venter på en beslutning. Afgrænsningen kommer fra, hvem I er logget ind som, frem for fra en identifikator i adressen, så der er intet konto-id i adressen at kontrollere og intet at pille ved. Et bureau ser sin kundeliste; en kunde med ét brand ser sin egen konto i den samme skærm.

Alarmer går til mail, til Slack eller til ingen af dem, sat pr. hændelsestype og pr. person frem for én gang for hele kontoen, og beskeder i Slack linker tilbage til præcis den skærm, hændelsen handler om. På målesiden sættes hvert website til GA4, Matomo eller Pertentos egen måling, hvilket betyder, at de konverteringer, vi tæller, kan være de samme hændelser, jeres analyse allerede tæller, frem for en anden definition af et køb, som nogen skal afstemme.