Övervakning och automatisering av experiment

Då får du veta det, och slipper upptäcka det i siffrorna flera veckor senare. Två fel syns inte i en resultatvy: en fördelning som slutat stämma med din konfiguration, och ett experiment som tyst slutat registrera något, oftast för att skriptet försvann när webbplatsen uppdaterades eller för att en targetingregel slutat matcha. Båda ger som standard ett larm via e-post och Slack, båda gör att alla resultat i experimentet markeras som opålitliga, och båda hindrar plattformen från att agera på dem. Det som väntar på dig är en rangordnad kö, inte en röra, och den räknas fram ur det som gäller just nu, så ingenting försvinner för att någon har rensat en notis.

Ingenting förrän du slår på det, och därefter mindre än du kanske tror. Automatisering och automatisk utrullning av en vinnare är två separata reglage, och båda är avstängda från början. Om plattformen automatiskt stoppar fel experiment har den redan förbrukat trafiken, och om den automatiskt rullar ut en förlorare ändras det varje besökare ser. Innan den agerar måste den klara tre spärrar och en minsta körtid. Och med automatiseringen avstängd utvärderar den ändå allt och loggar vad den skulle ha gjort, med exakt samma kod. Då kan du se att den har rätt i en månad innan du låter den agera.

Medlemmar har läsbehörighet i hela plattformen: de ser alla experiment och alla resultat men kan inte ändra något. Regeln gäller på ett ställe, centralt, och inte skärm för skärm. Det spelar roll, för i en behörighetsmodell som styrs per skärm blir nästa skärm som byggs i tysthet ett undantag. Att starta, stoppa och rulla ut kan bara administratörer och ägare göra, och varje viktig ändring loggas på experimentet med namn och tidpunkt.

Det är precis den situationen övervakningen är byggd för. Allt olöst i alla konton du har åtkomst till samlas i en enda vy, grupperat per kund och webbplats och sorterat så att det som inte går att lita på kommer före det som bara väntar på beslut. Vilket konto du ser avgörs av vem du loggade in som, inte av ett id i adressen, så det finns inget konto-id i URL:en att kontrollera eller manipulera. En byrå ser sin kundlista, och en kund med ett enda varumärke ser sitt eget konto i samma vy.

Larmen går till e-post, till Slack eller ingenstans, och du ställer in det per händelsetyp och per person, inte en gång för hela kontot. Slack-meddelandena länkar till exakt den vy som händelsen gäller. På mätsidan väljer du för varje webbplats mellan GA4, Matomo och Pertentos egen spårning. Det betyder att konverteringarna vi räknar kan vara samma händelser som din analys redan räknar, och inte en andra definition av ett köp som någon måste stämma av.