Monitoring en automatisering van experimenten

U krijgt het te horen, in plaats van het weken later uit de cijfers op te maken. De twee storingen die vanuit een resultatenscherm onzichtbaar zijn, zijn een verdeling die niet meer klopt met wat u had ingesteld, en een experiment dat stilletjes niets meer vastlegt, meestal omdat een deploy het snippet heeft meegenomen of een targetingregel niet meer aanslaat. Beide slaan standaard alarm via e-mail en Slack, beide markeren elk resultaat op dat experiment als onbetrouwbaar, en beide houden het platform tegen om ernaar te handelen. Het werk dat op u wacht is een gerangschikte wachtrij en geen rommel, en het wordt afgeleid uit wat op dit moment waar is, dus er verdwijnt niets doordat iemand een notificatie heeft weggeklikt.

Niets, totdat u het aanzet, en daarna minder dan u misschien verwacht. Automatisering en het automatisch uitrollen van een winnaar zijn aparte schakelaars en beide staan uit, want het automatisch stoppen van het verkeerde experiment kost het verkeer dat het al heeft besteed, terwijl het automatisch uitrollen van een verliezer verandert wat elke bezoeker ziet. Voordat het handelt, moet het drie vertrouwenspoorten en een minimale looptijd passeren. En met automatisering uit evalueert het nog steeds alles en legt het vast wat het gedaan zou hebben, met dezelfde code die het gedaan zou hebben, zodat u het een maand lang gelijk kunt zien krijgen voordat u het laat handelen.

Leden hebben leesrechten op het hele platform: ze kunnen elk experiment en elk resultaat zien en er niets aan wijzigen. Die regel wordt één keer centraal afgedwongen en niet scherm voor scherm, en dat is van belang omdat een rechtenmodel dat per scherm wordt toegepast er een is waarbij het volgende scherm dat gebouwd wordt stilletjes de uitzondering is. Starten, stoppen en uitrollen blijven bij beheerders en eigenaren, en elke wijziging die ertoe doet wordt bij het experiment vastgelegd met een naam en een tijdstip erbij.

Dat is de vorm waar de monitoring omheen is gebouwd. Alles wat openstaat over elk account dat u kunt bereiken wordt in één weergave samengebracht, gegroepeerd per klant en per website, en zo geordend dat alles wat onbetrouwbaar is vóór alles komt wat slechts op een besluit wacht. De reikwijdte komt uit het account waarmee u bent ingelogd en niet uit een identificatie in het adres, dus er staat geen account-id in de URL om te controleren en ook geen om mee te knoeien. Een bureau ziet zijn klantenlijst; een klant met één merk ziet zijn eigen account in hetzelfde scherm.

Meldingen gaan naar e-mail, naar Slack of naar geen van beide, ingesteld per eventtype en per persoon in plaats van één keer voor het hele account, en Slack-berichten linken terug naar precies het scherm waar het event over gaat. Aan de meetkant wordt elke website ingesteld op GA4, Matomo of native tracking van Pertento, wat betekent dat de conversies die wij tellen dezelfde events kunnen zijn die uw analytics al telt, in plaats van een tweede definitie van een aankoop die iemand moet rijmen.