Monitoring a automatizace experimentů

Dozvíte se to, místo abyste to o týdny později vyčetli z čísel. Dvě selhání, která nejsou z obrazovky s výsledky vidět, jsou rozdělení, které přestalo odpovídat vašemu nastavení, a experiment, který tiše přestal cokoli zaznamenávat, obvykle proto, že nasazení odneslo skript nebo pravidlo cílení přestalo platit. Obojí ve výchozím stavu vyvolá alarm do e-mailu a na Slack, obojí označí každý výsledek toho experimentu za nedůvěryhodný a obojí zabrání platformě, aby podle něj jednala. Práce, která na vás čeká, je seřazená fronta, a ne hromada, a odvozuje se z toho, co je právě teď pravda, takže nic nezmizí proto, že někdo odklikl oznámení.

Nic, dokud to nezapnete, a pak méně, než byste čekali. Automatizace a automatické nasazení vítěze jsou oddělené přepínače a oba začínají vypnuté, protože automatické zastavení špatného experimentu stojí provoz, který už spotřeboval, zatímco automatické nasazení prohrávající varianty mění, co uvidí každý návštěvník. Než začne jednat, musí projít třemi branami důvěryhodnosti a minimální dobou běhu. A s vypnutou automatizací přesto všechno vyhodnocuje a zapisuje, co by udělal, tím samým kódem, který by to udělal, takže jej můžete měsíc sledovat, jak má pravdu, než mu dovolíte jednat.

Členové mají v celé platformě čtecí práva: vidí každý experiment a každý výsledek a nemění z toho nic. Toto pravidlo je vymáháno jednou, centrálně, a ne obrazovka po obrazovce, což je důležité, protože model oprávnění uplatňovaný u každé obrazovky je takový, kde je příští postavená obrazovka tiše výjimkou. Spouštění, zastavování a nasazování zůstávají u správců a vlastníků a každá změna, na které záleží, je zapsána u experimentu se jménem a časem.

Přesně kolem toho je monitoring postavený. Všechno nevyřešené přes každý účet, kam dosáhnete, je sesbírané v jednom pohledu, seskupené podle klienta a podle webu, seřazené tak, aby cokoli nedůvěryhodného přišlo před tím, co jen čeká na rozhodnutí. Rozsah vychází z toho, kdo jste přihlášen, a ne z identifikátoru v adrese, takže v URL není žádné ID účtu ke kontrole ani žádné, s nímž by šlo manipulovat. Agentura vidí svůj seznam; zákazník s jednou značkou vidí na téže obrazovce svůj vlastní účet.

Upozornění jdou na e-mail, na Slack, nebo nikam, nastavená podle typu události a podle osoby, a ne jednou pro celý účet, a zprávy na Slacku odkazují zpět na přesnou obrazovku, ke které se událost vztahuje. Na straně měření je každý web nastaven na GA4, Matomo nebo nativní měření Pertento, což znamená, že konverze, které počítáme, mohou být ty samé události, které už počítá vaše analytika, a ne druhá definice nákupu, kterou musí někdo srovnávat.