Monitoring i automatyzacja eksperymentów

Dowiadujecie się o tym od razu, a nie wyczytujecie z liczb tygodnie później. Dwie awarie niewidoczne z wnętrza ekranu wyników to podział, który przestał zgadzać się z waszą konfiguracją, i test, który po cichu przestał cokolwiek zapisywać, zwykle dlatego, że wdrożenie zabrało skrypt albo reguła kierowania przestała pasować. Jedno i drugie domyślnie wysyła alarm na e-mail i na Slacka, jedno i drugie oznacza każdy wynik w tym teście jako niewiarygodny i jedno i drugie wstrzymuje działanie platformy na nim. Praca, która was czeka, jest uszeregowaną kolejką, a nie bałaganem, i wyliczana jest z tego, co jest prawdą teraz, więc nic nie znika przez to, że ktoś odkliknął powiadomienie.

Nic, dopóki tego nie włączycie, a potem mniej, niż moglibyście się spodziewać. Automatyzacja i automatyczne wdrożenie zwycięzcy to osobne przełączniki i oba startują wyłączone, bo automatyczne zatrzymanie złego testu kosztuje ruch, który już wydał, a automatyczne wdrożenie przegranego zmienia to, co widzi każdy odwiedzający. Zanim zadziała, musi przejść trzy bramki zaufania i minimalny czas działania. A przy wyłączonej automatyzacji i tak ocenia wszystko i zapisuje, co by zrobiła, tym samym kodem, który by to zrobił, więc przez miesiąc możecie patrzeć, jak ma rację, zanim pozwolicie jej działać.

Członkowie mają podgląd w całej platformie: widzą każdy test i każdy wynik, i nie zmieniają nic z tego. Ta reguła jest wymuszana raz, centralnie, a nie ekran po ekranie, i to ma znaczenie, bo model uprawnień stosowany osobno dla każdego ekranu jest takim, w którym następny zbudowany ekran jest po cichu wyjątkiem. Start, zatrzymanie i wdrożenie zostają u administratorów i właścicieli, a każda istotna zmiana jest zapisana przy teście z nazwiskiem i godziną.

Właśnie wokół tego kształtu zbudowany jest monitoring. Wszystko nierozstrzygnięte na każdym koncie, do którego macie dostęp, zbiera się w jednym widoku, pogrupowane według klienta i witryny, uszeregowane tak, by cokolwiek niewiarygodnego znalazło się przed tym, co tylko czeka na decyzję. Zakres bierze się z tego, jako kto się zalogowaliście, a nie z identyfikatora w adresie, więc w URL nie ma identyfikatora konta do sprawdzenia i nie ma go do podmienienia. Agencja widzi swoje portfolio; klient z jedną marką widzi na tym samym ekranie własne konto.

Powiadomienia idą na e-mail, na Slacka albo nigdzie, ustawiane dla typu zdarzenia i dla osoby, a nie raz dla całego konta, a wiadomości na Slacku prowadzą wprost do tego ekranu, którego dotyczy zdarzenie. Po stronie pomiaru każda witryna ustawiana jest na GA4, Matomo albo własne zbieranie danych Pertento, co znaczy, że konwersje, które liczymy, mogą być tymi samymi zdarzeniami, które już liczy wasza analityka, a nie drugą definicją zakupu, którą ktoś musi uzgadniać.