Monitoramento e automação de experimentos

Você é avisado, em vez de descobrir pelos números semanas depois. As duas falhas invisíveis de dentro de uma tela de resultados são uma divisão que parou de bater com o que você configurou e um teste que silenciosamente parou de registrar qualquer coisa, normalmente porque um deploy levou o snippet ou uma regra de segmentação parou de casar. As duas levantam alarme por e-mail e no Slack por padrão, as duas marcam todo resultado daquele teste como não confiável, e as duas impedem a plataforma de agir sobre ele. O trabalho que espera por você é uma fila ordenada e não uma bagunça, e ela é calculada a partir do que é verdade agora, então nada desaparece porque alguém limpou uma notificação.

Nada, até você ligar, e depois menos do que você imagina. Automação e publicação automática de um vencedor são chaves separadas e as duas começam desligadas, porque parar o teste errado automaticamente custa o tráfego que ele já gastou, enquanto publicar automaticamente um perdedor muda o que todo visitante vê. Antes de agir, ele tem que passar por três portões de confiança e uma duração mínima. E com a automação desligada ele ainda avalia tudo e registra o que teria feito, com o mesmo código que teria feito, então você pode ver ele acertar por um mês antes de deixar que aja.

Os membros são somente leitura em toda a plataforma: eles veem cada teste e cada resultado e não mudam nada disso. Essa regra é aplicada uma vez, de forma central, e não tela por tela, o que importa porque um modelo de permissão aplicado por tela é um modelo em que a próxima tela construída é silenciosamente a exceção. Iniciar, parar e publicar ficam com administradores e proprietários, e cada mudança que importa é registrada no teste com um nome e um horário.

É justamente esse o formato em volta do qual o monitoramento foi construído. Tudo que está sem resolução em cada conta que você alcança é reunido em uma visão, agrupado por cliente e por site, ordenado para que o que não é confiável venha antes do que só espera uma decisão. O escopo vem de quem você é ao entrar e não de um identificador no endereço, então não há id de conta na URL para conferir nem para adulterar. Uma agência vê a carteira dela; um cliente de marca única vê a própria conta na mesma tela.

Os alertas vão para e-mail, para o Slack, ou para nenhum dos dois, definidos por tipo de evento e por pessoa em vez de uma vez para a conta inteira, e as mensagens do Slack levam de volta para a tela exata a que o evento se refere. Do lado da medição, cada site é configurado para GA4, Matomo ou o rastreamento nativo do Pertento, o que significa que as conversões que contamos podem ser os mesmos eventos que a sua analytics já conta, em vez de uma segunda definição de compra que alguém tem que reconciliar.