Monitorización y automatización de experimentos

Se lo decimos, en lugar de que lo descubran en los números semanas después. Los dos fallos invisibles desde una pantalla de resultados son un reparto que dejó de coincidir con lo configurado y un test que dejó de registrar nada en silencio, normalmente porque un despliegue se llevó el script o una regla de segmentación dejó de aplicar. Los dos levantan una alarma por correo y por Slack de serie, los dos marcan todos los resultados de ese test como poco fiables, y los dos impiden que la plataforma actúe sobre él. El trabajo que les espera es una cola ordenada y no un desorden, y se calcula a partir de lo que es cierto ahora mismo, así que nada desaparece porque alguien haya cerrado una notificación.

Nada, hasta que ustedes lo activen, y después menos de lo que cabría esperar. La automatización y la publicación automática de un ganador son interruptores separados y los dos empiezan apagados, porque detener solo el test equivocado cuesta el tráfico que ya gastó, mientras que publicar solo un perdedor cambia lo que ve cada visitante. Antes de actuar tiene que pasar tres controles de confianza y una duración mínima. Y con la automatización apagada sigue evaluándolo todo y anotando qué habría hecho, con el mismo código que lo habría hecho, así que pueden verla acertar durante un mes antes de dejarla actuar.

Los miembros son de solo lectura en toda la plataforma: pueden ver cada test y cada resultado y no cambian ninguno. Esa regla se aplica una vez, de forma central, y no pantalla por pantalla, lo que importa porque un modelo de permisos aplicado por pantalla es uno en el que la siguiente pantalla construida es calladamente la excepción. Iniciar, detener y publicar siguen en manos de administradores y propietarios, y cada cambio que importa queda registrado en el test con un nombre y una hora.

Esa es la forma sobre la que está construida la supervisión. Todo lo que queda sin resolver en cada cuenta a la que llegan se agrupa en una sola vista, por cliente y por sitio web, ordenado para que lo que no es fiable vaya antes que lo que solo espera una decisión. El alcance viene de con qué cuenta iniciaron sesión y no de un identificador en la dirección, así que no hay un id de cuenta en la URL que comprobar ni ninguno que manipular. Una agencia ve su cartera; un cliente de una sola marca ve su propia cuenta en la misma pantalla.

Los avisos van al correo, a Slack o a ninguno de los dos, configurados por tipo de evento y por persona en lugar de una sola vez para toda la cuenta, y los mensajes de Slack enlazan a la pantalla exacta a la que se refiere el evento. Del lado de la medición, cada sitio web se configura con GA4, Matomo o la medición nativa de Pertento, lo que significa que las conversiones que contamos pueden ser los mismos eventos que ya cuenta su analítica y no una segunda definición de una compra que alguien tenga que reconciliar.