Monitoring
Alarmes de atraso e sem dados
As duas falhas que ninguém percebe de dentro da tela de resultados: um teste ainda rodando além do fim, e um teste que silenciosamente parou de coletar.
Um teste atrasado estava agendado para terminar e não terminou. Continua rodando, continua dividindo tráfego, e continua custando a audiência que consome, normalmente porque a decisão que ele produziu nunca foi tomada. É classificado como decisão pendente e não como falha, porque nada está quebrado e alguém só precisa decidir.
Um teste sem dados é o mais urgente dos dois. Nada registrado por um dia inteiro enquanto o teste continua rodando quase sempre significa que uma regra de segmentação parou de casar, ou o snippet sumiu em um deploy. De dentro da tela de resultados isso parece uma semana tranquila; de fora, é um teste que parou de ser um teste.
Os dois chegam até você em vez de esperar para serem encontrados. Os dois vêm ligados por padrão para e-mail e Slack, junto com a discrepância na divisão, porque sinais de saúde merecem uma interrupção como eventos de ciclo de vida não merecem.
Uma leitura sem dados também bloqueia a parada automatizada. Agir sobre uma conclusão tirada de um teste que parou de coletar é exatamente o caso para o qual os portões de confiança existem.