Monitoring
Alarmes de atraso e sem dados
As duas falhas que ninguém nota de dentro do ecrã de resultados: um teste ainda a correr para lá do fim, e um teste que deixou de recolher em silêncio.
Um teste atrasado devia ter terminado e não terminou. Continua a correr, continua a dividir tráfego, e continua a custar-lhe a audiência que consome, normalmente porque a decisão que produziu nunca foi tomada. É classificado como uma decisão à espera e não como uma falha, porque nada está avariado e só falta alguém decidir.
Um teste sem dados é o mais urgente dos dois. Nada registado durante um dia inteiro enquanto o teste continua a correr significa quase sempre que uma regra de segmentação deixou de corresponder, ou que o excerto de código desapareceu numa publicação. De dentro do ecrã de resultados isto parece uma semana calma; de fora é um teste que deixou de ser um teste.
Ambos chegam até si em vez de esperarem para serem encontrados. Ambos estão ligados por omissão para e-mail e Slack, a par da divisão desajustada, porque os sinais de saúde merecem uma interrupção de uma forma que os eventos de ciclo de vida não merecem.
Uma leitura sem dados também bloqueia a paragem automatizada. Agir sobre uma conclusão tirada de um teste que deixou de recolher é exactamente o caso para o qual as barreiras de confiança existem.