Portões de confiança em dados quebrados

A automação só é tão boa quanto o número que ela lê. Três condições significam que o número não pode ser lido, e cada uma bloqueia qualquer ação que se basearia nele.

Uma discrepância na proporção da amostra significa que o tráfego não se dividiu como configurado, então os dois grupos não são comparáveis e nenhum contraste entre eles se sustenta. Sem tráfego por um dia inteiro significa que nada está sendo medido. E um achado de interferência significa que outro teste rodando está corrompendo essa leitura, que é o caso que mais nada detectaria.

Esse terceiro portão é separado do primeiro em vez de embutido nele, porque os dois não se sobrepõem do jeito que parece que deveriam. Uma interação de redirecionamento de fato aparece como discrepância na divisão, mas dois testes editando o mesmo elemento produzem uma divisão perfeita e uma combinação de página que ninguém revisou, o que é invisível para a checagem de proporção da amostra e ainda assim não é uma leitura que valha agir.

Os portões de confiança só protegem o caminho da significância. A parada por horário é incondicional, porque encerrar um teste é sempre seguro e deixar um quebrado rodando além do fim planejado transforma um problema em dois. Quando um portão bloqueia, o motivo é declarado em palavras simples, não como um código de status.