Detecção de interferência

Esse é o modo de falha quase impossível de diagnosticar de dentro do teste que o reporta. Um teste de redirecionamento tirando tráfego da audiência de outro aparece como discrepância na divisão do outro teste, onde nada nos dados aponta de volta para a causa. Alguém passa a tarde investigando um teste que está funcionando corretamente.

A detecção de interferência reporta a relação e não o sintoma. Ela nomeia os dois testes e sobre o que eles estão colidindo, então o alarme chega com a própria explicação anexada em vez de virar um mistério no lugar errado.

Ela também pega o caso que não gera alarme nenhum. Dois testes editando o mesmo elemento mantêm uma divisão de tráfego perfeita, então a checagem de proporção da amostra não vê nada de errado, e o que os visitantes recebem é uma combinação de página que nenhum dos dois testes pretendia. É por isso que a interferência é um portão de confiança separado da checagem de divisão, em vez de embutido nela.

O achado bloqueia a ação automatizada no teste afetado enquanto persistir. O motivo é escrito uma vez e reaproveitado, então o editor do painel, o motor e a fila de atenção dizem todos a mesma frase sobre o mesmo par, em vez de três formulações diferentes.