Testes com problema deixados de fora

Combinar resultados só ajuda se eles puderem ser interpretados. Um teste com distribuição de tráfego incorreta ou sem dados registrados fica fora de todos os padrões, porque seus números não significam o que parecem indicar. Ambos os problemas são medidos, então não podem ser anulados por uma avaliação pessoal.

A retrospectiva acrescenta o que os dados não conseguem ver. Um teste cuja retrospectiva informa uma falha de rastreamento ou um deploy do site durante a execução também fica de fora. Qualquer outro fator externo que o time informar, como uma campanha ou uma sazonalidade, mantém o teste, mas faz com que ele conte menos, uma vez só, não importa quantos fatores sejam marcados, porque as pessoas tendem a marcar tudo o que possa se aplicar.

Problemas menores são mostrados em vez de gerar uma ação: poucos visitantes, uma duração menor que uma semana ou uma sobreposição com outro teste aparecem como notas no cartão de aprendizado. A visualização Evidência lista o que ainda não é contado, para que um teste nunca desapareça em silêncio.

Quando um problema informado acaba sendo corrigido, alguém que pode criar experimentos abre a página de retrospectiva do teste e escolhe Rastreamento corrigido, incluir. Isso deixa de lado um fator que o time informou. Não consegue anular uma distribuição de tráfego incorreta nem dados ausentes, que foram medidos.