Testes com problemas deixados de fora

Agregar resultados só ajuda se puderem ser interpretados. Um teste com distribuição de tráfego incorreta ou sem dados registados fica fora de todos os padrões, porque os seus números não significam o que parecem indicar. Ambos os problemas são medidos, pelo que uma declaração não os pode anular.

O balanço acrescenta o que os dados não conseguem ver. Um teste cujo balanço reporte uma falha de tracking ou uma publicação do site durante o teste também fica de fora. Qualquer outro fator externo que a equipa reporte, como uma campanha ou uma época do ano, mantém o teste mas faz com que conte menos, uma única vez, sejam quantos forem os fatores assinalados, porque as pessoas tendem a assinalar tudo o que possa aplicar-se.

Os problemas menores são mostrados em vez de terem consequências: poucos visitantes, uma duração inferior a uma semana ou uma sobreposição com outro teste aparecem como notas no cartão de aprendizagem. A vista Evidência lista o que ainda não é contado, para que um teste nunca desapareça em silêncio.

Quando um problema reportado se revela corrigido, alguém que possa criar testes abre a página de balanço do teste e escolhe Tracking corrigido, incluir. Isso põe de lado um fator que a equipa reportou. Não consegue anular uma distribuição de tráfego incorreta nem dados em falta, que foram medidos.