Estatísticas que se defendem
Relatório de combinações
Quando dois testes correm ao mesmo tempo, as suas alterações interagem? Uma pergunta estreita, respondida como deve ser.
Correr testes em simultâneo não custa nada em dimensão de amostra, porque cada um distribui de forma independente. O que pode custar é a aditividade: duas alterações que funcionam cada uma por si podem não se combinar da forma que assumiria. O relatório de combinações é a verificação para isso.
Escolha dois ou mais testes no mesmo site e o relatório mede se os seus efeitos interagem, e se os valores de encomenda diferem entre as combinações em que os visitantes caíram. É calculado apenas a partir das contagens de conversão através de uma razão de possibilidades, e a álgebra funciona porque os termos de alocação se cancelam exactamente sob distribuição independente.
É preciso sobre o que não responde. Sem um denominador de exposição, não consegue dizer-lhe qual a combinação que converte melhor; consegue dizer-lhe se as duas alterações interagem, que é a pergunta que decide se cada resultado se replica sozinho.
Esta é a pergunta estreita e estatística. A mais ampla e operacional, se dois testes estão a corromper-se mutuamente em vez de apenas se combinar, é o que a detecção de colisões e de interacções cobre, e essas levantam-se sozinhas sem serem pedidas.