Estatísticas que você pode defender
Relatório de combinações
Quando dois testes rodam ao mesmo tempo, as mudanças deles interagem? Uma pergunta estreita, respondida com rigor.
Rodar testes ao mesmo tempo não custa nada em tamanho de amostra, porque cada um sorteia de forma independente. O que pode custar é a aditividade: duas mudanças que funcionam sozinhas podem não se combinar do jeito que você supõe. O relatório de combinações é a checagem para isso.
Escolha dois ou mais testes no mesmo site e o relatório mede se os efeitos interagem, e se os valores de pedido diferem entre as combinações em que os visitantes caíram. Ele é calculado só a partir das contagens de conversão usando uma razão de chances, e a álgebra fecha porque os termos de alocação se cancelam exatamente sob sorteio independente.
Ele é preciso sobre o que não responde. Sem um denominador de exposição, não consegue dizer qual combinação converte melhor; consegue dizer se as duas mudanças interagem, que é a pergunta que decide se cada resultado vai se replicar sozinho.
Essa é a pergunta estreita e estatística. A mais ampla e operacional, se dois testes estão corrompendo um ao outro em vez de apenas se combinar, é o que a detecção de colisão e de interferência cobre, e essas se levantam sozinhas sem precisar ser pedidas.