Pesquisas dentro de testes

Uma pesquisa rodando enquanto um teste está no ar registra em qual variante de qual teste cada respondente estava. Esse único fato é o que transforma duas ferramentas separadas numa coisa só útil.

Um teste te diz que a variante B converteu melhor. Ele não consegue te dizer por quê, e o porquê é o que decide o que você testa a seguir. Ler a mesma pergunta por variante normalmente consegue: se o braço que converteu melhor também pontua marcadamente mais alto em esforço, você tem o resultado e o mecanismo por trás dele.

Funciona ao contrário também, e esse é o caso que vale a pena planejar. Uma variante que ganha em conversão enquanto pontua pior em satisfação é um aviso e não uma vitória, e é completamente invisível para um teste que só lê taxa de conversão.

A atribuição é registrada no momento da resposta e não inferida depois, e o relatório conta só os respondentes que estavam de fato inscritos no teste sobre o qual você está perguntando. Alguém que nunca entrou nele não cai silenciosamente em um grupo.