Estatísticas que você pode defender
Ganho e intervalos de confiança
Dois intervalos, cada um fazendo um trabalho diferente. O que encerra uma discussão é o segundo.
O primeiro intervalo é sobre a taxa de conversão da própria variante: a faixa em que a taxa real dela provavelmente está. É um intervalo de Wilson e não um ingênuo, o que significa que ele fica dentro de zero e cem por cento mesmo em amostras pequenas, onde um cálculo mais simples informa alegremente um limite inferior abaixo de zero.
O segundo é o que decide as coisas. O intervalo de ganho é a faixa para a diferença contra o controle. Se toda a faixa fica acima de zero, a variante está realmente à frente. Se ela cruza o zero, "sem diferença" ainda é consistente com o que você mediu, por mais animadora que pareça a estimativa pontual.
Essa distinção é o motivo de os dois serem mostrados. Dois intervalos por variante que se sobrepõem não dizem se a diferença entre eles é real, e lê-los como se dissessem é uma das formas mais comuns de um experimento ser encerrado cedo demais.
O intervalo de ganho também é o que o resto da plataforma lê. A fila de atenção só declara um vencedor quando o intervalo fica de um lado só do zero, a fila de implementação aplica o mesmo critério, e a parada automatizada se recusa a agir sem ele. Uma única definição de "à frente", usada em todo lugar.