Estatísticas que se defendem
Intervalos de ganho e de confiança
Dois intervalos, com dois trabalhos diferentes. O que resolve uma discussão é o segundo.
O primeiro intervalo é para a taxa de conversão própria de uma variante: o intervalo em que a sua taxa real mais provavelmente se situa. É um intervalo de Wilson e não um ingénuo, o que significa que se mantém dentro de zero e cem por cento mesmo com amostras pequenas, onde um cálculo mais simples reporta alegremente um limite inferior abaixo de zero.
O segundo é o que decide as coisas. O intervalo de ganho é o intervalo para a diferença face ao controlo. Se todo o intervalo estiver acima de zero, a variante está genuinamente à frente. Se atravessar o zero, "sem diferença" continua a ser consistente com o que mediu, por mais animadora que a estimativa pontual pareça.
Essa distinção é a razão por que ambos são mostrados. Dois intervalos por variante que se sobrepõem não dizem se a diferença entre eles é real, e lê-los como se dissessem é uma das formas mais comuns de um teste ser dado como terminado cedo demais.
O intervalo de ganho é também o que o resto da plataforma lê. A fila de atenção só chama um vencedor quando o intervalo fica de um só lado do zero, a fila de implementação aplica o mesmo critério, e a paragem automática recusa sem ele. Uma única definição de "à frente", usada em todo o lado.