Resultados frequentistas

A metade frequentista responde uma pergunta: com que frequência uma diferença pelo menos desse tamanho apareceria por acaso, se a variante não tivesse mudado nada. Quanto menor, mais difícil de descartar como acaso, e abaixo de 0,05 é a barra costumeira.

A comparação é um teste z de duas proporções entre cada variante e o controle, combinado da forma padrão. O escore z tem o sinal na direção da variante, então uma variante que está à frente aparece positiva e concorda com o intervalo de ganho calculado ao lado dele. Isso parece trivial e não é: uma convenção de sinal que discorda entre duas colunas de uma mesma tabela é como uma variante perdedora acaba sendo lançada.

O veredicto de significância é o valor p depois da correção para comparações múltiplas, não antes dela. Com uma variante, a correção não tem efeito nenhum e a barra é simplesmente 0,05; com várias, ela aperta, e o console informa o limite em vez de deixar você descobrir sozinho.

Uma variante implantada é excluída da comparação. Ela não recebe mais tráfego sorteado, então tratá-la como um braço de teste a compararia contra um controle com o qual não compete mais, e inflaria o número de comparações para o qual tudo o mais está sendo corrigido.