Resultados frequentistas

A metade frequentista responde a uma pergunta: com que frequência apareceria por acaso uma diferença pelo menos desta dimensão, se a variante não tivesse mudado nada. Quanto mais baixo, mais difícil de explicar como acaso, e abaixo de 0,05 é a fasquia habitual.

A comparação é um teste z de duas proporções entre cada variante e o controlo, combinadas da forma habitual. O valor z tem o sinal da direcção da variante, pelo que uma variante que está à frente lê positivo e concorda com o intervalo de ganho calculado ao lado. Isso parece trivial e não é: uma convenção de sinal que discorda entre duas colunas da mesma tabela é como uma variante perdedora acaba por ser lançada.

O veredicto de significância é o valor p depois da correcção para comparações múltiplas, não antes dela. Com uma variante a correcção não tem efeito e a fasquia é simplesmente 0,05; com várias, aperta-se, e a consola declara o limiar em vez de o deixar a calcular.

Uma variante publicada é excluída da comparação. Não recebe tráfego aleatorizado, pelo que tratá-la como um braço de teste compará-la-ia com um controlo com que já não compete e inflacionaria o número de comparações para o qual tudo o resto é corrigido.