Resultados bayesianos

A metade bayesiana modela a taxa de conversão de cada variante como uma distribuição em vez de um ponto único, partindo de uma priori uniforme que não pressupõe nada, e a atualiza com o que foi de fato observado. A partir dessas distribuições ela informa a probabilidade de cada variante ser a melhor entre as testadas, o custo esperado de escolher errado, e um intervalo de credibilidade por variante.

Ela é calculada para todo experimento, não como um modo alternativo que você precisa ativar. As duas metades ficam na mesma tela porque respondem perguntas diferentes e as pessoas precisam das duas: a probabilidade é mais fácil de agir sobre, o valor p é mais fácil de defender.

As probabilidades vêm de amostrar as distribuições posteriores muitas vezes e contar quantas vezes cada variante sai na frente. Um detalhe importa mais do que parece: a amostragem usa uma semente derivada dos próprios dados, então as mesmas contagens sempre dão a mesma resposta. Sem isso, atualizar a página moveria a probabilidade um pouco a cada vez, e um número que muda quando nada mudou é um número em que ninguém confia.

Como a metade frequentista, isso descreve um processo de converteu ou não converteu, então é calculada para conversões. Receita por sessão não é esse tipo de grandeza, e o console reporta esse campo como ausente em vez de preenchê-lo.