Resultados bayesianos

A metade bayesiana modela a taxa de conversão de cada variante como uma distribuição e não como um ponto, partindo de um prior uniforme que não assume nada, e actualiza-o com o que foi realmente observado. A partir dessas distribuições reporta a probabilidade de cada variante ser a melhor das testadas, o custo esperado de escolher mal, e um intervalo credível por variante.

É calculada para todos os testes, e não como um modo alternativo que tem de activar. As duas metades estão no mesmo ecrã porque respondem a perguntas diferentes e as pessoas precisam das duas: a probabilidade é mais fácil de accionar, o valor p é mais fácil de defender.

As probabilidades vêm de amostrar as posteriores muitas vezes e contar com que frequência cada variante sai à frente. Um pormenor importa mais do que parece: a amostragem tem semente a partir dos próprios dados, pelo que as mesmas contagens dão sempre a mesma resposta. Sem isso, actualizar a página moveria ligeiramente a probabilidade de cada vez, e um número que muda quando nada mudou é um número em que ninguém confia.

Tal como a metade frequentista, isto descreve um processo de converteu ou não converteu, pelo que é calculado para conversões. A receita por sessão não é esse tipo de grandeza, e a consola reporta-a como ausente em vez de preencher a coluna.