Estatísticas que você pode defender
Probabilidade de ser a melhor variante
Leia direto. Ao contrário de um valor p, essa é a resposta para a pergunta que você realmente fez.
Um valor p diz o quão surpreendentes seriam os seus dados sob uma suposição em que você não acredita. Quase todo mundo o lê como a probabilidade de a variante ser melhor, o que não é o que ele diz. Este número é o que as pessoas pensam estar lendo, calculado do jeito certo.
É a fração dos resultados simulados em que essa variante sai na frente de todos os outros braços, incluindo o controle. Como é calculada considerando todos os braços de uma vez, as probabilidades de um experimento somam um, e um teste de três braços não precisa de uma correção separada para ser lido.
É nisso que a recomendação do console se baseia. Uma variante em noventa e cinco por cento ou mais, cujo resultado frequentista também ultrapassa o limite corrigido, é reportada como vencedora com alta confiança. Acima de oitenta por cento é reportada como em ascensão, com o conselho honesto de continuar rodando.
Ela se combina com a perda esperada em vez de substituí-la. Uma probabilidade alta com uma perda esperada grande é uma decisão diferente de uma probabilidade alta com uma perda insignificante, e a segunda costuma ser o que torna o lançamento fácil.