Probabilidade de uma variante ser a melhor

Um valor p diz-lhe quão surpreendentes seriam os seus dados sob uma suposição em que não acredita. Quase todos o lêem como a probabilidade de a variante ser melhor, o que não é o que ele diz. Este número é o que as pessoas pensam estar a ler, calculado como deve ser.

É a parte dos resultados simulados em que esta variante sai à frente de todos os outros braços, incluindo o controlo. Como é calculada sobre todos os braços de uma vez, as probabilidades de um teste somam um, e um teste a três não precisa de uma correcção à parte para ser lido.

É o que sustenta a recomendação da consola. Uma variante a noventa e cinco por cento ou acima, cujo resultado frequentista também ultrapassa o seu limiar corrigido, é reportada como vencedora com alta confiança. Acima de oitenta por cento é reportada como em tendência, com o conselho honesto de continuar a correr.

Emparelha com a perda esperada em vez de a substituir. Uma probabilidade alta com uma perda esperada grande é uma decisão diferente de uma probabilidade alta com uma perda insignificante, e a segunda é geralmente o que torna o lançamento fácil.