Résultats bayésiens

Le volet bayésien modélise le taux de conversion de chaque variante comme une distribution plutôt qu’un point, en partant d’un a priori uniforme qui ne suppose rien, et la met à jour avec ce qui a réellement été observé. À partir de ces distributions, il rapporte la probabilité que chaque variante soit la meilleure de celles testées, le coût espéré d’un mauvais choix, et un intervalle de crédibilité par variante.

Il est calculé pour chaque test, et non comme un mode alternatif à activer soi-même. Les deux volets sont sur le même écran parce qu’ils répondent à des questions différentes et que les gens ont besoin des deux : la probabilité est plus facile à mettre en action, la valeur p est plus facile à défendre.

Les probabilités viennent d’un échantillonnage répété des lois a posteriori, en comptant à quelle fréquence chaque variante sort en tête. Un détail compte plus qu’il n’y paraît : l’échantillonnage est initialisé à partir des données elles-mêmes, si bien que les mêmes chiffres donnent toujours la même réponse. Sans cela, rafraîchir la page déplacerait légèrement la probabilité à chaque fois, et un nombre qui change quand rien n’a changé est un nombre en qui personne n’a confiance.

Comme le volet fréquentiste, cela décrit un processus a converti ou n’a pas converti, si bien que c’est calculé pour les conversions. Le revenu par session n’est pas ce genre de quantité, et la console le rapporte comme absent plutôt que de remplir la colonne.