Des statistiques défendables
Revenu par variante
Le taux de conversion est un indicateur indirect. Une variante qui convertit mieux en vendant moins cher n’est pas une victoire.
Chaque conversion porte l’argent qui l’accompagne, et le revenu est attribué à la variante dans laquelle se trouvait le visiteur. Les valeurs sont enregistrées en centimes entiers plutôt qu’en virgule flottante, et le total inclut la taxe et la livraison tels que la plateforme les reçoit.
C’est un objectif à part entière plutôt qu’une colonne à côté du vrai. La significativité et les intervalles sont calculés sur le revenu comme sur les conversions, si bien qu’un résultat de revenu peut se lire avec le même niveau de preuve qu’un résultat de taux de conversion.
La file d’implémentation lit les deux, dans l’ordre : les conversions d’abord, car c’est l’objectif principal et son calcul ne comporte aucune approximation, puis le revenu, si bien qu’un test gagnant sur le revenu seul atteint quand même les personnes qui pourraient le mettre en production.
Le revenu a toujours besoin d’une devise choisie, et ce n’est pas une limitation à contourner. Additionner des couronnes à des euros produit un nombre dénué de sens, donc la console rend la devise explicite plutôt que d’additionner discrètement.