Des statistiques défendables
Gain et intervalles de confiance
Deux intervalles, pour deux rôles différents. Celui qui tranche un débat est le second.
Le premier intervalle porte sur le taux de conversion propre d’une variante : la plage dans laquelle son vrai taux tombe le plus probablement. C’est un intervalle de Wilson plutôt qu’un intervalle naïf, ce qui signifie qu’il reste entre zéro et cent pour cent même sur de petits échantillons, là où un calcul plus simple rapporte allègrement une borne inférieure sous zéro.
Le second est celui qui décide. L’intervalle de gain est la plage pour l’écart avec le contrôle. Si toute la plage se situe au-dessus de zéro, la variante est réellement devant. Si elle chevauche zéro, « aucune différence » reste compatible avec ce que vous avez mesuré, aussi encourageante que paraisse l’estimation ponctuelle.
C’est cette distinction qui justifie d’afficher les deux. Deux intervalles par variante qui se chevauchent ne vous disent pas si l’écart entre eux est réel, et les lire comme s’ils le disaient est l’une des façons les plus courantes de trancher un test trop tôt.
L’intervalle de gain est aussi ce que lit le reste de la plateforme. La file d’attention ne déclare un gagnant que quand l’intervalle reste d’un seul côté de zéro, la file d’implémentation applique le même critère, et l’arrêt automatisé refuse sans lui. Une seule définition de « devant », utilisée partout.