Des statistiques de test défendables

C’est à cela que sert la seconde moitié de cette page. Un résultat arrive avec l’ampleur de l’écart, l’intervalle qui l’entoure et la probabilité qu’il soit dû au hasard, calculée de deux façons indépendantes et présentée côte à côte. Le revenu est mesuré par variante plutôt que déduit du taux de conversion, si bien qu’une variante qui convertit plus souvent en vendant moins cher ne passe pas pour un gain. Et la plateforme énonce sa propre incertitude au lieu de la masquer, et c’est ce qui résiste à l’examen : un résultat qui n’est pas encore concluant le dit, en toutes lettres, au lieu d’être présenté comme s’il l’était.

Non, et la conception part du principe que vous n’en avez pas. Chaque chiffre porte son explication sur place, écrite pour dire ce que ce nombre vous apprend plutôt que pour définir le terme, et plusieurs d’entre elles existent précisément pour éviter un contresens : la colonne de l’écart énonce franchement qu’elle ne dit rien à elle seule sur la réalité de cet écart. À côté des chiffres figure une recommandation en mots simples. Ce que la console ne fera pas, c’est simplifier en cachant, si bien que celui qui veut la valeur p et l’intervalle les trouvera tous les deux.

Trois défenses, et elles valent la comparaison avec ce que vous utilisez aujourd’hui. Tester plusieurs variantes à la fois augmente le risque que l’une d’elles paraisse gagnante par chance, donc le seuil est resserré pour compenser, et la console indique le seuil qu’elle applique au lieu de vous laisser le calculer. Consulter un résultat tous les jours gonfle le taux de faux positifs, donc le test que l’on peut lire en continu est distinct de celui qui ne le permet pas, et la plateforme n’arrêtera pas un test par anticipation sans que les deux concordent. Et avant tout cela, elle vérifie que le trafic s’est bien réparti comme vous l’aviez configuré, car si ce n’est pas le cas, rien de ce qui en est calculé ne tient.

Parfois oui et parfois franchement non, et c’est là que la plateforme est la plus utile, avant que vous n’ayez passé trois mois à le découvrir. Chaque test indique le plus petit écart que le trafic dont vous disposez peut détecter de façon fiable. Si l’effet que vous cherchez se situe sous ce seuil, aucune patience ne le résoudra, et la console le dit au lieu de laisser un test sur « non significatif » indéfiniment. Savoir lesquelles de vos pages peuvent répondre à une question et lesquelles ne le peuvent pas vaut davantage sur un site modeste que sur un grand.

Non. Les deux sont calculés pour chaque test et présentés ensemble, si bien qu’il s’agit d’une préférence de lecture et non d’un réglage que l’on peut rater. Le volet fréquentiste indique à quel point le résultat serait improbable si la modification n’avait aucun effet. Le volet bayésien indique la probabilité que chaque variante soit la meilleure, et ce qu’un mauvais choix vous coûterait. Les équipes trouvent en général le second plus facile à exploiter et le premier plus facile à défendre, et c’est exactement pourquoi aucun des deux n’a été abandonné.