Explications en clair

Les résultats statistiques sont lus par des gens qui ne les ont pas calculés, et l'essentiel des dégâts que fait un écran de résultats vient d'un chiffre mal lu plutôt que faux. Chaque nombre porte donc sa propre explication, sur place, écrite pour dire ce qu'il vous apprend plutôt que pour définir le terme.

Plusieurs d'entre elles existent précisément pour prévenir un contresens. Celle de l'écart absolu dit franchement qu'elle ne dit rien à elle seule sur la réalité de cet écart. Celle des sessions avertit qu'un acheteur qui revient peut produire plus de conversions que de sessions. Celle de la valeur p énonce ce qu'elle signifie et ne signifie pas, parce que presque tout le monde la lit comme la probabilité que la variante soit meilleure.

Les définitions vivent en un seul endroit plutôt que dans les composants qui les affichent. Deux tableaux expliquant le même chiffre de deux façons différentes est un petit détail qui érode discrètement la confiance dans les deux.

Le contrôle de correction va plus loin et énonce son propre effet plutôt que son seul nom : combien de comparaisons sont en jeu, quel seuil la méthode choisie applique réellement, et quand le choix ne peut absolument rien changer au résultat.