Probabilité d’être la meilleure

Une valeur p vous dit à quel point vos données seraient surprenantes sous une hypothèse à laquelle vous ne croyez pas. Presque tout le monde la lit comme la probabilité que la variante soit meilleure, ce qu’elle ne dit pas. Ce chiffre est le nombre que les gens croient lire, calculé correctement.

C’est la part des résultats simulés dans laquelle cette variante sort en tête de toutes les autres branches, contrôle compris. Comme elle est calculée sur toutes les branches à la fois, les probabilités d’un test totalisent un, et un test à trois branches n’a pas besoin d’une correction séparée pour être lu.

C’est sur cela que se construit la recommandation de la console. Une variante à quatre-vingt-quinze pour cent ou plus, dont le résultat fréquentiste franchit aussi son seuil corrigé, est signalée comme gagnante avec une grande confiance. Au-dessus de quatre-vingts pour cent, elle est signalée comme prometteuse, avec le conseil honnête de continuer à faire tourner le test.

Elle s’associe à la perte espérée plutôt que de la remplacer. Une probabilité élevée avec une grosse perte espérée est une décision différente d’une probabilité élevée avec une perte négligeable, et c’est en général la seconde qui rend la mise en production facile.