Cinq niveaux de preuve

Chaque schéma de la page Apprentissages porte l’un de cinq niveaux de preuve, et ce niveau détermine la façon dont la page en parle. Les niveaux sont lus dans l’intervalle ajusté du schéma, dans un ordre fixe, et le premier qui correspond est celui qui s’affiche.

Mitigé vient en premier : des tests portant sur la même chose, où une variante est nettement en hausse et une autre nettement en baisse. Deux résultats contradictoires ne sont jamais moyennés en « aucun effet », car cela masquerait la chose la plus intéressante que les tests aient trouvée. Cohérent signifie que l’intervalle exclut zéro sur trois tests ou plus. Signal précoce signifie qu’il exclut zéro, mais sur un ou deux tests seulement.

Effet faible signifie que l’intervalle inclut zéro et reste dans la limite de 2 % de chaque côté. C’est un constat en soi : ce type de modification a peu d’effet. Dans les autres cas, le niveau est Pas encore assez de preuves, ce qui décrit honnêtement la plupart des schémas au début d’un programme de tests.

La formulation suit l’intervalle autant que le niveau, si bien qu’un signal précoce sous zéro se lit comme une modification qui nuit, et non comme un signal neutre. La page indique aussi combien de schémas sont concluants à ce stade, pour qu’un lecteur voie d’un coup d’œil sur quoi le programme peut déjà s’appuyer.