Ajusté pour les comparaisons multiples

Apprentissages examine des dizaines de schémas à la fois : chaque type de page et de modification, mécanisme, thème et élément. Plus les tests d’un site sont répartis de façons différentes, plus il est probable qu’un intervalle exclue zéro par hasard. Si tous les intervalles étaient affichés au niveau de confiance habituel de 95 %, quelques résultats chanceux seraient présentés comme de véritables constats.

Chaque intervalle de la page est donc tracé avec une même largeur ajustée, issue de la procédure de Benjamini-Hochberg avec des intervalles contrôlant le false coverage rate à 5 %. Un schéma retenu comme concluant a un intervalle qui exclut zéro, et un schéma non retenu a un intervalle qui le croise, si bien que le niveau de preuve et l’intervalle ne peuvent jamais se contredire.

Les vérifications sont comptées comme les ensembles distincts de tests derrière les schémas, et non comme les schémas eux-mêmes. Un test qui a modifié quatre choses figure dans quatre groupes, mais c’est une seule preuve vue quatre fois, et la compter quatre fois corrigerait à l’excès et masquerait de vrais constats.

C’est la même discipline que celle que les statistiques appliquent à un test unique comportant plusieurs variantes, étendue à tout un programme. C’est pourquoi Apprentissages peut examiner de nombreux angles à la fois sans transformer un grand programme en source de fausse confiance.