Des statistiques défendables
Holm-Bonferroni, Benjamini-Hochberg et Šidák
Trois corrections qui contrôlent deux choses différentes. Celle qu’il vous faut dépend du nombre de variantes en cours et de ce que coûte un faux gagnant.
Holm-Bonferroni est la plus stricte des trois. Elle trie les comparaisons et descend depuis le seuil le plus serré, s’arrêtant à la première qui échoue, et contrôle la chance de faire ne serait-ce qu’une seule fausse affirmation. C’est le bon choix par défaut quand un faux gagnant serait mis en production et assumé durablement.
Benjamini-Hochberg travaille depuis l’autre bout, et contrôle la part de faux positifs parmi les résultats que vous déclarez gagnants, plutôt que la chance d’en avoir un seul. C’est une garantie plus faible et plus utile quand plusieurs variantes tournent à la fois : elle a nettement moins de chances d’écarter un effet réel, au prix d’admettre un mauvais résultat de temps en temps.
Šidák applique un seul seuil à toutes les comparaisons plutôt qu’une séquence. Elle est légèrement moins stricte qu’une simple Bonferroni et suppose les comparaisons indépendantes, une hypothèse raisonnable quand vos variantes sont réellement des idées différentes, et médiocre quand elles sont des variations sur un même thème.
Aucune correction est aussi une option, et elle est honnête sur ce qu’elle coûte : avec plusieurs comparaisons à un seuil non corrigé, la console énonce franchement à quel point il devient probable d’avoir au moins un faux gagnant. C’est un choix défendable sur un test à une seule variante, et rarement défendable autrement.