Des statistiques défendables
Analyse de puissance
La probabilité que ce test puisse détecter l'écart qu'il affiche actuellement, si cet écart est réel.
La puissance est la probabilité qu'un test détecte un écart réel d'une taille donnée. En dessous d'environ quatre-vingts pour cent, un résultat nul signifie « pas encore assez de données » plutôt que « aucun effet », et traiter les deux comme identiques est ainsi qu'une bonne idée finit abandonnée.
Pertento calibre l'analyse sur l'écart que le test mesure réellement, pas sur un objectif de gain fixe choisi à l'avance. Se calibrer sur un cinq pour cent codé en dur répond à « quand pourrais-je détecter cinq pour cent », ce qui n'est la question de personne face à un test en cours. La question est quand l'effet que j'observe devient concluant.
Un garde-fou délibéré existe dans ce calcul. L'écart mesuré n'est jamais réinjecté dans le seuil d'effet détectable, qui est lui-même déduit de l'échantillon actuel. Le faire rendrait la réponse autoréalisatrice et signalerait des données suffisantes pour un test gravement sous-alimenté en puissance.
Quand l'écart mesuré est trop petit pour s'y calibrer, un effet proche de zéro exigeant un échantillon sans limite, l'analyse se rabat sur un objectif de gain et indique lequel des deux elle a utilisé. Un chiffre à l'allure précise sans indication de ce qu'il suppose est pire qu'un chiffre honnête.