Effet minimal détectable

C'est le mode d'échec qui ressemble à « aucun résultat » et qui est en réalité « jamais assez de trafic pour le savoir ». Un test qui mesure un écart plus petit que ce que son échantillon peut résoudre restera sur non significatif indéfiniment, et aucune patience n'y changera rien au niveau de trafic actuel.

La console indique donc le seuil directement, en points de pourcentage, à côté du taux de contrôle dont il est une fraction. Un demi-point de pourcentage ne veut rien dire si l'on ignore si le taux de base est de un pour cent ou de quarante.

Elle indique aussi franchement si l'écart mesuré se situe au-dessus ou en dessous de ce seuil. En dessous, le test ne peut pas résoudre ce qu'il montre, et les réponses utiles diffèrent de celles que suggère la significativité : tester quelque chose de plus audacieux, passer à une page à plus fort trafic, ou accepter que la question ne trouve pas de réponse sur ce gabarit.

Le seuil et la taille d'échantillon requise sont définis comme les inverses exacts l'un de l'autre plutôt que par des formules distinctes. Ils étaient autrefois calculés à partir d'hypothèses de variance différentes et divergeaient donc de quelques points de pourcentage, ce qui comptait puisque le même panneau affiche les deux et que l'un d'eux décide si un écart est résoluble.