Test séquentiel

Un test à horizon fixe est valide si vous ne regardez qu’une fois, à la fin. Regardez chaque jour et arrêtez-vous au premier franchissement, et le taux de faux positifs grimpe bien au-delà des cinq pour cent que vous croyez tenir. Ce n’est pas une subtilité : c’est la façon la plus courante dont les programmes d’expérimentation se bercent d’illusions.

Le test séquentiel est le test conçu pour cela. Ses taux d’erreur sont contrôlés sous surveillance continue, si bien qu’une analyse au neuvième jour est aussi valide qu’une analyse au trentième, et qu’un résultat clair peut être acté dès son arrivée plutôt qu’au moment où le calendrier le décide.

Il détecte aussi l’autre issue, ce que le test à horizon fixe ne peut pas faire. « Aucun effet de la taille que ce test a été conçu pour trouver » est une conclusion réelle, et agir dessus libère le trafic pour la prochaine idée au lieu de laisser tourner un test plat par pur espoir.

Il est délibérément prudent sur l’automatisation. Un arrêt automatisé exige que le test séquentiel et la valeur p corrigée s’accordent, sur la même variante, dans le même sens. Ils ne s’accorderont pas toujours, et le cas connu est un effet réel plus petit que celui pour lequel le test séquentiel est dimensionné : il conclut à l’absence d’effet pendant que la valeur p finit par devenir significative, rien ne se déclenche, et le test tourne jusqu’à sa fin programmée. C’est le sens dans lequel on veut qu’il se trompe.