Tests simultanés, trafic non partagé

La raison habituelle pour laquelle un programme ne fait tourner qu’un test à la fois est la croyance que la simultanéité divise l’échantillon. Dans Pertento, ce n’est pas le cas. Chaque test randomise indépendamment, si bien qu’un visiteur éligible entre dans chaque test pour lequel il est éligible, et chaque test reçoit l’audience éligible entière plutôt qu’une tranche.

Sous randomisation indépendante, la comparaison propre à chaque test reste non biaisée quel que soit le nombre d’autres tests en ligne, car les autres tests sont équilibrés entre ses branches par construction. Sérialiser une feuille de route pour protéger les statistiques serait une grosse perte de débit pour aucun gain statistique.

Ce que la simultanéité menace réellement est plus étroit et se traite directement. Deux variantes qui modifient le même élément produisent une combinaison de page que personne n’a relue. Une redirection déplace du trafic dans ou hors de l’audience d’un autre test et brise l’indépendance. Les deux sont signalés par la détection de collision, et les deux bloquent l’automatisation plutôt que d’être laissés au hasard.

Là où deux tests ne doivent vraiment pas se chevaucher, la réponse est de les organiser en étapes dans un pipeline. Chaque étape tourne à plein trafic à son tour, ce qui est l’inverse de les rendre mutuellement exclusifs à l’exécution en partageant l’audience entre eux.