Des statistiques défendables
Alarmes de ratio d’échantillonnage
Le contrôle qui s’exécute avant que tout autre nombre ait un sens : le trafic s’est-il réellement réparti comme vous l’aviez configuré.
Un écart de ratio d’échantillonnage signifie que la répartition configurée n’est pas celle qui s’est produite. La cause est en général une variante qui échoue à s’appliquer, une redirection qui perd des visiteurs en chemin, ou un filtrage de bots qui frappe une branche plus fort que l’autre.
C’est un critère de validité plutôt qu’une métrique, et c’est pourquoi il est vérifié en premier. Si l’affectation est cassée, les deux groupes ne sont pas comparables, et chaque valeur p, intervalle et recommandation de la page mesure ce défaut plutôt que votre modification.
Le test est un test d’adéquation du khi-deux contre les poids configurés, à un seuil bien plus strict que l’habituel. Avec du trafic réel, la répartition n’est jamais exactement nominale, et à 0,05 un test parfaitement sain déclencherait l’alarme une fois sur vingt, ce qui apprend à tout le monde à l’ignorer. Il refuse aussi de s’exécuter en dessous d’un échantillon minimal ou avec moins de deux branches recevant du trafic, car à ce stade une absence de preuve n’est pas la preuve d’un problème.
Il en existe exactement une seule implémentation. L’alarme qui vous envoie un e-mail, l’écran sur lequel vous arrivez et l’automatisation qui refuse d’agir aboutissent tous au même verdict depuis le même code, car une alerte qui contredit la page vers laquelle elle pointe est pire que pas d’alerte du tout.