Tests à problème exclus

Regrouper les résultats n’est utile que s’ils sont interprétables. Un test dont la répartition du trafic était défaillante ou qui n’a enregistré aucune donnée est exclu de tous les schémas, car ses chiffres ne signifient pas ce qu’ils semblent indiquer. Ces deux problèmes sont mesurés : une déclaration ne peut donc pas les annuler.

Le bilan ajoute ce que les données ne voient pas. Un test dont le bilan signale un défaut de suivi ou une mise en production du site pendant son déroulement est lui aussi exclu. Tout autre facteur extérieur signalé par l’équipe, comme une campagne ou une saison, maintient le test mais le fait compter pour moins, une seule fois, quel que soit le nombre de facteurs cochés, car on a tendance à cocher tout ce qui pourrait s’appliquer.

Les problèmes plus mineurs sont affichés plutôt que traités : trop peu de visiteurs, une durée inférieure à une semaine ou un chevauchement avec un autre test apparaissent comme des notes sur la carte d’apprentissage. La vue Preuves liste ce qui n’est pas encore compté, si bien qu’un test ne disparaît jamais en silence.

Quand un problème signalé s’avère corrigé, une personne autorisée à créer des tests ouvre la page de bilan du test et choisit « Suivi corrigé, l’inclure ». Cela écarte un facteur signalé par l’équipe. Cela ne peut pas passer outre une répartition défaillante ou des données manquantes, qui ont été mesurées.