Schémas d’un test à l’autre

Un test isolé est une anecdote. Les schémas révèlent ce qu’un programme de tests enseigne dans son ensemble. Pertento regroupe les cartes d’apprentissage d’un site de quatre façons : par type de page et de modification, par mécanisme attendu, par thème et par élément modifié. Chaque groupe correspond à une question à laquelle vos tests ont répondu, même si personne ne l’avait formulée.

Chaque groupe reçoit une estimation regroupée du gain, avec un intervalle. Les résultats sont combinés selon leur précision, à partir d’un point de départ sceptique centré sur zéro, si bien qu’un test chanceux est ramené vers l’absence d’effet au lieu d’être lu comme une règle. Deux variantes d’un même test partagent un contrôle, elles comptent donc comme une seule entrée et non deux.

Seul le résultat statistique compte. Déployer une variante est une décision humaine, et la compter comme une victoire ferait passer les idées que les gens ont aimées pour les idées qui ont fonctionné. Un test non concluant compte quand même : il déplace l’intervalle, et c’est exactement ce qu’il doit faire.

Le code recalcule les schémas à partir des cartes et des statistiques. L’IA rédige ceux qui sont mis en avant et propose une raison possible, signalée comme telle, et chaque chiffre de ces phrases est inséré par le code au moment où la page est lue. Apprentissages fonctionne strictement site par site : rien n’est regroupé entre sites ni entre clients.