Bilan de test

Le résultat d’un test s’oublie quand la personne qui l’a mené passe à autre chose. Le bilan referme cette boucle. Quand vous terminez un test, Pertento propose un court questionnaire qui montre le résultat et l’hypothèse, puis demande ce que vous attendiez, pourquoi vous pensez que cela s’est produit et ce que vous faites ensuite. Chaque question est facultative, et terminer un test n’attend jamais le bilan.

Pertento rédige ce qu’il peut voir, et vous confirmez ou corrigez. Il compare une semaine complète de trafic du site à la première semaine, pour les appareils ciblés par le test, et signale un décalage de 15 % ou plus sur les tests qui ont duré 14 jours ou plus. Il note aussi les failles de suivi : des jours sans visiteur enregistré, ou une répartition des visiteurs qui s’est écartée des poids prévus. Votre réponse décide des facteurs extérieurs que le bilan consigne.

Ensuite, le test dispose d’un onglet “Debrief”, une seule carte ouverte par la leçon. Les faits issus de vos statistiques figurent d’un côté (gain, confiance, visiteurs et jours de test) et les réponses de votre équipe de l’autre. Le titre est écrit à partir des statistiques, jamais saisi, si bien qu’il ne peut pas exagérer un résultat. Une variante qui paraît bonne seule mais n’atteint pas le seuil plus strict exigé quand plusieurs variantes sont comparées est décrite comme pas assez nette pour trancher, plutôt que comme une victoire ou un résultat neutre.

L’onglet est présent sur tout test terminé ou dont un gagnant a été déployé. Toute personne ayant accès au test peut le remplir ou le modifier à tout moment, et la carte indique qui l’a écrit en dernier et quand, si bien qu’un nouveau collègue trouve la leçon là où vit le test.