Expérimentation

Rendu anti-scintillement

Personne ne voit la page d’origine se transformer en test. Et aucune défaillance n’a le droit de laisser la page masquée.

Aucun sursaut de l’originalQuatre sécuritésErreurs rapportées, pas levées

Quand une variante modifie quelque chose au-dessus de la ligne de flottaison, le visiteur ne doit pas voir l’original en premier. Le runtime masque la page pendant l’application des modifications et la révèle immédiatement après, si bien que la première chose rendue est la version testée.

L’ingénierie intéressante se trouve dans la seconde moitié. Masquer la page d’un client est la chose la plus dangereuse que fait ce logiciel, si bien que la révélation est appelée depuis quatre chemins de code indépendants : après l’application des modifications, depuis le gestionnaire d’erreurs interne, depuis le gestionnaire d’erreurs externe, et dans le runtime servi aux sites sans aucun test en cours.

Cette redondance est délibérée et traitée comme un invariant plutôt que comme une duplication à ranger en un seul endroit. Si un chemin échoue, un autre tourne encore. La défaillance contre laquelle tout cela se défend, c’est le site d’un client restant blanc devant ses propres visiteurs.

Les erreurs dans le code d’un test sont capturées et rapportées après coup plutôt que levées, pour la même raison : une variante cassée doit vous coûter le test, jamais la page.

De meilleurs tests, de meilleures conversions

Test on all visitors with the world’s lightest script and make confident decisions powered by real-time reporting.