Observations
Garde-fou comportemental
Une surveillance de chaque test en cours, qui avertit quand une variante dégrade le site pour les visiteurs.
Le garde-fou comportemental compare les variantes de chaque test en cours avec le contrôle, et avertit quand l’une d’elles montre plus d’erreurs, plus de clics morts ou de clics de rage, ou des pages plus lentes que le contrôle.
Il vérifie toutes les heures, et une variante manifestement défaillante est généralement signalée en un jour environ.
Il est conçu pour éviter les fausses alertes : dans des simulations de tests sans effet réel, les faux avertissements sont restés sous 0,2 %.
Il avertit, et n’arrête ni ne modifie jamais un test de lui-même. Les avertissements arrivent par défaut dans Slack et dans l’application, et l’e-mail est une option.