Expérimentation
Affectation persistante des variantes
Un visiteur qui a vu la variante B continue de voir la variante B. Tout le reste est une expérience cassée et une mesure corrompue.
L’affectation a lieu une seule fois. La variante attribuée à un visiteur est enregistrée dans son navigateur, indexée par test, et réutilisée sur chaque page et chaque visite ultérieures depuis ce navigateur.
La persistance est une exigence de justesse avant d’être une politesse. Un visiteur re-randomisé à chaque vue de page voit une page qui change sous lui, et fournit des preuves aux deux branches à la fois, ce qui rend la comparaison dénuée de sens.
L’enregistrement est conservé dans le stockage du navigateur plutôt que dans un cookie. Cela tient la plateforme à l’écart du consentement aux cookies tout en donnant à chaque visiteur une expérience stable, et c’est pourquoi le tracker ne pose rien.
Le stockage est nettoyé au fur et à mesure que les tests se terminent, si bien qu’un visiteur fidèle n’accumule pas des affectations pour des tests terminés depuis un an. Les affectations faites par une version plus ancienne du runtime sont migrées vers l’avant plutôt qu’abandonnées, si bien que les visiteurs qui reviennent conservent la variante qu’ils voyaient déjà.