Experimenten
Vaste varianttoewijzing
Een bezoeker die variant B zag, blijft variant B zien. Iets anders is een kapotte ervaring en een verstoorde meting.
Toewijzing gebeurt eenmalig. De variant die een bezoeker krijgt, wordt vastgelegd in zijn browser, gekoppeld aan het experiment, en hergebruikt op elke latere pagina en elk later bezoek vanuit die browser.
Vastheid is eerst een eis van correctheid en pas daarna een gemak. Een bezoeker die bij elke paginaweergave opnieuw wordt gerandomiseerd, ziet een pagina die onder hem verandert en levert bewijs aan beide armen tegelijk, wat de vergelijking betekenisloos maakt.
Het record wordt bewaard in browseropslag in plaats van in een cookie. Dat houdt het platform buiten de cookietoestemming terwijl elke bezoeker toch een stabiele ervaring krijgt, en het is waarom de tracker niets zet.
De opslag wordt opgeschoond zodra experimenten eindigen, zodat een langdurige bezoeker geen toewijzingen opstapelt voor tests die een jaar geleden zijn afgelopen. Toewijzingen gemaakt door een oudere versie van de runtime worden meegenomen in plaats van weggegooid, zodat terugkerende bezoekers de variant houden die ze al zagen.