Antwoorden gekoppeld aan variant

Wanneer een bezoeker antwoordt, wordt het antwoord opgeslagen met een registratie van in welke variant hij zat voor elk experiment waarvoor hij op dat moment was ingeschreven. Niet alleen het experiment dat u later toevallig interesseert.

Dat is van belang omdat de vraag die u wilt stellen meestal pas wordt bepaald nadat de antwoorden zijn binnengekomen. Het hele beeld opslaan betekent dat u antwoorden achteraf kunt splitsen naar elk gelijktijdig lopend experiment, in plaats van slechts naar één dat vooraf werd aangewezen.

Het verwijdert ook een hele klasse fouten. Achteraf reconstrueren welke variant iemand zag, betekent een antwoord door de tijd heen koppelen aan een toewijzing, en toewijzingen kunnen veranderen wanneer gewichten worden bewerkt of een experiment wordt uitgerold. Het op het moment van antwoorden vastleggen maakt de toewijzing exact.

Vertoningen dragen dezelfde registratie, wat het mogelijk maakt een responspercentage per variant te meten in plaats van te schatten. Getoond krijgen en antwoorden zijn verschillende events, en beide moeten toewijsbaar zijn wil het percentage ertussen iets betekenen.