Svar kopplade till variant

När en besökare svarar sparas svaret tillsammans med vilken variant besökaren fick i varje experiment som besökaren ingick i just då, inte bara i det experiment du råkar vara intresserad av senare.

Det spelar roll, eftersom frågan du vill ställa oftast bestäms först när svaren har kommit in. När hela bilden sparas kan du dela upp svaren efter vilket experiment som helst som pågick vid tillfället, inte bara efter ett som valts i förväg, och det är precis vad resultatsidan gör: alla enkäter kan jämföras efter alla experiment som besökarna ingick i.

Det tar också bort en hel kategori av fel. Att i efterhand rekonstruera vilken variant någon såg betyder att koppla ett svar till en tilldelning över tid, och tilldelningar kan ändras när vikter justeras eller ett experiment rullas ut. När uppgiften registreras vid svaret blir kopplingen exakt.

Visningar sparas med samma uppgifter, och därför kan svarsfrekvensen per variant mätas och inte bara uppskattas. Att få en enkät visad och att svara på den är olika händelser, och båda måste kunna kopplas till en variant för att frekvensen mellan dem ska betyda något.