Automatisk genafbalancering af vægte

Tilfældig tildeling giver ikke en fuldkommen lige fordeling, og små afvigelser lægger sig oveni hinanden. Genafbalancering måler, hvad hver variant faktisk fik, og skubber de konfigurerede vægte den anden vej, så den samlede fordeling nærmer sig den, I konfigurerede, frem for at glide fra den.

Jobbet kører hvert femtende minut mod kørende eksperimenter. Det læser antal sessioner pr. variant, beregner en korrektion, skriver de nye vægte og retter den genererede runtime-fil på stedet frem for at bygge den om, fordi en genafbalancering kun ændrer nogle få heltal.

To værn holder den fra at gøre skade. Under et mindste antal sessioner justeres intet, da afvigelsen ved lav volumen blot er støj. Et eksperiment med en udrullet variant springes helt over: en udrulning betyder, at eksperimentet er afsluttet, og at fordelingen ikke længere er et målespørgsmål.

Alt, den gør, logges pr. eksperiment, så en fordeling, der ser overraskende ud, kan spores til de kørsler, der frembragte den.