Automatické vyvažování vah

Náhodné přiřazení nedává dokonale rovnoměrné rozdělení a malé odchylky se hromadí. Vyvažování měří, co každá varianta skutečně dostala, a tlačí nastavené váhy opačným směrem, takže kumulativní rozdělení konverguje k tomu, které jste nastavili, místo aby se od něj vzdalovalo.

Úloha běží každých patnáct minut nad běžícími experimenty. Čte počty sessions podle varianty, spočítá korekci, zapíše nové váhy a opraví vygenerovaný runtime soubor přímo na místě, místo aby jej znovu sestavovala celý, protože vyvážení mění jen pár čísel.

Dvě pojistky brání tomu, aby napáchalo škodu. Pod minimálním počtem sessions se neupravuje nic, protože při nízkém objemu je odchylka, kterou by se korigovalo, jen šum. Experiment s nasazenou variantou se přeskočí úplně: nasazení znamená, že byl experiment uzavřen a jeho rozdělení už není otázkou měření.

Všechno, co dělá, se loguje po experimentech, takže rozdělení, které vypadá překvapivě, lze vystopovat až k tikům, které jej vyprodukovaly.