Automatisk rebalansering av vekter

Tilfeldig tildeling gir aldri en helt jevn fordeling, og små avvik hoper seg opp. Rebalanseringen måler hva hver variant faktisk fikk og skyver vektene motsatt vei. Da holder den samlede fordelingen seg nær den du satte opp, og driver ikke bort.

Jobben kjører hvert kvarter mot eksperimenter som pågår. Den henter antall sesjoner per variant, regner ut en korreksjon og skriver de nye vektene. Den ferdige runtime-filen oppdateres på stedet uten ny bygging, for en rebalansering endrer bare noen få tall.

To sikringer hindrer at den gjør skade. Under et minste antall sesjoner justeres ingenting, for ved lavt volum er avviket bare støy. Eksperimenter med en utrullet variant hoppes helt over: utrulling betyr at eksperimentet er avsluttet, og da er ikke fordelingen lenger noe å måle.

Alt den gjør, logges per eksperiment. Ser en fordeling overraskende ut, kan du følge den tilbake til kjøringene som ga den.