Automatisk vektrebalansering

Randomisert tildeling gir ikke en perfekt jevn fordeling, og små avvik hoper seg opp. Rebalansering måler hva hver variant faktisk mottok og skyver de konfigurerte vektene motsatt vei, så den kumulative fordelingen konvergerer mot den dere konfigurerte, i stedet for å drive bort fra den.

Jobben kjører hvert kvarter mot eksperimenter som kjører. Den leser antall sesjoner per variant, regner ut en korreksjon, skriver de nye vektene, og oppdaterer den genererte kjøretidsfilen på stedet i stedet for å bygge den på nytt, fordi en rebalansering bare endrer noen få tall.

To sikringer hindrer den fra å gjøre skade. Under et minste antall sesjoner justeres ingenting, siden avviket som korrigeres bare er støy ved lavt volum. Et eksperiment med en utrullet variant hoppes helt over: en utrulling betyr at eksperimentet er avsluttet og fordelingen ikke lenger er et målespørsmål.

Alt den gjør logges per eksperiment, så en fordeling som ser overraskende ut kan spores til tikkene som ga den.