Automatisk viktombalansering

Slumpmässig tilldelning ger inte en perfekt jämn delning, och små avvikelser ackumuleras. Ombalanseringen mäter vad varje variant faktiskt fick och trycker de konfigurerade vikterna åt andra hållet, så den kumulativa delningen konvergerar mot den ni konfigurerade i stället för att glida ifrån den.

Jobbet körs var femtonde minut mot pågående experiment. Det läser sessionsantal per variant, beräknar en korrigering, skriver de nya vikterna, och patchar den genererade körtidsfilen på plats i stället för att bygga om den, för en ombalansering ändrar bara några heltal.

Två skydd hindrar den från att göra skada. Under ett minsta sessionsantal justeras ingenting, eftersom avvikelsen som korrigeras vid låg volym bara är brus. Ett experiment med en driftsatt variant hoppas över helt: en driftsättning betyder att experimentet har avslutats och dess delning inte längre är en mätfråga.

Allt den gör loggas per experiment, så en delning som ser överraskande ut kan spåras till de tick som producerade den.