Experiment
Automatisk ombalansering av vikter
Den faktiska fördelningen mäts och justeras enligt schema, så att varje variants verkliga trafik närmar sig det du ställde in.
Slumpmässig tilldelning ger aldrig en helt jämn fördelning, och små avvikelser ackumuleras. Ombalanseringen mäter vad varje variant fick och justerar vikterna åt motsatt håll, så att den sammanlagda fördelningen närmar sig den du har ställt in i stället för att driva ifrån den.
Jobbet körs var femtonde minut mot pågående experiment. Det läser antalet sessioner per variant, räknar fram en korrigering, skriver de nya vikterna och patchar den genererade runtime-filen på plats. Den byggs inte om, eftersom en ombalansering bara ändrar några heltal.
Två skydd hindrar ombalanseringen från att göra skada. Under ett minsta antal sessioner justeras ingenting, eftersom avvikelser vid låg volym bara är brus. Ett experiment med en utrullad variant hoppas över helt: utrullningen betyder att experimentet är avslutat, och då är fördelningen inte längre en mätfråga.
Allt som sker loggas per experiment, så en fördelning som ser överraskande ut går att spåra till de körningar som gav den.