Experimenten
Automatisch herbalanceren
De gerealiseerde verdeling wordt volgens een schema gemeten en gecorrigeerd, zodat het verkeer dat elke variant werkelijk krijgt convergeert naar wat u vroeg.
Gerandomiseerde toewijzing levert geen perfect gelijke verdeling op, en kleine afwijkingen stapelen zich op. Herbalanceren meet wat elke variant werkelijk kreeg en duwt de ingestelde gewichten de andere kant op, zodat de cumulatieve verdeling convergeert naar wat u instelde in plaats van ervan weg te drijven.
De taak draait elke vijftien minuten tegen lopende experimenten. Ze leest sessieaantallen per variant, berekent een correctie, schrijft de nieuwe gewichten en past het gegenereerde runtimebestand ter plekke aan in plaats van het opnieuw te bouwen, want een herbalancering verandert maar een paar getallen.
Twee vangrails houden het onschadelijk. Onder een minimumaantal sessies wordt niets bijgesteld, want bij een laag volume is de afwijking die wordt gecorrigeerd gewoon ruis. Een experiment met een uitgerolde variant wordt helemaal overgeslagen: een uitrol betekent dat het experiment is afgesloten en de verdeling ervan geen meetvraag meer is.
Alles wat het doet, wordt per experiment gelogd, zodat een verdeling die verrassend oogt herleid kan worden naar de correcties die haar hebben voortgebracht.