Experimente
Automatischer Gewichtsausgleich
Die tatsächliche Aufteilung wird planmäßig gemessen und korrigiert, sodass der Traffic, den jede Variante wirklich erhält, sich dem annähert, was Sie verlangt haben.
Randomisierte Zuordnung erzeugt keine perfekt gleichmäßige Aufteilung, und kleine Abweichungen summieren sich. Der Ausgleich misst, was jede Variante tatsächlich erhalten hat, und schiebt die konfigurierten Gewichte in die andere Richtung, sodass die kumulierte Aufteilung sich der konfigurierten annähert, statt von ihr wegzudriften.
Der Job läuft alle fünfzehn Minuten gegen laufende Experimente. Er liest die Session-Zahlen je Variante, berechnet eine Korrektur, schreibt die neuen Gewichte und patcht die generierte Laufzeitdatei an Ort und Stelle, statt sie neu zu bauen, denn ein Ausgleich ändert nur ein paar Ganzzahlen.
Zwei Absicherungen halten ihn davon ab, Schaden anzurichten. Unterhalb einer Mindestzahl an Sessions wird nichts angepasst, denn bei geringem Volumen ist die zu korrigierende Abweichung nur Rauschen. Ein Experiment mit einer ausgerollten Variante wird ganz übersprungen: Eine Ausrollung heißt, das Experiment ist abgeschlossen, und seine Aufteilung ist keine Messfrage mehr.
Alles, was er tut, wird je Experiment protokolliert, sodass sich eine überraschend wirkende Aufteilung auf die Läufe zurückführen lässt, die sie erzeugt haben.