Experimente
Automatischer Gewichtsausgleich
Die tatsächliche Traffic-Verteilung wird regelmäßig gemessen und korrigiert. So nähert sich der Anteil jeder Variante der von Ihnen festgelegten Verteilung an.
Randomisierte Zuordnung erzeugt keine perfekt gleichmäßige Aufteilung, und kleine Abweichungen summieren sich. Der Ausgleich misst, was jede Variante tatsächlich erhalten hat, und schiebt die konfigurierten Gewichte in die andere Richtung, sodass die kumulierte Aufteilung sich der konfigurierten annähert, statt von ihr wegzudriften.
Der Job läuft alle fünfzehn Minuten für alle laufenden Experimente. Er liest die Session-Zahlen je Variante, berechnet eine Korrektur, schreibt die neuen Gewichte und patcht die generierte Laufzeitdatei an Ort und Stelle, statt sie neu zu bauen, denn ein Ausgleich ändert nur ein paar Ganzzahlen.
Zwei Absicherungen halten ihn davon ab, Schaden anzurichten. Unterhalb einer Mindestzahl an Sessions wird nichts angepasst, denn bei geringem Volumen ist die zu korrigierende Abweichung nur Rauschen. Ein Experiment mit einer ausgerollten Variante wird ganz übersprungen: Ein Rollout heißt, das Experiment ist abgeschlossen, und seine Aufteilung ist keine Messfrage mehr.
Alles, was er tut, wird je Experiment protokolliert, sodass sich eine überraschend wirkende Aufteilung auf die Läufe zurückführen lässt, die sie erzeugt haben.