Parallele Tests ohne Traffic-Split

Der übliche Grund, ein Programm einen Test nach dem anderen laufen zu lassen, ist der Glaube, Parallelität teile die Stichprobe. In Pertento tut sie das nicht. Jedes Experiment randomisiert unabhängig, ein infrage kommender Besucher tritt also jedem Experiment bei, für das er qualifiziert, und jedes Experiment bekommt das volle infrage kommende Publikum statt eines Ausschnitts davon.

Unter unabhängiger Randomisierung bleibt der Vergleich jedes Experiments unverzerrt, egal wie viele andere laufen, denn die anderen Experimente sind konstruktionsbedingt gleichmäßig über seine Arme verteilt. Eine Roadmap zu serialisieren, um die Statistik zu schützen, wäre ein großer Durchsatzverlust ohne statistischen Gewinn.

Was Parallelität wirklich bedroht, ist enger gefasst und wird direkt behandelt. Zwei Varianten, die dasselbe Element bearbeiten, erzeugen eine Seitenkombination, die niemand geprüft hat. Eine Weiterleitung bewegt Traffic in das Publikum eines anderen Experiments hinein oder heraus und bricht die Unabhängigkeit. Beides meldet die Kollisionserkennung, und beides blockiert die Automatisierung, statt es dem Zufall zu überlassen.

Wo zwei Experimente sich wirklich nicht überschneiden dürfen, ist die Antwort, sie in einer Pipeline zu staffeln. Jede Stufe läuft der Reihe nach mit vollem Traffic, das Gegenteil davon, sie zur Laufzeit gegenseitig auszuschließen und das Publikum zwischen ihnen aufzuteilen.