Souběžné testy bez dělení provozu

Obvyklý důvod, proč program běží jen jeden test najednou, je přesvědčení, že souběžnost dělí vzorek. V Pertentu to tak není. Každý experiment randomizuje nezávisle, takže způsobilý návštěvník vstupuje do každého experimentu, na který má nárok, a každý experiment dostane celé způsobilé publikum, a ne jeho část.

Při nezávislé randomizaci zůstává vlastní kontrast každého experimentu nezkreslený bez ohledu na to, kolik dalších zrovna běží, protože ostatní experimenty jsou konstrukcí vyvážené napříč jeho variantami. Serializovat plán, aby se ochránila statistika, by byla velká ztráta propustnosti bez jakéhokoli statistického přínosu.

Co souběžnost skutečně ohrožuje, je užší a řeší se přímo. Dvě varianty upravující stejný prvek vyprodukují kombinaci stránky, kterou nikdo nezkontroloval. Přesměrování přesune provoz do publika jiného experimentu nebo z něj, a naruší tak nezávislost. Obojí hlásí detekce kolizí a obojí blokuje automatizaci, místo aby se to nechalo na náhodě.

Tam, kde se dva experimenty opravdu nesmí překrývat, je odpovědí seřadit je do pipeline. Každá fáze běží postupně na plný provoz, což je pravý opak toho, udělat je za běhu vzájemně vylučující a rozdělit mezi ně publikum.