Samtidige test uden at dele trafikken

Den sædvanlige grund til, at et program kører én test ad gangen, er en tro på, at samtidighed deler stikprøven. I Pertento gør den ikke. Hvert eksperiment randomiserer uafhængigt, så en kvalificeret besøgende kommer med i hvert eksperiment, de kvalificerer til, og hvert eksperiment får hele det kvalificerede publikum frem for en stump af det.

Under uafhængig randomisering holder hvert eksperiments egen sammenligning sig uskæv, uanset hvor mange andre der er live, fordi de øvrige eksperimenter er fordelt ligeligt over dets grene af konstruktion. At sætte en roadmap i rækkefølge for at beskytte statistikken ville være et stort tab af tempo uden statistisk gevinst.

Hvad samtidighed reelt truer, er mere snævert og håndteres direkte. To varianter, der redigerer samme element, giver en sidekombination, ingen har gennemgået. En omdirigering flytter trafik ind i eller ud af et andet eksperiments publikum og bryder uafhængigheden. Begge rapporteres af kollisionsopdagelsen, og begge blokerer automatisering frem for at blive overladt til tilfældet.

Hvor to eksperimenter reelt ikke må overlappe, er svaret at sætte dem i trin i en pipeline. Hvert trin kører på fuld trafik efter tur, hvilket er det modsatte af at gøre dem gensidigt udelukkende i runtime og dele publikummet mellem dem.