Samtidige tester uten å splitte trafikken

Den vanlige grunnen til at et program kjører én test om gangen, er troen på at samtidighet splitter utvalget. I Pertento gjør det ikke det. Hvert eksperiment randomiserer uavhengig, så en kvalifisert besøkende går inn i hvert eksperiment de kvalifiserer for, og hvert eksperiment får hele det kvalifiserte publikummet i stedet for en flik av det.

Under uavhengig randomisering forblir hvert eksperiments egen sammenligning uforstyrret uansett hvor mange andre som kjører, fordi de andre eksperimentene balanseres på tvers av dets armer av konstruksjon. Å serialisere et veikart for å beskytte statistikken ville vært et stort tap i gjennomstrømning uten noen statistisk gevinst.

Det samtidighet faktisk truer, er smalere og håndteres direkte. To varianter som redigerer det samme elementet gir en sidekombinasjon ingen har gjennomgått. En omdirigering flytter trafikk inn i eller ut av et annet eksperiments publikum og bryter uavhengigheten. Begge rapporteres av kollisjonsdeteksjon, og begge blokkerer automatisering i stedet for å overlates til tilfeldighetene.

Der to eksperimenter genuint ikke må overlappe, er svaret å iscenesette dem i en pipeline. Hvert trinn kjører ved full trafikk etter tur, som er det motsatte av å gjøre dem gjensidig utelukkende ved kjøretid og splitte publikummet mellom dem.