Samtidige tester uten å dele trafikken

Den vanligste grunnen til at et testprogram bare kjører én test om gangen, er troen på at samtidige tester deler utvalget. I Pertento gjør de ikke det. Hvert eksperiment randomiserer uavhengig, så en kvalifisert besøkende kommer med i alle eksperimenter de kvalifiserer for, og hvert eksperiment får hele det kvalifiserte publikummet, ikke bare en del.

Med uavhengig randomisering påvirkes ikke sammenligningen i et eksperiment av hvor mange andre som kjører, for de andre eksperimentene fordeler seg jevnt over armene fra start. Å sette testene i kø for å beskytte statistikken ville gitt mye lavere testtempo uten statistisk gevinst.

Det samtidighet faktisk kan ødelegge, er mer avgrenset, og det håndteres direkte. To varianter som endrer samme element, gir en sidekombinasjon ingen har sett. En omdirigering flytter trafikk inn i eller ut av publikummet til et annet eksperiment og bryter uavhengigheten. Kollisjonsdeteksjonen fanger opp begge, og begge stopper automatiseringen, så ingenting overlates til tilfeldighetene.

Må to eksperimenter virkelig ikke overlappe, setter du dem opp i en pipeline. Da kjører hvert trinn på full trafikk etter tur. Det er det motsatte av å gjøre dem gjensidig utelukkende i runtime og dele publikummet mellom dem.