Samtidiga test utan delad trafik

Det vanligaste skälet till att ett testprogram bara kör ett test i taget är tron att samtidiga test delar upp urvalet. I Pertento gör de inte det. Varje experiment randomiserar oberoende av de andra, så en besökare tas in i alla experiment som är aktuella för besökaren, och varje experiment får hela den berörda publiken, inte en bit av den.

Med oberoende randomisering förblir varje experiments egen jämförelse opartisk oavsett hur många andra som körs, eftersom de andra experimenten av konstruktion fördelas jämnt över dess varianter. Att köra roadmapen i tur och ordning för att skydda statistiken ger en stor förlust i testtakt utan att statistiken vinner något på det.

Det som samtidighet riskerar är smalare och hanteras direkt. Två varianter som redigerar samma element ger en sidkombination som ingen har granskat. En omdirigering flyttar trafik in i eller ut ur ett annat experiments publik och bryter oberoendet. Kollisionsdetekteringen fångar båda, och båda blockerar automatisering i stället för att lämnas åt slumpen.

Får två experiment inte överlappa är lösningen att lägga dem i olika etapper i en pipeline. Varje etapp körs i tur och ordning med full trafik, raka motsatsen till att göra experimenten ömsesidigt uteslutande under körning och dela publiken mellan dem.