Samtidiga test utan att dela trafik

Det vanliga skälet till att ett program kör ett test i taget är en föreställning om att samtidighet delar urvalet. I Pertento gör den inte det. Varje experiment randomiserar oberoende, så en behörig besökare går in i varje experiment de kvalificerar sig för, och varje experiment får hela den behöriga publiken snarare än en bit av den.

Under oberoende randomisering förblir varje experiments egen jämförelse opartisk oavsett hur många andra som är live, eftersom de andra experimenten är balanserade över dess armar av konstruktion. Att serialisera en färdplan för att skydda statistiken vore en stor förlust i genomströmning utan någon statistisk vinst.

Det samtidighet faktiskt hotar är smalare och hanteras direkt. Två varianter som redigerar samma element ger en sidkombination ingen har granskat. En omdirigering flyttar trafik in i eller ut ur ett annat experiments publik och bryter oberoendet. Båda rapporteras av kollisionsdetekteringen, och båda blockerar automatisering i stället för att lämnas åt slumpen.

Där två experiment verkligen inte får överlappa är svaret att lägga dem i etapper i en pipeline. Varje etapp körs vid full trafik i tur och ordning, vilket är motsatsen till att göra dem ömsesidigt uteslutande vid körning och dela publiken mellan dem.