Rinnakkaiset testit ilman liikenteen jakoa

Tavallinen syy sille, että ohjelma ajaa yhtä testiä kerrallaan, on uskomus, että rinnakkaisuus jakaa otoksen. Pertentossa se ei jaa. Jokainen testi satunnaistetaan itsenäisesti, joten kelpoinen kävijä osallistuu jokaiseen testiin, johon hän kelpaa, ja jokainen testi saa koko kelpoisen yleisön eikä vain siivua siitä.

Itsenäisessä satunnaistuksessa kunkin testin oma vertailu pysyy harhattomana riippumatta siitä, kuinka moni muu testi on käynnissä, koska muut testit jakautuvat rakenteellisesti tasan sen haarojen kesken. Testien ajaminen peräkkäin tilastojen suojelemiseksi hidastaisi tahtia merkittävästi ilman mitään tilastollista hyötyä.

Rinnakkaisuuden todellinen uhka on kapeampi, ja se käsitellään suoraan. Kaksi samaa elementtiä muokkaavaa varianttia tuottavat sivuyhdistelmän, jota kukaan ei katselmoinut. Uudelleenohjaus siirtää liikennettä toisen testin yleisöön tai pois siitä ja rikkoo riippumattomuuden. Törmäystarkistus raportoi kummankin, ja kumpikin estää automaation sen sijaan, että asia jätettäisiin sattuman varaan.

Kun kahden testin ei aidosti pidä olla käynnissä samaan aikaan, ratkaisu on sijoittaa ne putken eri vaiheisiin. Kukin vaihe ajetaan vuorollaan täydellä liikenteellä. Se on päinvastainen tapa kuin tehdä testeistä toisensa poissulkevia ajon aikana ja jakaa yleisö niiden kesken.