Gelijktijdige tests zonder verkeer te splitsen

De gebruikelijke reden om één test tegelijk te draaien, is de overtuiging dat gelijktijdigheid de steekproef opsplitst. In Pertento is dat niet zo. Elk experiment randomiseert onafhankelijk, dus een in aanmerking komende bezoeker gaat elk experiment in waarvoor hij kwalificeert, en elk experiment krijgt het volledige in aanmerking komende publiek in plaats van een deel ervan.

Onder onafhankelijke randomisatie blijft het eigen contrast van elk experiment onvertekend, hoeveel andere er ook lopen, omdat de andere experimenten door constructie gebalanceerd zijn over zijn armen. Een roadmap serialiseren om de statistiek te beschermen zou een groot verlies aan doorvoer zijn voor geen enkele statistische winst.

Wat gelijktijdigheid wél bedreigt, is smaller en wordt direct aangepakt. Twee varianten die hetzelfde element bewerken, leveren een paginacombinatie op die niemand heeft beoordeeld. Een redirect verplaatst verkeer in of uit het publiek van een ander experiment en breekt de onafhankelijkheid. Beide worden gemeld door botsingsdetectie, en beide blokkeren automatisering in plaats van aan het toeval te worden overgelaten.

Waar twee experimenten echt niet mogen overlappen, is het antwoord ze in een pipeline in fasen te zetten. Elke fase draait op zijn beurt op volledig verkeer, het tegenovergestelde van ze tijdens het draaien onderling uitsluitend te maken en het publiek ertussen te splitsen.