Test concorrenti senza dividere il traffico

Il motivo abituale per cui un programma esegue un test alla volta è la convinzione che la concorrenza divida il campione. In Pertento non lo fa. Ogni test randomizza in modo indipendente, quindi un visitatore ammissibile entra in ogni test per cui si qualifica, e ogni test riceve tutto il pubblico ammissibile anziché una fetta.

Con randomizzazione indipendente, il confronto proprio di ogni test resta non distorto per quanti altri siano attivi, perché gli altri test sono per costruzione bilanciati fra i suoi bracci. Serializzare una roadmap per proteggere la statistica sarebbe una grande perdita di ritmo senza alcun guadagno statistico.

Ciò che la concorrenza minaccia davvero è più circoscritto e viene affrontato in modo diretto. Due varianti che modificano lo stesso elemento producono una combinazione di pagina che nessuno ha rivisto. Un redirect sposta traffico dentro o fuori dal pubblico di un altro test e rompe l’indipendenza. Entrambi sono segnalati dal rilevamento delle collisioni, ed entrambi bloccano l’automazione anziché essere lasciati al caso.

Dove due test davvero non devono sovrapporsi, la risposta è metterli in fasi dentro una pipeline. Ogni fase gira a turno con tutto il traffico, che è l’opposto di renderli mutuamente esclusivi a runtime dividendo il pubblico fra loro.