Experimentação
Testes concorrentes sem dividir o tráfego
Todo o visitante elegível entra em todo o teste elegível. Correr dez testes não lhe custa nove décimos da sua amostra.
A razão habitual para um programa correr um teste de cada vez é a crença de que a concorrência divide a amostra. No Pertento não divide. Cada teste distribui de forma independente, pelo que um visitante elegível entra em todos os testes para que se qualifica, e cada teste recebe a audiência elegível completa em vez de uma fatia dela.
Sob distribuição independente, o contraste próprio de cada teste permanece isento, sejam quantos forem os outros a correr, porque os outros testes ficam equilibrados entre os seus braços por construção. Serializar um roteiro para proteger a estatística seria uma grande perda de rendimento sem qualquer ganho estatístico.
O que a concorrência ameaça de facto é mais estreito e é tratado directamente. Duas variantes a editar o mesmo elemento produzem uma combinação de página que ninguém reviu. Um redireccionamento move tráfego para dentro ou para fora da audiência de outro teste e quebra a independência. Ambos são reportados pela detecção de colisões, e ambos bloqueiam a automatização em vez de serem deixados ao acaso.
Onde dois testes genuinamente não podem sobrepor-se, a resposta é encená-los numa pipeline. Cada etapa corre a tráfego completo, por sua vez, o que é o oposto de os tornar mutuamente exclusivos em tempo de execução, dividindo a audiência entre eles.