Testes simultâneos sem dividir tráfego

O motivo usual para um programa rodar um teste por vez é a crença de que concorrência divide a amostra. No Pertento, não divide. Cada experimento sorteia de forma independente, então um visitante elegível entra em todo experimento para o qual se qualifica, e cada experimento recebe a audiência elegível inteira, em vez de uma fatia dela.

Sob sorteio independente, o contraste de cada experimento continua sem viés, não importa quantos outros estejam no ar, porque os demais experimentos ficam balanceados entre os braços dele por construção. Serializar um roadmap para proteger a estatística seria uma grande perda de vazão sem ganho estatístico nenhum.

O que a concorrência de fato ameaça é mais estreito e é tratado diretamente. Duas variantes editando o mesmo elemento produzem uma combinação de página que ninguém revisou. Um redirecionamento move tráfego para dentro ou para fora da audiência de outro experimento e quebra a independência. Os dois casos são reportados pela detecção de colisão, e os dois bloqueiam automação em vez de ficarem por conta do acaso.

Quando dois experimentos realmente não podem se sobrepor, a resposta é organizá-los em estágios de um pipeline. Cada estágio roda com o tráfego inteiro, por vez, o que é o oposto de torná-los mutuamente exclusivos em runtime e dividir a audiência entre eles.