Experimentación
Test simultáneos sin dividir el tráfico
Cada visitante elegible entra en cada experimento elegible. Correr diez test no le cuesta nueve décimas partes de su muestra.
La razón habitual para correr un solo test a la vez es la creencia de que la simultaneidad divide la muestra. En Pertento no lo hace. Cada experimento aleatoriza de forma independiente, así que un visitante elegible entra en cada experimento para el que califica, y cada experimento recibe la audiencia elegible completa y no una parte de ella.
Bajo aleatorización independiente, el contraste propio de cada experimento sigue sin sesgo con cuantos otros estén activos, porque los demás experimentos se reparten de forma equilibrada entre sus brazos por construcción. Serializar un roadmap para proteger la estadística sería una gran pérdida de rendimiento sin ninguna ganancia estadística.
Lo que la simultaneidad sí amenaza es más concreto y se gestiona directamente. Dos variantes que editan el mismo elemento producen una combinación de página que nadie revisó. Una redirección mueve tráfico dentro o fuera de la audiencia de otro experimento y rompe la independencia. Ambas las notifica la detección de colisiones, y ambas bloquean la automatización en lugar de dejarse al azar.
Donde dos experimentos de verdad no pueden solaparse, la respuesta es organizarlos en un pipeline. Cada etapa corre a tráfico completo por turno, que es lo contrario de hacerlos mutuamente excluyentes en tiempo de ejecución y dividir la audiencia entre ellos.