Informe de combinaciones

Correr experimentos en paralelo no cuesta nada en tamaño de muestra, porque cada uno aleatoriza de forma independiente. Lo que sí puede costar es la aditividad: dos cambios que funcionan bien por separado pueden no combinarse como cabría suponer. El informe de combinaciones es la comprobación para eso.

Elija dos o más experimentos del mismo sitio web y el informe mide si sus efectos interactúan, y si el valor del pedido difiere entre las combinaciones en las que fueron cayendo los visitantes. Se calcula solo a partir de los recuentos de conversiones mediante una razón de momios, y el álgebra funciona porque los términos de asignación se cancelan exactamente bajo aleatorización independiente.

Es preciso sobre lo que no responde. Sin un denominador de exposición no puede decirle qué combinación convierte mejor; puede decirle si los dos cambios interactúan, que es la pregunta que decide si cada resultado se replicará por su cuenta.

Esta es la pregunta estadística acotada. La más amplia y operativa, si dos experimentos se están corrompiendo mutuamente en lugar de solo combinarse, es lo que cubren la detección de colisiones y la detección de interferencias, que se levantan solas sin que nadie las pida.