Pipelines de experimentos por etapas

Un pipeline es una serie ordenada de etapas, y una etapa es un grupo de experimentos que corren al mismo tiempo. Es una secuencia de grupos en paralelo y no un grafo general, porque orden y combinación es exactamente lo que necesita expresar un programa de CRO.

Las etapas son el mecanismo de exclusión, y eso es lo principal que compra construir una. Los experimentos que chocarían entre sí van a etapas distintas y cada uno corre a tráfico completo a su turno, en lugar de hacerse mutuamente excluyentes en tiempo de ejecución y dividir la audiencia entre ellos.

Cada etapa avanza según una regla que usted elige: cuando todos los experimentos de la etapa han concluido, que es la opción por defecto y la única que no puede acortar nada; cuando llega el primer resultado concluyente, que detiene el resto; o cuando una persona lo decide.

Dos interruptores separados gobiernan cuánto puede hacer el motor por su cuenta, porque detener el experimento equivocado por su cuenta y desplegar un perdedor por su cuenta no son errores comparables. Los dos vienen desactivados por defecto, y con la automatización apagada el motor sigue evaluando el tablero y registrando lo que habría hecho. Ese ensayo en seco es la misma función con las mismas entradas y no una segunda ruta de código, que es lo que lo hace una vista previa honesta.