Pipelines med etapper av experiment

En pipeline är en ordnad följd av etapper, och en etapp är en uppsättning experiment som körs samtidigt. Det är en sekvens av parallella grupper snarare än en generell graf, för ordning och kombination är exakt vad ett CRO-program behöver uttrycka.

Etapperna är uteslutningsmekanismen, och det är det huvudsakliga ni köper genom att bygga en. Experiment som skulle kollidera hamnar i olika etapper och var och en körs vid full trafik i tur och ordning, i stället för att göras ömsesidigt uteslutande vid körning och dela publiken mellan dem.

Varje etapp går vidare enligt en regel ni väljer: när varje experiment i den har avslutats, vilket är standardvalet och det enda som inte kan avbryta något i förtid; när det första avgörande resultatet kommer, vilket stoppar resten; eller när en person säger till.

Två separata brytare styr hur mycket motorn får göra på egen hand, för att automatiskt stoppa fel experiment och att automatiskt driftsätta en förlorare inte är jämförbara misstag. Båda är avstängda som standard, och med automatisering avstängd utvärderar motorn ändå brädet och loggar vad den skulle ha gjort. Den torrkörningen är samma funktion med samma indata snarare än en andra kodväg, vilket är det som gör den till en ärlig förhandsvisning.