Pipelines med experimentetapper

En pipeline är en ordnad följd av etapper, och en etapp är en grupp experiment som körs samtidigt. Det är en sekvens av parallella grupper, inte en allmän graf, eftersom ordning och kombination är exakt vad ett CRO-program behöver kunna uttrycka.

Etapperna är mekanismen för uteslutning, och det är det viktigaste du får av en pipeline. Experiment som skulle kollidera läggs i olika etapper och körs i tur och ordning, var och en med full trafik, i stället för att göras ömsesidigt uteslutande under körning och dela publiken mellan sig.

Varje etapp går vidare enligt en regel du väljer: när alla experiment i den har avslutats (standard, och den enda regeln som inte kan avbryta något i förtid), när det första avgörande resultatet kommer (då stoppas resten) eller när en person säger till.

Två separata reglage styr hur mycket motorn får göra på egen hand, eftersom att automatiskt stoppa fel experiment och att automatiskt rulla ut en förlorare inte är samma sorts misstag. Båda är avstängda som standard, och med automatiseringen avstängd utvärderar motorn ändå pipelinen och loggar vad den skulle ha gjort. Torrkörningen är samma funktion med samma indata, inte en separat kodväg, och är därför en ärlig förhandsvisning.