Pipelines de experimentos em estágios

Um pipeline é uma sequência ordenada de estágios, e um estágio é um conjunto de experimentos que roda ao mesmo tempo. É uma sequência de grupos paralelos, e não um grafo geral, porque ordem e combinação é exatamente o que um programa de CRO precisa expressar.

Os estágios são o mecanismo de exclusão, e isso é a principal coisa que montar um pipeline compra para você. Experimentos que colidiriam entram em estágios diferentes, e cada um roda com tráfego total, por vez, em vez de serem tornados mutuamente exclusivos em runtime e dividirem a audiência entre eles.

Cada estágio avança por uma regra que você escolhe: quando todo experimento nele foi concluído, que é o padrão e o único que não pode cortar nada pela metade; quando o primeiro resultado conclusivo chega, o que interrompe o resto; ou quando uma pessoa decide.

Dois controles separados governam quanto o motor pode fazer por conta própria, porque parar automaticamente o experimento errado e implantar automaticamente um perdedor não são erros comparáveis. Os dois vêm desligados por padrão, e com a automação desligada o motor ainda avalia o quadro e registra o que teria feito. Essa simulação é a mesma função com as mesmas entradas, e não um segundo caminho de código, o que é o que a torna uma prévia honesta.