Pipelines de testes em etapas

Uma pipeline é uma sequência ordenada de etapas, e uma etapa é um conjunto de testes que correm ao mesmo tempo. É uma sequência de grupos paralelos em vez de um grafo geral, porque ordem e combinação é exactamente o que um programa de CRO precisa de exprimir.

As etapas são o mecanismo de exclusão, e essa é a principal vantagem que construir uma pipeline lhe dá. Testes que colidiriam entre si vão para etapas diferentes, e cada uma corre a tráfego completo por sua vez, em vez de se tornarem mutuamente exclusivos em tempo de execução e dividirem a audiência entre eles.

Cada etapa avança por uma regra que escolhe: quando todos os testes nela terminaram, que é a predefinição e a única que não pode cortar nada antes do tempo; quando chega o primeiro resultado conclusivo, o que pára o resto; ou quando uma pessoa assim o decide.

Dois interruptores separados controlam quanto o motor pode fazer por conta própria, porque parar automaticamente o teste errado e implementar automaticamente um perdedor não são erros comparáveis. Ambos vêm desligados por omissão, e com a automatização desligada o motor continua a avaliar o quadro e a registar o que teria feito. Esse ensaio a seco é a mesma função com as mesmas entradas, em vez de um segundo caminho de código, o que é o que o torna uma pré-visualização honesta.