Três tipos de teste, um editor visual só

Uma tag de script no head é toda a instalação, e é a única mudança no seu site. A partir daí uma variante é construída apontando para elementos nas suas páginas em produção, então o primeiro teste é limitado pelo tempo que você leva para decidir o que testar, e não por algo que precise ser comprado, construído ou agendado. Nada vai para o ar por acidente enquanto você aprende: um teste novo é um rascunho até você iniciá-lo.

Cada site recebe o próprio arquivo compilado com os testes dele embutidos, então o runtime já sabe o que rodar quando carrega e nada espera uma chamada para nós antes de a página renderizar. A página é brevemente segurada enquanto as mudanças são aplicadas, que é o que evita que os visitantes vejam o original piscar antes do teste, e ela é revelada por quatro caminhos de código independentes, de modo que uma falha mostra a página sem modificação em vez de uma página em branco. O rastreamento carrega por último, depois de a página estar visível, então a medição nunca atrasa a renderização.

Texto, estilo, layout e posição são editados apontando, e as mudanças estruturais são cobertas por cinco posicionamentos de HTML em relação a um elemento que você seleciona. Passado isso, ele para com honestidade em vez de parar mal: tudo que o painel não consegue expressar você escreve como CSS ou JavaScript próprios na variante, o que significa que um teste nunca fica travado na ferramenta. O limite de verdade é uma mudança que acontece antes de a página existir: ordenação, lógica de preço, um modelo de recomendação. Esses são testes no servidor, e pedem os seus desenvolvedores.

Tantos quantas ideias você tiver, e essa é a resposta que vale conferir contra o que você usa hoje. Cada teste sorteia de forma independente, então um visitante elegível entra em todos os testes para os quais se qualifica e cada um mede contra a audiência elegível inteira. Concorrência não divide a sua amostra aqui, e é por isso que a plataforma verifica se dois testes se interferem em vez de racionar quantos podem rodar. Vazão costuma ser a diferença entre um programa que se paga e um que não se paga.

Os vencedores que você já fixou no código estão na sua própria base de código e não são afetados, e é justamente para isso que a fila de implementação existe, para te empurrar nessa direção: ela lista cada vencedor que ainda é entregue por nós e continua sinalizando até os seus desenvolvedores terem espaço. Vencedores ainda entregues pela plataforma param quando ela para, do mesmo jeito que qualquer variante para. Os testes, as hipóteses e o histórico escrito ficam na conta e não em ferramenta nossa.