Três tipos de teste, um editor com IA embutida

Uma tag de script no head é toda a instalação, e é a única mudança no seu site. A partir daí uma variante é construída apontando para elementos nas suas páginas em produção, então o primeiro teste é limitado pelo tempo que você leva para decidir o que testar, e não por algo que precise ser comprado, construído ou agendado. Nada vai para o ar por acidente enquanto você aprende: um teste novo é um rascunho até você iniciá-lo.

Cada site recebe o próprio arquivo compilado com os testes dele embutidos, então o runtime já sabe o que rodar quando carrega e nada espera uma chamada para nós antes de a página renderizar. O loader na sua página tem menos de 1 KB, e as funcionalidades mais pesadas, como os dados da página e os feeds de dados, só carregam nos sites cujos testes as usam. A página fica oculta por um instante enquanto as mudanças são aplicadas, o que evita que os visitantes vejam o original piscar antes de virar o teste, e ela é exibida por quatro caminhos de código independentes, de modo que uma falha mostra a página sem modificações em vez de uma página em branco. O rastreamento carrega por último, depois de a página estar visível, então a medição nunca atrasa a renderização.

Texto, estilo, layout e posição são editados só apontando, incluindo os estados de hover e focus, e seções inteiras são adicionadas a partir de uma biblioteca de componentes que assumem as fontes e as cores do seu próprio site. Uma mudança pode carregar os dados da própria página, como o preço de cada produto, ou valores de um feed que você já publica, e um seletor pode aplicá-la a todos os elementos correspondentes. Você também pode descrever a mudança com as suas palavras e deixar o editor com IA propor, com uma prévia na página antes de qualquer coisa ser salva. Além desse ponto, ele para de forma honesta em vez de entregar algo malfeito: tudo que o inspetor não consegue expressar você escreve como CSS ou JavaScript próprios na variante, o que significa que um teste nunca fica travado na ferramenta. O limite real é uma mudança que acontece antes de a página existir: ordenação, lógica de preço, um modelo de recomendação. Esses são testes no servidor, e precisam dos seus desenvolvedores.

Tantos quantas ideias você tiver, e essa é a resposta que vale conferir contra o que você usa hoje. Cada teste sorteia de forma independente, então um visitante elegível entra em todos os testes para os quais se qualifica e cada um mede contra a audiência elegível inteira. Concorrência não divide a sua amostra aqui, e é por isso que a plataforma verifica se dois testes se interferem em vez de racionar quantos podem rodar. Vazão costuma ser a diferença entre um programa que se paga e um que não se paga.

Os vencedores que você já fixou no código estão na sua própria base de código e não são afetados, e é justamente para isso que a fila de implementação existe, para te empurrar nessa direção: ela lista cada vencedor que ainda é entregue por nós e continua sinalizando até os seus desenvolvedores terem espaço. Vencedores ainda entregues pela plataforma param quando ela para, do mesmo jeito que qualquer variante para. Os testes, as hipóteses e o histórico escrito ficam na conta e não em ferramenta nossa.