Três tipos de teste, um único editor visual

Uma etiqueta de script no head é toda a instalação, e é a única alteração ao seu site. A partir daí uma variante constrói-se apontando elementos nas suas páginas em produção, pelo que o primeiro teste é limitado pelo tempo que levarem a decidir o que testar e não por algo que tenha de ser adquirido, construído ou agendado. Nada vai ao ar por acidente enquanto estão a aprender: um teste novo é um rascunho até o iniciarem.

Cada site recebe o seu próprio ficheiro compilado com os seus testes já incorporados, pelo que o runtime já sabe o que correr quando carrega e nada espera por uma chamada a nós antes de a página desenhar. A página é retida por um instante enquanto as alterações se aplicam, que é o que impede os visitantes de verem o original a surgir antes do teste, e é revelada a partir de quatro caminhos de código independentes, pelo que uma falha mostra a página não modificada em vez de uma página em branco. O tracking carrega em último lugar, depois de a página estar visível, pelo que a medição nunca atrasa o desenho.

Texto, estilo, disposição e posição editam-se apontando, e as alterações estruturais estão cobertas por cinco colocações de HTML sobre um elemento que escolhe. Passado isso, pára com honestidade em vez de parar mal: tudo o que o painel não consegue expressar escreve-se como CSS ou JavaScript personalizado na variante, o que significa que um teste nunca fica bloqueado pela ferramenta. O limite genuíno é uma alteração que acontece antes de a página existir: ordenação, lógica de preços, um modelo de recomendação. Esses são testes do lado do servidor, e exigem os seus programadores.

Tantos quantas ideias tiverem, e esta é a resposta que vale a pena confrontar com o que usam hoje. Cada teste distribui de forma independente, pelo que um visitante elegível entra em todos os testes para que se qualifica e cada um deles mede face à audiência elegível completa. Aqui a concorrência não divide a sua amostra, e é por isso que a plataforma verifica se dois testes interferem entre si em vez de racionar quantos podem correr. O ritmo é normalmente a diferença entre um programa que se paga a si próprio e um que não.

Os vencedores que fixaram no código já estão na sua própria base de código e não são afectados, e é para isso que a fila de implementação existe, para os empurrar nessa direcção: lista cada vencedor que continua a ser servido por nós e continua a sinalizá-lo até os seus programadores terem espaço. Os vencedores ainda servidos pela plataforma param quando ela para, do mesmo modo que qualquer variante para. Os testes, as hipóteses e o histórico escrito ficam na conta e não em ferramentas nossas.