Padrões entre testes

Um teste isolado é apenas um exemplo. Os padrões mostram o que se aprende com um programa de testes como um todo. O Pertento agrupa os cartões de aprendizado de um site de quatro formas: por tipo de página e mudança, pelo mecanismo de ação esperado, por tema e pelo elemento alterado. Cada grupo corresponde a uma pergunta que seus testes responderam, mesmo que ninguém tenha pensado em fazê-la.

Cada grupo recebe uma estimativa agregada do ganho, com um intervalo. Os resultados são combinados de acordo com a precisão de cada um, a partir de um ponto de partida cético centrado em zero, então um teste com sorte é puxado na direção de nenhum efeito em vez de ser lido como regra. Duas variantes do mesmo teste compartilham um controle, então contam como uma entrada, e não duas.

Só o resultado estatístico conta. Implantar uma variante é uma decisão de uma pessoa, e contar isso como vitória faria as ideias de que as pessoas gostaram parecerem as ideias que funcionaram. Um teste inconclusivo conta mesmo assim: ele move o intervalo, que é exatamente o que deveria fazer.

O código recalcula os padrões do zero a partir dos cartões e das estatísticas. A IA redige os padrões em destaque e oferece um motivo possível, identificado como tal, e todo número nessas frases é preenchido pelo código quando a página é lida. Os Aprendizados são estritamente por site: nada é agregado entre sites nem entre clientes.