Padrões entre testes

Um teste isolado é apenas um exemplo. Os padrões mostram o que se aprende com um programa de testes no seu conjunto. O Pertento agrupa os cartões de aprendizagem de um site de quatro formas: por tipo de página e alteração, pelo mecanismo de ação esperado, por tema e pelo elemento alterado. Cada grupo corresponde a uma pergunta a que os seus testes responderam, mesmo que ninguém a tenha formulado.

Cada grupo recebe uma estimativa agregada do ganho, com um intervalo. Os resultados são combinados segundo a precisão de cada um, contra um ponto de partida cético centrado em zero, pelo que um teste com sorte é puxado para a ausência de efeito em vez de ser lido como regra. Duas variantes do mesmo teste partilham um controlo, por isso contam como um registo e não como dois.

Só conta o resultado estatístico. Publicar uma variante é uma decisão de uma pessoa, e contá-la como vitória faria as ideias de que as pessoas gostaram parecerem as ideias que funcionaram. Um teste inconclusivo conta na mesma: desloca o intervalo, que é exatamente o que deve fazer.

O código recalcula os padrões de raiz a partir dos cartões e da estatística. A IA redige os padrões em destaque e propõe uma razão possível, identificada como tal, e cada número nessas frases é preenchido pelo código quando a página é lida. As Aprendizagens são estritamente por site: nada é agregado entre sites nem entre clientes.