Cinco níveis de evidência

Todo padrão na página Aprendizados traz um de cinco níveis de evidência, e o nível decide como a página fala dele. Os níveis são lidos a partir do intervalo ajustado do padrão em uma ordem fixa, e o primeiro que se aplica é o que aparece.

Misto vem primeiro: testes da mesma coisa em que uma variante sobe com confiança e outra cai com confiança. Dois resultados que discordam nunca viram uma média de “nenhum efeito”, porque isso esconderia a coisa mais interessante que os testes encontraram. Consistente significa que o intervalo exclui zero em três ou mais testes. Sinal inicial significa que ele exclui zero, mas a partir de só um ou dois.

Efeito pequeno significa que o intervalo inclui zero e fica dentro de 2% para cada lado, o que já é uma conclusão por si só: seja o que for que esse tipo de mudança faz, não faz muito. Todo o resto é evidência ainda insuficiente, que é a leitura honesta da maioria dos padrões em um programa jovem.

O texto acompanha o intervalo além do nível, então um sinal inicial abaixo de zero é lido como uma mudança que está prejudicando, e não como um sinal neutro. A página também diz quantos padrões são conclusivos até agora, para que quem lê veja de relance o quanto o programa já tem em que se apoiar.