Cinco níveis de evidência

Cada padrão na página Aprendizagens tem um de cinco níveis de evidência, e o nível decide como a página fala dele. Os níveis são lidos a partir do intervalo ajustado do padrão, por uma ordem fixa, e o primeiro que corresponde é o que se mostra.

O misto vem primeiro: testes da mesma coisa em que uma variante sobe com confiança e outra desce com confiança. Dois resultados que discordam nunca são reduzidos a uma média de “sem efeito”, porque isso esconderia a coisa mais interessante que os testes encontraram. Consistente significa que o intervalo exclui zero em três ou mais testes. Sinal precoce significa que exclui zero, mas a partir de apenas um ou dois.

Efeito pequeno significa que o intervalo inclui zero e fica dentro de 2% para cada lado, o que é uma conclusão por direito próprio: seja o que for que este tipo de alteração faz, não faz muito. Tudo o resto é ainda sem evidência suficiente, que é a leitura honesta da maioria dos padrões num programa jovem.

A redação acompanha o intervalo além do nível, pelo que um sinal precoce abaixo de zero se lê como uma alteração que está a prejudicar e não como um sinal neutro. A página diz também quantos padrões são conclusivos até agora, para que quem lê veja de relance em quanto o programa já se pode apoiar.