Ajustado para comparações múltiplas

Os Aprendizados verificam dezenas de padrões ao mesmo tempo: cada tipo de página e mudança, mecanismo, tema e elemento. Quanto mais formas houver de dividir os testes de um site, maior será a chance de algum intervalo excluir zero por acaso. Se todos os intervalos fossem exibidos com o nível de confiança habitual de 95%, alguns resultados de sorte pareceriam conclusões confiáveis.

Por isso, todo intervalo na página é desenhado com uma única largura ajustada, pelo procedimento de Benjamini-Hochberg com intervalos de taxa de falsa cobertura a 5%. Um padrão selecionado como conclusivo tem um intervalo que exclui zero, e um que não é selecionado tem um intervalo que cruza o zero, então o nível de evidência e o intervalo nunca podem discordar.

As checagens são contadas como os conjuntos distintos de testes por trás dos padrões, e não como os próprios padrões. Um teste que mudou quatro coisas fica em quatro grupos, mas é uma única prova vista quatro vezes, e contá-lo quatro vezes corrigiria demais e esconderia conclusões reais.

É a mesma disciplina que as estatísticas aplicam a um único teste com várias variantes, levada para um programa inteiro. É por isso que os Aprendizados conseguem olhar por muitos ângulos de uma vez sem transformar um programa grande em uma fonte de falsa confiança.