Ajustado a comparações múltiplas

As Aprendizagens verificam dezenas de padrões em simultâneo: cada tipo de página e alteração, mecanismo, tema e elemento. Quanto mais formas houver de dividir os testes de um site, maior será a probabilidade de um intervalo excluir zero por acaso. Se todos os intervalos fossem apresentados com o nível de confiança habitual de 95%, alguns resultados de sorte pareceriam conclusões sólidas.

Por isso, cada intervalo na página é desenhado com uma única largura ajustada, pelo procedimento de Benjamini-Hochberg com intervalos de taxa de falsa cobertura a 5%. Um padrão selecionado como conclusivo tem um intervalo que exclui zero, e um que não é selecionado tem um intervalo que o atravessa, pelo que o nível de evidência e o intervalo nunca podem discordar.

As verificações são contadas como os conjuntos distintos de testes por trás dos padrões, e não como os próprios padrões. Um teste que alterou quatro coisas está em quatro grupos, mas é uma única prova vista quatro vezes, e contá-lo quatro vezes corrigiria em excesso e esconderia conclusões reais.

É a mesma disciplina que a estatística aplica a um único teste com várias variantes, levada ao nível de um programa inteiro. É por isso que as Aprendizagens conseguem olhar de muitos ângulos de uma vez sem transformar um programa grande numa fonte de falsa confiança.