Ajustado por comparaciones múltiples

Aprendizajes comprueba decenas de patrones a la vez: cada tipo de página y cambio, mecanismo, tema y elemento. Cuantas más maneras haya de dividir los tests de un sitio, más probable será que algún intervalo excluya el cero por puro azar. Si todos los intervalos se mostraran con el nivel de confianza habitual del 95 %, unas cuantas rachas de suerte parecerían hallazgos reales.

Por eso cada intervalo de la página se traza con una única anchura ajustada, mediante el procedimiento de Benjamini-Hochberg con intervalos de tasa de falsa cobertura al 5 %. Un patrón seleccionado como concluyente tiene un intervalo que excluye el cero, y uno no seleccionado tiene un intervalo que lo cruza, así que el nivel de evidencia y el intervalo nunca pueden contradecirse.

Las comprobaciones se cuentan como los conjuntos distintos de tests que hay detrás de los patrones, no como los propios patrones. Un test que cambió cuatro cosas está en cuatro grupos, pero es una sola prueba vista cuatro veces, y contarla cuatro veces corregiría de más y ocultaría hallazgos reales.

Es la misma disciplina que las estadísticas aplican a un único test con varias variantes, llevada a todo un programa. Por eso Aprendizajes puede mirar desde muchos ángulos a la vez sin convertir un programa grande en una fuente de falsa confianza.