Corretto per confronti multipli

Apprendimenti verifica decine di pattern contemporaneamente: ogni tipo di pagina e modifica, meccanismo, tema ed elemento. Più modi ci sono di suddividere i test di un sito, più è probabile che un intervallo escluda lo zero per puro caso. Se tutti gli intervalli fossero mostrati al consueto livello di confidenza del 95%, alcuni risultati fortunati sembrerebbero conclusioni attendibili.

Per questo ogni intervallo della pagina è disegnato con un’unica ampiezza corretta, ricavata dalla procedura di Benjamini-Hochberg con intervalli a tasso di falsa copertura al 5%. Un pattern selezionato come conclusivo ha un intervallo che esclude lo zero, e uno non selezionato ha un intervallo che lo attraversa, così il livello di evidenza e l’intervallo non possono mai essere in disaccordo.

Le verifiche si contano come gli insiemi distinti di test dietro i pattern, non come i pattern stessi. Un test che ha cambiato quattro cose sta in quattro gruppi, ma è un’unica prova vista quattro volte, e contarla quattro volte correggerebbe troppo e nasconderebbe risultati reali.

È la stessa disciplina che le statistiche applicano a un singolo test con più varianti, portata al livello di un intero programma. Per questo Apprendimenti può guardare da molte angolazioni insieme senza trasformare un programma ampio in una fonte di falsa sicurezza.