Justeret for multiple sammenligninger

Læringer tjekker snesevis af mønstre på én gang: hver sidetype og ændringstype, mekanisme, tema og element. Jo flere måder et websites test deles op på, desto større er risikoen for, at et interval udelukker nul ved en tilfældighed. Hvis alle intervaller blev vist med det sædvanlige konfidensniveau på 95 %, ville nogle heldige resultater fremstå som reelle fund.

Derfor tegnes hvert interval på siden med én fælles justeret bredde, efter Benjamini-Hochberg-metoden med intervaller for false coverage rate på 5 %. Et mønster, der udvælges som entydigt, har et interval, der udelukker nul, og et, der ikke udvælges, har et interval, der krydser nul, så evidensniveauet og intervallet aldrig kan være uenige.

Tjekkene tælles som de unikke sæt af test bag mønstrene, ikke som mønstrene selv. En test, der ændrede fire ting, ligger i fire grupper, men den er ét og samme bevis set fire gange, og at tælle den fire gange ville overkorrigere og skjule reelle fund.

Det er den samme disciplin, som statistikken anvender på en enkelt test med flere varianter, løftet op til et helt testprogram. Derfor kan Læringer se fra mange vinkler på én gang, uden at et stort testprogram bliver en kilde til falsk sikkerhed.