Justert for flere sammenligninger

Lærdommer sjekker dusinvis av mønstre samtidig: hver sidetype og endringstype, mekanisme, tema og element. Jo flere måter et nettsteds tester deles opp på, desto mer sannsynlig er det at et intervall utelukker null ved en tilfeldighet. Hvis alle intervallene ble vist med det vanlige konfidensnivået på 95 %, ville noen heldige resultater fremstå som reelle funn.

Derfor tegnes hvert intervall på siden med én felles justert bredde, etter Benjamini-Hochberg-metoden med intervaller for false coverage rate på 5 %. Et mønster som velges ut som entydig, har et intervall som utelukker null, og et som ikke velges ut, har et intervall som krysser null, så evidensnivået og intervallet kan aldri være uenige.

Sjekkene telles som de unike settene med tester bak mønstrene, ikke som mønstrene selv. En test som endret fire ting, havner i fire grupper, men den er ett og samme bevis sett fire ganger, og å telle den fire ganger ville overkorrigere og skjule reelle funn.

Det er den samme disiplinen som statistikken bruker på én test med flere varianter, løftet opp til et helt testprogram. Derfor kan Lærdommer se fra mange vinkler samtidig uten at et stort testprogram blir en kilde til falsk trygghet.