Lärdomar
Justerat för multipla jämförelser
Dela upp tillräckligt många test på tillräckligt många sätt, så ser något starkt ut av ren tur. Intervallen breddas just för det.
Lärdomar undersöker dussintals mönster samtidigt: varje sidtyp och ändringstyp, mekanism, tema och element. Ju fler sätt en webbplats test delas upp på, desto större är risken att något intervall utesluter noll av ren slump. Om alla intervall visades med den vanliga konfidensnivån på 95 % skulle några slumpmässigt gynnsamma resultat framstå som verkliga fynd.
Därför ritas varje intervall på sidan med en och samma justerade bredd, enligt Benjamini-Hochberg-metoden med intervall för false coverage rate på 5 %. Ett mönster som väljs ut som entydigt har ett intervall som utesluter noll, och ett som inte väljs ut har ett intervall som korsar noll, så evidensnivån och intervallet kan aldrig säga emot varandra.
Kontrollerna räknas som de unika uppsättningar test som ligger bakom mönstren, inte som mönstren själva. Ett test som ändrade fyra saker hamnar i fyra grupper, men det är ett och samma bevis sett fyra gånger, och att räkna det fyra gånger skulle överkorrigera och dölja verkliga fynd.
Det är samma disciplin som statistiken tillämpar på ett enskilt test med flera varianter, lyft till ett helt testprogram. Därför kan Lärdomar titta från många håll samtidigt utan att ett stort testprogram blir en källa till falsk säkerhet.