Gecorrigeerd voor meervoudig vergelijken

Learnings controleert tientallen patronen tegelijk: elk pagina- en wijzigingstype, mechanisme, thema en element. Hoe meer manieren waarop de tests van een website worden uitgesplitst, hoe groter de kans dat een bandbreedte puur door toeval nul uitsluit. Als alle bandbreedtes met het gebruikelijke betrouwbaarheidsniveau van 95% werden weergegeven, zouden enkele gelukstreffers als bevindingen worden gepresenteerd.

Daarom wordt elke bandbreedte op de pagina met één gecorrigeerde breedte getekend, via de Benjamini-Hochberg-procedure met intervallen voor de false coverage rate op 5%. Een patroon dat als sluitend wordt geselecteerd, heeft een bandbreedte die nul uitsluit, en een patroon dat niet wordt geselecteerd, heeft er een die nul kruist, zodat het bewijsniveau en de bandbreedte elkaar nooit kunnen tegenspreken.

De controles worden geteld als de unieke sets tests achter de patronen, niet als de patronen zelf. Een test die vier dingen veranderde, zit in vier groepen, maar het is één stuk bewijs dat vier keer wordt gezien, en het vier keer tellen zou overcorrigeren en echte bevindingen verbergen.

Het is dezelfde discipline die de statistiek toepast op één test met meerdere varianten, doorgetrokken naar een heel programma. Daardoor kan Learnings vanuit veel invalshoeken tegelijk kijken zonder een groot programma te veranderen in een bron van vals vertrouwen.