Learnings
Patronen uit dezelfde tests samengevoegd
Wanneer twee patronen op dezelfde tests rusten, zijn ze één stuk bewijs dat twee keer wordt gezien, en de pagina behandelt ze als één.
Een test die de lay-out van een aanmeldpagina veranderde, telt als lay-outtest, als test op een aanmeldpagina en misschien als vertrouwenstest. Dat klopt, en het is ook een valkuil: er verschijnen drie patronen die elk lijken op afzonderlijke steun voor de andere, terwijl alle drie op hetzelfde resultaat rusten.
Learnings licht één patroon per unieke set tests uit, het sterkste eerst. Zo wordt hetzelfde bewijs bovenaan de pagina niet als drie bevindingen gepresenteerd. Als een ander patroon op precies dezelfde tests berust, legt de pagina dat in gewone woorden uit: dezelfde twee tests liggen ook ten grondslag aan het patroon voor de lay-out op de aanmeldpagina.
Dezelfde regel loopt door de statistiek. De correctie voor meervoudig vergelijken telt unieke sets tests in plaats van patronen, en “Vragen over uw learnings” krijgt te horen welke patronen hun tests delen, zodat noch de pagina noch de assistent één resultaat dat vanuit twee hoeken wordt gezien, als twee bewijzen kan presenteren.