Lärdomar
Mönster från samma test slås ihop
När två mönster vilar på samma test är de ett och samma bevis sett två gånger, och sidan behandlar dem som ett.
Ett test som ändrade layouten på en registreringssida räknas som ett layouttest, ett test på en registreringssida och kanske ett förtroendetest. Det är korrekt, och det är också en fälla: tre mönster dyker upp och ser ut att stödja varandra, när alla tre vilar på samma resultat.
Lärdomar lyfter fram ett mönster per unik uppsättning test, det starkaste först. Samma evidens presenteras då inte som tre olika fynd högst upp på sidan. Om ett annat mönster bygger på exakt samma test förklarar sidan det med vanliga ord: samma två test ligger också bakom mönstret för layout på registreringssidan.
Samma regel gäller genom hela statistiken. Justeringen för multipla jämförelser räknar unika uppsättningar test i stället för mönster, och “Fråga om dina lärdomar” får veta vilka mönster som delar test, så att varken sidan eller assistenten kan presentera ett resultat sett från två håll som två separata bevis.