Fem evidensniveauer

Hvert mønster på siden Læringer har ét af fem evidensniveauer, og niveauet afgør, hvordan siden omtaler det. Niveauerne læses ud fra mønstrets justerede interval i en fast rækkefølge, og det første, der passer, er det, der vises.

Blandet kommer først: test af det samme, hvor én variant sikkert ligger over og en anden sikkert under. To resultater, der modsiger hinanden, slås aldrig sammen til et gennemsnit, der siger “ingen effekt”, fordi det ville skjule det mest interessante, testene fandt. Konsistent betyder, at intervallet udelukker nul på tværs af tre eller flere test. Tidligt signal betyder, at det udelukker nul, men ud fra kun én eller to.

Lille effekt betyder, at intervallet indeholder nul og ligger inden for 2 % til hver side, hvilket er et fund i sig selv: hvad end denne slags ændring gør, gør den ikke meget. Alt andet er ikke nok evidens endnu, hvilket er den ærlige læsning af de fleste mønstre i et ungt testprogram.

Formuleringen følger intervallet lige så vel som niveauet, så et tidligt signal under nul læses som en ændring, der skader, og ikke som et neutralt signal. Siden siger også, hvor mange mønstre der er entydige indtil videre, så læseren med det samme kan se, hvor stærkt et grundlag programmet allerede har.