Fem evidensnivåer

Hvert mønster på Lærdommer-siden har ett av fem evidensnivåer, og nivået avgjør hvordan siden omtaler det. Nivåene leses fra mønsterets justerte intervall i en fast rekkefølge, og det første som passer, er det som vises.

Blandet kommer først: tester av det samme der én variant sikkert ligger over og en annen sikkert under. To resultater som spriker, slås aldri sammen til et gjennomsnitt som sier “ingen effekt”, fordi det ville skjule det mest interessante testene fant. Konsistent betyr at intervallet utelukker null på tvers av tre eller flere tester. Tidlig signal betyr at det utelukker null, men fra bare én eller to.

Liten effekt betyr at intervallet inkluderer null og ligger innenfor 2 % i hver retning, noe som er et funn i seg selv: hva enn denne typen endring gjør, gjør den ikke mye. Alt annet er ikke nok evidens ennå, som er den ærlige lesningen av de fleste mønstre i et ungt testprogram.

Ordlyden følger intervallet så vel som nivået, så et tidlig signal under null leses som en endring som skader, ikke som et nøytralt signal. Siden sier også hvor mange mønstre som er entydige så langt, så leseren ser med en gang hvor mye programmet allerede kan bygge på.