Fem evidensnivåer

Varje mönster på sidan Lärdomar har en av fem evidensnivåer, och nivån avgör hur sidan talar om det. Nivåerna avläses ur mönstrets justerade intervall i en fast ordning, och den första som stämmer är den som visas.

Blandat kommer först: test av samma sak där en variant säkert ligger över och en annan säkert under. Två resultat som går isär slås aldrig ihop till ett snitt som säger “ingen effekt”, eftersom det skulle dölja det mest intressanta som testen hittade. Samstämmigt betyder att intervallet utesluter noll över tre eller fler test. Tidig signal betyder att det utesluter noll, men utifrån bara ett eller två.

Liten effekt betyder att intervallet innehåller noll och ligger inom 2 % åt vardera hållet, vilket är ett fynd i sig: vad den här sortens ändring än gör, så gör den inte mycket. Allt annat är inte tillräcklig evidens än, vilket är den ärliga tolkningen av de flesta mönster i ett ungt testprogram.

Formuleringen följer både intervallet och evidensnivån. En tidig signal under noll beskrivs därför som en ändring med negativ effekt. Sidan visar också hur många mönster som hittills ger tydliga besked, så att du snabbt ser hur starkt stöd testprogrammet ger.