Vijf bewijsniveaus

Elk patroon op de pagina Learnings heeft een van vijf bewijsniveaus, en het niveau bepaalt hoe de pagina erover spreekt. De niveaus worden in een vaste volgorde afgelezen uit de gecorrigeerde bandbreedte van het patroon, en het eerste dat past, wordt getoond.

Gemengd komt eerst: tests van hetzelfde ding waarbij de ene variant met zekerheid stijgt en een andere met zekerheid daalt. Twee resultaten die elkaar tegenspreken, worden nooit gemiddeld tot “geen effect”, want dat zou het interessantste verbergen dat de tests vonden. Consistent betekent dat de bandbreedte nul uitsluit over drie of meer tests. Vroeg signaal betekent dat ze nul uitsluit, maar op basis van slechts één of twee.

Klein effect betekent dat de bandbreedte nul bevat en binnen 2% aan weerszijden blijft, en dat is op zichzelf een bevinding: wat dit soort wijziging ook doet, veel doet het niet. Al het andere is nog niet genoeg bewijs, en dat is de eerlijke lezing van de meeste patronen in een jong programma.

De formulering volgt de bandbreedte en niet alleen het niveau, zodat een vroeg signaal onder nul leest als een wijziging die schaadt en niet als een neutraal signaal. De pagina zegt ook hoeveel patronen tot nu toe sluitend zijn, zodat een lezer in één oogopslag ziet op hoeveel het programma al kan bouwen.