Fünf Evidenzstufen

Jedes Muster auf der Seite Erkenntnisse trägt eine von fünf Evidenzstufen, und die Stufe bestimmt, wie die Seite darüber spricht. Die Stufen werden in einer festen Reihenfolge aus der korrigierten Spanne des Musters gelesen, und die erste, die zutrifft, wird angezeigt.

Gemischt kommt zuerst: Tests derselben Sache, bei denen eine Variante verlässlich im Plus und eine andere verlässlich im Minus liegt. Zwei Ergebnisse, die sich widersprechen, werden nie zu “kein Effekt” gemittelt, denn das würde das Interessanteste verbergen, was die Tests gefunden haben. Konsistent heißt, dass die Spanne über drei oder mehr Tests hinweg null ausschließt. Frühes Signal heißt, dass sie null ausschließt, aber nur auf Basis von einem oder zwei Tests.

Kleiner Effekt heißt, dass die Spanne null einschließt und innerhalb von 2 % in beide Richtungen liegt, und das ist für sich genommen ein Befund: Was auch immer diese Art von Änderung bewirkt, viel ist es nicht. Alles andere ist noch nicht genug Evidenz, die ehrliche Lesart der meisten Muster in einem jungen Programm.

Die Formulierung folgt der Spanne ebenso wie der Stufe, sodass ein frühes Signal unter null als Änderung gelesen wird, die schadet, und nicht als neutrales Signal. Die Seite sagt auch, wie viele Muster bisher eindeutig sind, sodass man auf einen Blick sieht, worauf das Programm schon bauen kann.