Cinque livelli di evidenza

Ogni pattern nella pagina Apprendimenti porta uno di cinque livelli di evidenza, e il livello decide come la pagina ne parla. I livelli si leggono dall’intervallo corretto del pattern in un ordine fisso, e viene mostrato il primo che corrisponde.

Contrastante viene per primo: test della stessa cosa in cui una variante è nettamente in rialzo e un’altra nettamente in calo. Due risultati in disaccordo non vengono mai mediati in “nessun effetto”, perché così si nasconderebbe la cosa più interessante che i test hanno trovato. Coerente significa che l’intervallo esclude lo zero su tre o più test. Segnale precoce significa che lo esclude, ma con uno o due test soltanto.

Effetto piccolo significa che l’intervallo include lo zero e resta entro il 2% in entrambe le direzioni. È un risultato a sé: questo tipo di modifica ha poco effetto. Negli altri casi il livello è Evidenze non ancora sufficienti, una descrizione onesta della maggior parte dei pattern nelle prime fasi di un programma.

La formulazione segue l’intervallo oltre al livello, così un segnale precoce sotto lo zero si legge come una modifica che sta danneggiando e non come un segnale neutro. La pagina dice anche quanti pattern sono conclusivi finora, così chi legge vede a colpo d’occhio su quanto il programma può già contare.