Holm-Bonferroni, Benjamini-Hochberg e Šidák

Holm-Bonferroni è la più severa delle tre. Ordina i confronti e scende dalla soglia più stretta, fermandosi al primo che non passa, e controlla la probabilità di fare una qualsiasi affermazione falsa. È il valore predefinito giusto quando un falso vincitore verrebbe pubblicato e tenuto.

Benjamini-Hochberg lavora dall’altra estremità, e controlla la quota di falsi positivi fra i risultati che dichiarate vincenti anziché la probabilità che ce ne sia uno. È una garanzia più debole e più utile quando più varianti sono attive: è sensibilmente meno probabile che scarti un effetto reale, al prezzo di ammetterne di tanto in tanto uno cattivo.

Šidák applica una sola soglia a ogni confronto invece di una sequenza. È leggermente meno severa di un Bonferroni semplice e assume che i confronti siano indipendenti, che è un’assunzione ragionevole quando le vostre varianti sono idee davvero diverse e povera quando sono variazioni sullo stesso tema.

Nessuna è anch’essa un’opzione, ed è onesta su quanto costa: con più confronti a una soglia non corretta, la console dichiara apertamente quanto diventa probabile almeno un falso vincitore. È una scelta difendibile su un test a variante singola e raramente difendibile altrimenti.