Statistiche difendibili
Correzione per confronti multipli
Testi quattro varianti a 0,05 ciascuna e ha circa una probabilità su cinque di un falso vincitore. Una correzione è ciò che lo impedisce.
Ogni variante in più è un’altra occasione perché il rumore sembri un vincitore. Con quattro confronti giudicati a 0,05 ciascuno, la probabilità che almeno uno superi la soglia per fortuna è vicina al venti per cento, e il vincitore che pubblicate è tanto probabilmente un artefatto quanto un miglioramento.
Una correzione restringe la soglia per compensare. Pertento ne offre tre, più nessuna, e applicarne una cambia solo il verdetto di significatività. Il valore p, il punteggio z e gli intervalli restano intatti, quindi cambiare metodo non cambia mai le prove, solo lo standard con cui le giudicate.
Con una sola variante tutte e quattro si riducono alla stessa soglia. Invece di lasciarvelo scoprire provando ogni opzione, la console lo dice direttamente, e dichiara la soglia effettiva che il metodo scelto sta applicando al vostro numero di confronti.
Una correzione è fissata anziché scelta dove la piattaforma agisce per conto proprio. La coda delle attenzioni, la coda di implementazione e la regola di arresto automatico leggono tutte lo stesso metodo, perché una coda non può offrire un menu a tendina e due schermi che dissentono su chi ha vinto sono il difetto che questo evita.