Analisi della potenza

La potenza è la probabilità che un test rilevi una differenza reale di una data ampiezza. Sotto l’ottanta per cento circa, un risultato nullo significa "dati ancora insufficienti" anziché "nessun effetto", e trattare le due cose come uguali è il modo in cui una buona idea viene abbandonata.

Pertento dimensiona l’analisi sulla differenza che il test sta davvero misurando, non su un incremento obiettivo fisso scelto in anticipo. Dimensionare su un cinque per cento scritto nel codice risponde a "quando potrei rilevare il cinque per cento", che non è la domanda che nessuno pone a un test in corso. La domanda è quando l’effetto che sto vedendo diventa conclusivo.

In quel calcolo c’è una protezione deliberata. La differenza misurata non viene mai reimmessa attraverso la soglia dell’effetto rilevabile, che è a sua volta ricavata dal campione attuale. Farlo rende la risposta auto-avverante e fa riferire dati sufficienti per un test gravemente sottodimensionato.

Quando la differenza misurata è troppo piccola per dimensionarci sopra, perché un effetto quasi nullo richiede un campione illimitato, l’analisi ricade su un incremento obiettivo e dice quale dei due ha usato. Un numero che sembra preciso senza indicare cosa ha assunto è peggio di uno onesto.