Hai condotto lo studio, raccolto i dati, eseguito il test. Il software restituisce p = 0.03, dunque valore sotto la soglia di 0.05 e dunque statisticamente significativo. La tentazione di fermarsi qui è forte e comprensibile. Ma è esattamente qui che iniziano gli errori più comuni.
Ho già parlato di cosa sia il p-value e di cosa non sia (vedi articolo). In questo articolo voglio andare oltre: voglio mostrare, con esempi concreti, i sei errori che vedo commettere più spesso — da studenti, da ricercatori junior, e a volte anche da ricercatori esperti. Riconoscere le insidie del p-value è il primo passo per evitare analisi statistiche errate.
Errore 1 — Interpretare p < 0.05 come prova che l’effetto esiste
Questo è l’errore più diffuso ed il più insidioso perché sembra ragionevole. P < 0.05 significa che, se non ci fosse nessun effetto reale, sarebbe improbabile osservare dati come i nostri. Tuttavia il raggiungimento di questa soglia, non significa che l’effetto esiste. Non significa che H₀ – l’ipotesi nulla – è falsa. Non significa che la probabilità di sbagliarsi sia del 5%. Per capire ti faccio un esempio concreto.
Uno studio su 50 pazienti confronta gli effetti di un nuovo integratore con il placebo sulla capacità di concentrazione durante lo studio. La comparazione tra i due gruppi ottiene p = 0.04. I ricercatori concludono che l’integratore migliora la concentrazione. Sfortunatamente il ragionamento non va così liscio. Il valore di p = 0.04 dice solo che, sotto H₀, quei dati avrebbero una probabilità del 4% di verificarsi. Non dice nulla sulla probabilità che H₀ sia vera. Questa verità dipende anche da quanto era plausibile l’ipotesi prima dello studio, da quanto è grande l’effetto osservato, da quanti altri studi simili esistono.
Il p-value risponde a questa domanda: quanto sono compatibili i miei dati con l’assenza di effetto? Non risponde invece a questa: quanto è probabile che ci sia davvero un effetto?
Errore 2 — Confondere significatività statistica con rilevanza clinica
Statisticamente significativo non vuol dire clinicamente importante. Sono due piani diversi e confonderli produce conclusioni che suonano solide ma non lo sono.
Immagina uno studio che valuta l’efficacia di un nuovo antiipertensivo su 3.000 pazienti. Il risultato: riduzione media della pressione sistolica di 1.8 mmHg rispetto al placebo, p = 0.002. Fortemente significativo. Ma una riduzione di 1.8 mmHg ha rilevanza clinica? Le linee guida considerano significativa una riduzione di almeno 5 mmHg per parlare di beneficio clinico misurabile. Lo studio è statisticamente robusto, ma clinicamente irrilevante allo stesso tempo.
Il problema è strutturale: con campioni grandi, qualsiasi differenza, per quanto minuscola, tende a raggiungere la significatività statistica. Il test diventa così potente da rilevare effetti che esistono matematicamente ma non hanno nessun peso nella pratica clinica. La domanda giusta non è solo “c’è un effetto?”, ma “l’effetto è abbastanza grande da fare la differenza per il paziente?”
Errore 3 — Ignorare l’effect size
L’effect size – uno dei più valori più strascurati della statistica – misura la grandezza dell’effetto osservato e ciò indipendentemente dalla significatività statistica. È l’informazione che il p-value non dà e che troppo spesso non viene riportata.
Tra le misure più usate c’è il Cohen’s d, che esprime la differenza tra due gruppi in unità di deviazione standard. Per convenzione, d = 0.2 è considerato un effetto piccolo, d = 0.5 medio, d = 0.8 grande. Ma queste soglie sono orientative, la rilevanza dipende sempre dal contesto clinico.
Torniamo all’esempio dell’antiipertensivo: una riduzione di 1.8 mmHg su una deviazione standard di 15 mmHg produce un Cohen’s d di circa 0.12, ossia un effetto molto piccolo. Il p-value era 0.002, l’effect size è 0.12. La differenza tra questi due numeri racconta una storia completamente diversa da quella che il p-value da solo suggerisce.
Un p-value senza effect size è come sapere che una differenza esiste senza sapere quanto è grande. È un’informazione incompleta e spesso fuorviante.
Errore 4 — Non riportare l’intervallo di confidenza
L’intervallo di confidenza al 95% indica il range di valori entro cui, con il 95% di probabilità, si trova il vero effetto nella popolazione. È la misura della precisione della stima e racconta qualcosa che né il p-value né l’effect size da soli riescono a dire.
Consideriamo due studi che valutano lo stesso trattamento. Il primo riporta una riduzione media di 5 mmHg con IC 95% [4.8; 5.2]. Il secondo riporta una riduzione media di 5 mmHg con IC 95% [0.5; 9.5]. Il punto centrale è identico, il p-value potrebbe essere simile. Ma il primo studio stima l’effetto con grande precisione — la vera riduzione è quasi certamente intorno a 5 mmHg. Il secondo ha un’incertezza enorme: la riduzione potrebbe essere trascurabile (0.5 mmHg) o molto grande (9.5 mmHg). Sono due situazioni radicalmente diverse, invisibili se si guarda solo al valore puntuale.
Un intervallo di confidenza che include lo zero, inoltre, significa che l’assenza di effetto è compatibile con i dati — anche se il p-value fosse sotto 0.05 per via di un campione molto grande. Riportare l’IC non è un dettaglio tecnico: è parte essenziale di qualsiasi risultato.
Errore 5 — Usare il p-value su campioni molto grandi senza senso critico
Con campioni sufficientemente grandi, il test statistico diventa così potente da rilevare qualsiasi differenza, anche quella più irrilevante. Questo non è un difetto del p-value in sé, ma è una sua proprietà matematica. Il problema è non tenerne conto nell’interpretazione.
Un esempio: uno studio osservazionale su 50.000 persone confronta il colesterolo medio tra chi fa colazione e chi non la fa. Risultato: differenza di 0.3 mg/dL, p < 0.0001. Altamente significativo. Ma 0.3 mg/dL di colesterolo è una differenza clinicamente irrilevante — il margine di errore della misurazione stessa è dell’ordine di grandezza. Lo studio non dice nulla di utile sulla colazione e il colesterolo, nonostante il p-value impressionante.
Regola pratica: più è grande il campione, più diventa importante guardare l’effect size e l’intervallo di confidenza piuttosto che fermarsi al p-value. La significatività statistica è quasi garantita con campioni grandi, ma la vera domanda interessante è sempre quanto è grande l’effetto.
Errore 6 — Il p-hacking inconsapevole
Il p-hacking non è sempre deliberato. Spesso accade senza che il ricercatore se ne renda conto attraverso scelte analitiche apparentemente innocue: decidere di raccogliere qualche dato in più dopo aver visto i risultati preliminari, escludere alcuni outlier perché “sembrano anomali”, scegliere tra più variabili dipendenti quella che dà il risultato migliore, testare sottogruppi fino a trovarne uno con p < 0.05.
Ognuna di queste scelte, presa singolarmente, può sembrare ragionevole. L’effetto cumulativo è un aumento sistematico della probabilità di ottenere falsi positivi, ad esempio correlazioni che sembrano reali ma non lo sono (vedi articolo). Se eseguo dieci test sulla stessa ipotesi cambiando qualcosa ogni volta, la probabilità che almeno uno di essi produca p < 0.05 per puro caso supera il 40%, molto lontana dal 5% che la soglia promette.
La soluzione non è essere meno creativi nell’analisi, ma essere più trasparenti: pre-registrare le ipotesi e le scelte analitiche prima di raccogliere i dati, distinguere chiaramente le analisi confermatorie da quelle esplorative, riportare tutti i test condotti e non solo quelli con il risultato desiderato.
Il p-value non è il problema.
Lo è il modo in cui viene usato, ossia come punto di arrivo invece che come punto di partenza. Ogni volta che ottieni p < 0.05, le domande giuste da fare sono almeno tre: quanto è grande l’effetto? Con quale precisione è stimato? Ha senso clinico, oltre che statistico? Solo quando si riesce a rispondere a tutte e tre si può dire di aver davvero capito cosa dicono i propri dati.
D: Qual è la differenza tra significatività statistica e rilevanza clinica?
R: Un risultato è statisticamente significativo quando p < 0.05 — cioè quando è improbabile osservarlo in assenza di effetto. È clinicamente rilevante quando l’effetto è abbastanza grande da fare una differenza concreta per il paziente. Con campioni molto grandi, un risultato può essere statisticamente significativo e clinicamente irrilevante allo stesso tempo.
Un numero al mese, senza rumore.
Un editoriale al mese, gli articoli in evidenza. Niente promozioni.