Un numero non basta: p-value, effect size e il coraggio di chiedersi quanto conta davvero

C’è una domanda che la ricerca scientifica ha impiegato decenni a imparare a fare. Non “questo effetto esiste?” — ma “questo effetto conta?”. Sono due domande diverse e per lungo tempo la seconda è rimasta in ombra, schiacciata dal dominio quasi assoluto di un singolo numero: ilp-value.

Ilp-valueha avuto una carriera straordinaria. È diventato il passaporto della ricerca scientifica, il criterio con cui distinguere i risultati pubblicabili da quelli destinati al cassetto. Se p < 0.05, l’effetto esiste. Se p ≥ 0.05, non esiste. Una soglia netta, rassicurante, facile da comunicare. Ma profondamente insufficiente.

Cos’è il p-value

Il p-value misura la probabilità di osservare un risultato uguale o più estremo di quello ottenuto, assumendo che l’ipotesi nulla sia vera, cioè che non ci sia nessun effetto reale. Vale la pena fermarsi un momento su questa definizione, perché è più scivolosa di quanto sembri.

Dire che p = 0.03 non significa “c’è il 97% di probabilità che il trattamento funzioni”. Significa qualcosa di molto più circoscritto: se l’ipotesi nulla fosse vera — se non ci fosse nessun effetto reale — la probabilità di ottenere un risultato come quello osservato, o ancora più estremo, sarebbe del 3%. In altre parole, il p-value non parla dell’ipotesi alternativa. Non dice quanto è probabile che il trattamento funzioni. Dice solo quanto sarebbe raro il risultato ottenuto in un mondo in cui non funzionasse. È una finestra aperta su una sola direzione, e in quella direzione non entra la risposta alla domanda che davvero ci interessa.

A questo limite strutturale se ne aggiunge un altro, ancora più insidioso: il p-value dipende fortemente dalla dimensione del campione. Non misura la forza di un effetto; esso misura quanto facilmente riusciamo a rilevarlo, che è una cosa diversa.

Immagina uno studio su ventimila pazienti che mostra una riduzione della pressione arteriosa di 1 mmHg con un farmaco. Ilp-valueè < 0.001 — altamente significativo. Ma una variazione di 1 mmHg non cambia nulla nella pratica clinica: nessun medico modificherebbe la terapia del proprio paziente per un millimetro di mercurio. Ora immagina il contrario: ottanta pazienti, riduzione media di 12 mmHg, p-value di 0.06. Secondo la soglia convenzionale il risultato è “non significativo”, ma l’effetto osservato è clinicamente sostanziale. Lo studio era semplicemente troppo piccolo per rilevarlo con la certezza statistica richiesta, ma non per questo il risultato va ignorato.

Questo è il paradosso del p-value: con campioni grandi, anche effetti irrilevanti diventano significativi; con campioni piccoli, anche effetti importanti possono restare invisibili. Dipende così tanto dalla dimensione del campione da poter rendere irrilevante il rilevante e rilevante l’irrilevante.

Entra in scena l’effect size

L’effect size è la risposta alla domanda che il p-value non sa fare: quanto è grande l’effetto? Non se esiste — quanto conta. Proviamo a rendere concreto questo passaggio. Due farmaci antipertensivi vengono confrontati con il placebo. Entrambi ottengono p < 0.05 — entrambi “funzionano” statisticamente. Ma il primo riduce la pressione arteriosa di 10 mmHg, il secondo di 1 mmHg. Dal punto di vista del p-value i risultati sono comparabili. Dal punto di vista clinico sono completamente diversi: solo il primo ha un impatto che giustifica una scelta terapeutica.

In medicina questa distinzione non è accademica. Sapere che un trattamento funziona statisticamente è utile come punto di partenza, ma è l’effect size che risponde alle domande che contano davvero: di quanto si riduce il rischio di un evento avverso? Di quanto migliora la qualità di vita? Di quanto si modifica la prognosi? Sono queste le informazioni che orientano le decisioni cliniche reali, quelle che un medico deve poter comunicare a un paziente, quelle su cui si costruiscono le linee guida terapeutiche.

L’effect size ha inoltre un vantaggio strutturale rispetto al p-value: è sostanzialmente indipendente dalla dimensione del campione. Non cresce perché abbiamo arruolato più pazienti, non si riduce perché il campione è piccolo. Misura la forza dell’effetto nella realtà, non la nostra capacità strumentale di rilevarlo. Questo lo rende uno strumento indispensabile per confrontare risultati tra studi diversi e per costruire meta-analisi solide: se ogni studio riporta il proprio effect size, possiamo aggregare le evidenze in modo significativo, indipendentemente dalle differenze di dimensione campionaria tra i singoli lavori.

Il p-value ci dice se possiamo fidarci che l’effetto non sia frutto del caso. L’effect size ci dice se vale la pena occuparsene.

Quante forme ha l’effect size

L’effect size non è una misura unica, ma una famiglia di indicatori, ciascuno adatto a un tipo diverso di dato e di domanda di ricerca. Scegliere quello giusto non è un dettaglio tecnico: è parte dell’interpretazione stessa.

Quando si confrontano due gruppi su variabili continue — livelli di pressione arteriosa, concentrazioni plasmatiche, punteggi psicometrici — si usa spesso il Cohen’s d, che esprime la differenza tra le medie in unità di deviazione standard. Il suo vantaggio principale è la comparabilità tra contesti diversi: un Cohen’s d di 0.2 indica un effetto piccolo, 0.5 medio, 0.8 o più un effetto grande, indipendentemente dalla scala di misura originale. Questo lo rende particolarmente utile nelle meta-analisi, dove si aggregano studi che hanno misurato lo stesso costrutto con strumenti diversi.

Quando gli esiti sono dicotomici — la malattia c’è o non c’è, l’evento si è verificato o no — il ragionamento cambia. Qui entrano in gioco il rischio relativo, che indica quante volte un evento è più probabile in un gruppo esposto rispetto a uno di controllo, e l’odds ratio, che esprime il rapporto tra le probabilità dell’evento nei due gruppi ed è lo strumento standard negli studi caso-controllo e nei modelli di regressione logistica. Particolarmente preziosa in clinica è però la riduzione assoluta del rischio, perché porta direttamente a una misura concreta e comunicabile: ilnumber needed to treat, ovvero quanti pazienti bisogna trattare per prevenire un singolo evento. Un NNT di 20 significa che su venti pazienti trattati, uno eviterà l’evento grazie al trattamento. È un numero che un medico può spiegare a un paziente, e su cui si possono fondare decisioni reali.

Quando l’obiettivo non è confrontare gruppi ma capire quanto un certo fattore contribuisce a spiegare un fenomeno — quanto l’età pesa sui valori di pressione arteriosa in una popolazione eterogenea, per esempio — si usa l’eta quadrato, indicato con la lettera greca η², nell’analisi della varianza. Questo indicatore esprime la proporzione della variabilità totale attribuibile al fattore in esame: un η² di 0.15 significa che quel fattore spiega il 15% della variabilità osservata, un’informazione molto più ricca del semplice sapere se l’associazione è statisticamente significativa.

Quando invece si studia la relazione tra due variabili continue — il livello di colesterolo e il rischio cardiovascolare, per esempio — si usano il coefficiente di correlazione di Pearson e il coefficiente di determinazione. Il primo varia tra -1 e +1 e misura forza e direzione della relazione lineare: vicino a +1 le variabili crescono insieme, vicino a -1 crescono in direzioni opposte, vicino a zero non c’è relazione lineare apprezzabile. Il secondo, l’R², dice quanta parte della variabilità di una variabile è spiegata dall’altra. Un R² di 0.40 significa che il 40% della variazione osservata è associato alla variazione dell’altra variabile — ma vale sempre la pena ricordarlo: correlazione non implica causalità, e un R² elevato non dice nulla su quale delle due variabili influenzi l’altra.

In tutti i casi, qualunque misura si scelga, l’effect size va sempre accompagnato dai suoi intervalli di confidenza: quel range di valori plausibili per l’effetto reale nella popolazione che ci dice quanto siamo precisi nella stima. Un effetto grande con intervalli amplissimi segnala incertezza e la necessità di studi più ampi. Un effetto modesto con intervalli stretti è una stima solida su cui si può lavorare. Senza questa informazione, anche l’effect size più accurato rimane a metà strada.

Significatività statistica e rilevanza clinica non sono la stessa cosa

Confondere significatività statistica con rilevanza clinica è uno degli errori più frequenti — e più costosi — della letteratura scientifica. Un risultato statisticamente significativo non è automaticamente clinicamente rilevante. E un risultato clinicamente importante non è automaticamente statisticamente significativo. Sono affermazioni che sembrano ovvie, eppure la letteratura biomedica è piena di esempi in cui questa distinzione è stata ignorata, con conseguenze concrete sulle decisioni terapeutiche.

Il p-value risponde a una domanda metodologica: questo risultato è compatibile con l’ipotesi nulla? È una domanda legittima, ma circoscritta. L’effect size risponde a una domanda diversa, e clinicamente più rilevante: questo effetto cambia qualcosa nella vita del paziente? Modifica la prognosi? Riduce il rischio in modo percepibile? Giustifica gli effetti collaterali del trattamento? Sono domande che il p-value non può nemmeno sentire, figuriamoci rispondere.

Confonderle porta a due tipi di errore speculari. Il primo è l’eccesso: adottare terapie con effetti statisticamente significativi ma clinicamente irrilevanti, semplicemente perché uno studio molto grande ha prodotto un p-value rassicurante. Il secondo è il difetto: scartare evidenze promettenti perché uno studio è troppo piccolo per raggiungere la soglia di p < 0.05, ignorando che l’effetto osservato era comunque sostanziale. In entrambi i casi, la decisione clinica si è fondata sul numero sbagliato.

Cosa dice la comunità scientifica

La consapevolezza di questi limiti non è nuova, ma negli ultimi anni ha guadagnato forza istituzionale. Nel 2016 l’American Statistical Association ha pubblicato una presa di posizione esplicita contro l’uso meccanico del p-value come unico criterio di significatività: un documento che ha segnato un punto di svolta nel dibattito metodologico internazionale¹. L’American Psychological Association raccomanda nelle sue linee guida editoriali di riportare l’effect size in ogni studio, considerandolo un requisito irrinunciabile per interpretare la rilevanza pratica dei risultati². Le linee guida CONSORT per i trial randomizzati e STROBE per gli studi osservazionali lo richiedono esplicitamente nella reportistica. Le grandi riviste scientifiche scoraggiano sempre più spesso l’interpretazione dicotomica dei risultati, chiedendo agli autori non solo di dichiarare se un effetto è significativo, ma di spiegare quanto è grande e quanto possiamo fidarci della stima.

Il messaggio che emerge da queste posizioni è convergente: p-value, effect size e intervalli di confidenza non sono tre modi alternativi di dire la stessa cosa. Rispondono a tre domande diverse — l’effetto esiste? quanto è grande? con quanta precisione lo stimiamo? — e solo insieme costruiscono un quadro interpretativo completo. Usarne uno solo, qualunque esso sia, significa guardare la realtà attraverso una finestra troppo stretta.

Spostare l’attenzione dal p-value all’effect size non è un dettaglio tecnico: è un cambio di prospettiva su cosa significa fare scienza.Non basta sapere che un effetto è improbabile sotto l’ipotesi nulla. Bisogna sapere se cambia qualcosa — per il paziente, per la pratica, per la conoscenza. La statistica non è un giudice che emette verdetti di significatività. È uno strumento per capire quanto conta ciò che osserviamo.

1. Wasserstein RL, Lazar NA. The ASA’s Statement on p-Values: Context, Process, and Purpose.The American Statistician. 2016;70(2):129–133. DOI: 10.1080/00031305.2016.1154108↩︎
2. American Psychological Association. (2020).Publication Manual of the American Psychological Association(7th ed.).https://doi.org/10.1037/0000165-000↩︎