P-value: cos’é, cosa non è, e perché conta nella ricerca clinica

Se c’è un numero che ha cambiato il modo in cui la scienza comunica i propri risultati, è 0.05. È questa una soglia arbitraria, introdotta quasi per caso negli anni Venti del Novecento, diventata nel tempo il criterio universale con cui si decide se una ricerca è riuscita o fallita. Il p-value inferiore a 0.05 è il santo graal della ricerca clinica: lo cercano i ricercatori, lo pretendono le riviste, lo citano i media. Il problema è che quasi nessuno lo interpreta correttamente.

In questo articolo voglio spiegare cos’è davvero il p-value, da dove viene, cosa può dire, e soprattutto cosa non può dire. Voglio mostrare perché usarlo da solo senza contesto è uno degli errori più comuni e più costosi della ricerca contemporanea.

Da dove viene il p-value

Il concetto di p-value fu introdotto da sir Ronald A. Fisher negli anni Venti del Novecento. Fisher lo propose come strumento pratico per valutare l’evidenza contro un’ipotesi nulla, non come criterio assoluto o come soglia decisionale, ma unicamente come misura orientativa della compatibilità tra i dati osservati e uno scenario di assenza di effetto.

La facilità di calcolo e di interpretazione di questo strumento hanno fatto il resto. Il p-value è stato adottato progressivamente come punto di riferimento della statistica applicata, fino a diventare sinonimo di validità scientifica. Questa evoluzione ha generato una distorsione profonda: uno strumento pensato per orientare il ragionamento è diventato un verdetto.

L’ipotesi nulla: il punto di partenza

Per capire il p-value bisogna prima capire l’ipotesi nulla. In termini semplici, l’ipotesi nulla — indicata con H₀, che si legge “acca zero” — è l’affermazione che non esiste alcun effetto, nessuna differenza, nessuna relazione tra le variabili che si stanno studiando. Il nome “nulla” deriva esattamente da questo: è l’ipotesi di “niente da vedere qui”.

Negli studi clinici, l’ipotesi nulla più comune è che il farmaco in studio non produca effetti diversi rispetto al placebo; in altri termini, che la differenza tra i due gruppi sia zero. L’obiettivo del test statistico è valutare quanto i dati osservati siano compatibili con questo scenario. Quando i dati risultano molto improbabili sotto l’ipotesi nulla — cioè quando sarebbe strano osservarli se davvero non accadesse nulla — abbiamo un indizio per considerare l’ipotesi alternativa (H₁): che qualcosa stia davvero accadendo. Il gioco della statistica inferenziale si svolge tutto qui: non si dimostra che un effetto esiste, si valuta quanto i dati siano difficilmente spiegabili in sua assenza.

Dunque cosa misura il p-value?

In questo gioco tra ipotesi nulla e ipotesi alternativa, il p-value è la probabilità di osservare un risultato uguale o più estremo di quello ottenuto, nell’ipotesi in cui H₀ sia vera. In altre parole: se davvero non ci fosse nessun effetto reale, quanto sarebbe raro osservare dati come i nostri?

Un p-value basso — sotto 0.05, convenzionalmente — suggerisce che i dati sarebbero rari sotto l’ipotesi nulla. Ed è per questo che quando p < 0.05 si grida — erroneamente — all’evidenza scientifica. Un p-value alto — sopra 0.05 — indica invece che i dati sono compatibili con l’assenza di effetto: nessuna scoperta, si torna a casa. È uno schema apparentemente logico. Ed è proprio questa apparente semplicità il problema.

Ciò che il p-value non misura e che spesso gli viene attribuito per errore è ben più rilevante di ciò che misura. Il p-value non è la probabilità che l’ipotesi nulla sia vera. Non dice nulla sulla probabilità che l’effetto osservato sia reale, né sulla sua importanza clinica, né sulla riproducibilità del risultato in altri studi. È esclusivamente una misura di compatibilità tra dati e un’ipotesi di assenza di effetto. Confondere i due piani è uno degli errori più comuni e più costosi della ricerca applicata.

Ma c’è qualcosa di più che vale la pena capire. Anche quando non esiste nessun effetto reale, è possibile ottenere p < 0.05 — e questo accade per puro caso. Se ripeto lo stesso esperimento venti volte in condizioni identiche, senza nessun effetto reale, mi aspetto statisticamente che almeno una volta il p-value scenda sotto la soglia solo per fluttuazione casuale dei dati. Questo risultato si chiamaerrore di tipo I o falso positivo: il test segnala un effetto che non esiste. Non è un malfunzionamento: è esattamente ciò che la soglia 0.05 consente per definizione. Fissare α = 0.05 significa accettare che 1 test su 20 produca un falso positivo anche in assenza di qualsiasi effetto reale.

Questo significa che in una letteratura scientifica dove migliaia di studi vengono condotti ogni anno, una quota di risultati significativi è falsa per definizione, non per frode, non per negligenza, ma per come funziona il meccanismo. Il falso positivo non è un’eccezione: è una conseguenza strutturale dell’uso della soglia 0.05 su scala industriale. Ed è una delle ragioni per cui un singolo studio con p < 0.05 non dovrebbe mai essere considerato una prova definitiva.

La soglia p < 0.05 è diventata lo standard universale della ricerca clinica. Ma da dove viene questo numero, esattamente?

La risposta è meno solenne di quanto ci si aspetti. Sir Fisher, nel suo manuale “Statistical Methods for Research Workers” del 1925, scrisse che un risultato con p < 0.05 poteva essere considerato degno di ulteriore attenzione — una soglia pratica, operativa, proposta in un’epoca in cui i calcoli si facevano a mano e serviva un criterio semplice per orientarsi. Non la derivò da un principio teorico, non la dimostrò come ottimale. La scelse perché era comoda. “Convenzionalmente”, scrisse, “si considera significativo un p inferiore a 0.05.” Una riga in un manuale diventata, nel corso di un secolo, la pietra angolare della validazione scientifica globale.

Sir Fisher stesso, negli anni successivi, mise in guardia contro un uso rigido di quella soglia. Sfortunatamente, non bastò. La facilità della regola — sotto 0.05 sì, sopra 0.05 no — era troppo attraente per un sistema scientifico che aveva bisogno di criteri uniformi e rapidi.

Nella pratica, i valori di p vengono interpretati secondo uno schema approssimativo: p < 0.01 viene considerato evidenza molto forte contro H₀, p < 0.05 evidenza moderata, p > 0.05 evidenza insufficiente. Questo schema ha una certa utilità orientativa, ma applicato rigidamente — significativo sì/no, pubblicabile sì/no — produce distorsioni serie nel modo in cui la scienza seleziona e comunica i propri risultati. Una ricerca con p = 0.049 viene pubblicata. La stessa ricerca con p = 0.051, condotta con lo stesso rigore sugli stessi fenomeni, finisce nel cassetto. La differenza tra i due numeri è trascurabile. Le conseguenze no.

La soglia di significatività può variare a seconda del contesto. In ambiti dove è cruciale ridurre il rischio di falsi positivi, si adottano soglie più restrittive come p < 0.01. In studi esplorativi preliminari, soglie più flessibili possono essere accettabili, purché dichiarate e motivate.

Un esempio concreto

Prendiamo uno studio randomizzato che confronta l’efficacia di un nuovo farmaco con un placebo sulla riduzione della pressione arteriosa. Il test statistico restituisce p = 0.03. Questo significa che, se non ci fosse nessuna differenza reale tra farmaco e placebo, ci sarebbe solo il 3% di probabilità di osservare una differenza pari o superiore a quella rilevata. Poiché 0.03 < 0.05, il risultato è statisticamente significativo.

Ma fermiamoci qui un momento, prima di concludere che il farmaco funziona.

L’intervallo di confidenza al 95% per la differenza media è [-7.2; -1.5] mmHg. Questo range esclude il valore nullo e indica che la riduzione osservata è plausibilmente compresa tra 1.5 e 7.2 mmHg, con una stima precisa.

L’effect size — ad esempio il Cohen’s d — risulta pari a 0.65, un valore di entità media. Questo suggerisce che la differenza ha anche una potenziale rilevanza clinica. Masignificativo non significa clinicamente rilevante: un effetto può essere statisticamente robusto e clinicamente trascurabile, soprattutto con campioni molto grandi dove anche differenze minime raggiungono la significatività.

I tre indicatori da leggere sempre insieme

L’esempio appena visto mostra perché il p-value da solo non basta. Tre indicatori vanno sempre considerati insieme:

Il p-value valuta la significatività statistica. L’intervallo di confidenza mostra la precisione della stima e il range plausibile dei valori. L’effect size indica se l’effetto è abbastanza grande da avere importanza clinica. Solo l’integrazione dei tre consente una valutazione solida.

Il p-hacking: quando la pressione distorce la scienza

In un contesto accademico dove la significatività statistica è spesso criterio di pubblicazione, può sorgere la tentazione di forzare i dati per ottenere p < 0.05. Questo fenomeno è noto comep-hacking, ed è più diffuso di quanto si pensi.

Ilp-hackingcomprende pratiche scorrette come ripetere le analisi cambiando i criteri di inclusione, selezionare post-hoc i sottogruppi che mostrano l’effetto desiderato, modificare il piano analitico senza dichiararlo. L’effetto finale è un aumento sistematico dei falsi positivi: risultati che sembrano significativi solo per effetto di una ricerca distorta, che raramente vengono replicati. È una delle cause principali della crisi di replicabilità che ha investito la ricerca clinica e le scienze sociali negli ultimi vent’anni.

La risposta non è abolire il p-value, ma usarlo con trasparenza: pre-registrare le ipotesi prima di raccogliere i dati, dichiarare tutte le analisi condotte, riportare il valore esatto di p senza arrotondamenti arbitrari, e accompagnarlo sempre con intervallo di confidenza e misura dell’effetto.

Il p-value è uno strumento potente.Ma come tutti gli strumenti, il suo valore dipende da come viene usato. Usarlo come verdetto riduce a una cifra decimale la complessità dell’inferenza statistica. Usarlo per ciò che è — una misura di compatibilità tra dati e un’ipotesi — inserito in un ragionamento più ampio che include precisione delle stime e rilevanza clinica, è un passo verso una ricerca più solida e più onesta.