C’è una storia che mi torna in mente ogni volta che leggo di una nuova scoperta scientifica annunciata come definitiva. È una storia antica, di origine taoista, e racconta di un contadino cinese.
Molti anni fa, nelle campagne cinesi, un uomo viveva con suo figlio in un piccolo villaggio. Erano poveri: avevano una baracca, un campo e un cavallo con cui il contadino lavorava la terra ogni giorno.
Un mattino il cavallo scappò oltre le colline. Gli abitanti del villaggio vennero a trovarlo. “Senza il cavallo non puoi lavorare. Che sfortuna hai avuto”, dissero.
Il contadino rispose: “Forse sì, forse no. Vedremo”.
La settimana dopo il cavallo tornò e con sé portava due cavalli selvatici. Da un cavallo, il contadino si ritrovò con tre cavalli. “Avevi un cavallo e ora ne hai tre. Che fortuna hai avuto”, dissero i vicini.
“Forse sì, forse no. Vedremo”.
Qualche giorno dopo il figlio stava addestrando uno dei cavalli selvatici quando l’animale si agitò e lo scalciò con forza. Il ragazzo cadde e si ruppe una gamba. “Tuo figlio è l’unico che ti aiuta nei campi. Che sfortuna hai avuto”, dissero i vicini.
“Forse sì, forse no. Vedremo”.
Qualche settimana più tardi, dei soldati dell’esercito imperiale arrivarono nel villaggio a reclutare giovani uomini per una guerra lontana, in cui pochi sarebbero tornati. Quando raggiunsero la baracca del contadino, videro il figlio con la gamba ingessata e passarono oltre. “I nostri figli vanno a morire in guerra mentre il tuo resta a casa. Che fortuna hai avuto”, dissero i vicini.
Il contadino rispose, come sempre: “Forse sì, forse no. Vedremo”.
La storia finisce qui o almeno questa è la versione che si conosce. Ma potrebbe continuare all’infinito: ogni episodio che sembra una risposta definitiva diventa il presupposto di un capovolgimento successivo.
I vicini sbagliano ogni volta. Non per stupidità, ma per frettolosità. Giudicano ogni episodio come se fosse la storia intera. Il contadino non conosce il futuro più di loro. Ma sa una cosa che loro non sanno: che ogni evento isolato è quasi sempre troppo poco per capire davvero cosa sta succedendo.
Questo è, in modo sorprendentemente preciso, il problema centrale della ricerca scientifica contemporanea. Scopriamo di più.
I vicini leggono i titoli. Il contadino legge la letteratura.
Ogni anno vengono pubblicati milioni di articoli scientifici. Ognuno racconta un episodio: un campione, un intervento, un outcome, un p-value. Ognuno, preso singolarmente, sembra una risposta. E i vicini — i media, le riviste, i comunicati stampa degli atenei — pronunciano il loro verdetto: scoperta, breakthrough, svolta.
Ma la ricerca non funziona così. O meglio: non dovrebbe funzionare così.
Nel 2003, ilNew England Journal of Medicinepubblicò i risultati definitivi delWomen’s Health Initiative, uno dei più grandi trial clinici mai condotti (oltre 16.000 donne)1. La conclusione sembrava netta: la terapia ormonale sostitutiva in menopausa aumentava il rischio cardiovascolare. Da qui titoli ovunque: “La terapia ormonale fa male al cuore”.
Nel 2007, Rossouw e colleghi pubblicarono su JAMA un’analisi per sottogruppi degli stessi dati WHI, esplorando se l’effetto variasse in base all’età di inizio della terapia e agli anni trascorsi dalla menopausa2. Il risultato apriva uno scenario più complesso: nelle donne che avevano iniziato la terapia entro dieci anni dalla menopausa, il rischio di coronaropatie mostrava una tendenza favorevole — hazard ratio di 0.76, con un intervallo di confidenza che includeva l’unità. Il trend complessivo raggiungeva la significatività statistica (p = 0.02), ma gli stessi autori precisavano che i risultati nei singoli sottogruppi non soddisfacevano i criteri prestabiliti per la significatività. Non era ancora una risposta definitiva. Era una domanda che si precisava.
Nel 2019, una revisione sistematica e meta-analisi su trentuno trial randomizzati — oltre 40.000 donne in totale — confermò l’eterogeneità del trattamento tra iniziatrici giovani e anziane per mortalità totale e cardiaca3. Lo stesso fenomeno, tre momenti diversi nella letteratura, tre risposte diverse. Nessuna delle tre evidenza era sbagliata. Ma nessuna delle tre era la storia intera. La cosiddettatiming hypothesis— l’idea che l’effetto cardiovascolare della terapia ormonale dipenda da quando viene iniziata — emerge solo quando si guarda la sequenza, non il singolo episodio.
Un singolo studio è come il cavallo che scappa. Può sembrare una sfortuna, una fortuna, o nessuna delle due. Lo si capisce solo aspettando gli episodi successivi.
Perché il singolo studio può ingannare, anche quando è ben fatto
Da questo esempio emerge che il problema non è che i singoli studi siano mal condotti. Molti sono metodologicamente rigorosi, con randomizzazione impeccabile, analisi pre-specificate, campioni adeguati. Il problema è più profondo e strutturale: ogni studio è condotto in un contesto specifico, su una popolazione specifica, in un momento specifico. Questi fattori influenzano i risultati in modi che nessuna analisi singola può eliminare completamente.
Il primo elemento che occorre considerare è la variabilità del campionamento. Anche con randomizzazione perfetta, il campione di uno studio è una delle infinite possibili realizzazioni della popolazione. Per puro caso, il campione di uno studio può essere leggermente più giovane, più sano, più aderente al trattamento rispetto alla media. Questo introduce una variabilità nei risultati che nessun test statistico può eliminare del tutto, può solo quantificarla.
Il secondo aspetto da ricordare è la specificità del contesto. Un farmaco testato in un ospedale universitario del Nord Europa su pazienti con alto livello di istruzione e buona compliance può produrre risultati molto diversi dallo stesso farmaco testato in un contesto a risorse limitate con pazienti con molteplici comorbidità. L’effetto non è falso in nessuno dei due casi, ma non è lo stesso effetto.
Terzo, e forse il più insidioso, elemento da prendere in considerazione è ilpublication bias. Gli studi con risultati positivi vengono pubblicati. Quelli con risultati negativi o nulli finiscono nel cassetto4,5,6. Il risultato è una letteratura scientifica sistematicamente distorta verso l’effetto positivo e ciò non perché i ricercatori mentano, ma perché il sistema premia la novità e penalizza la conferma e la confutazione. Se cinque studi hanno testato un farmaco e quattro hanno trovato nessun effetto, ma solo quello positivo è stato pubblicato, un lettore che conosce solo la letteratura pubblicata vedrà una scoperta. Il contadino, che ha aspettato tutti gli episodi, vedrà qualcos’altro.
Dalla progettazione alla pubblicazione, supporto metodologico completo, rigoroso e firmato.
Il contadino fa meta-analisi
Esiste uno strumento metodologico che fa esattamente ciò che fa il contadino: aspetta tutti gli episodi prima di pronunciare un giudizio. Si chiama meta-analisi ed insieme alle revisioni sistematiche rappresenta il livello più alto della gerarchia delle evidenze nella ricerca clinica.
L’idea è semplice. Invece di fidarsi di un singolo studio — un singolo episodio — si raccolgono tutti gli studi disponibili su una stessa domanda, si valuta la loro qualità metodologica, si combinano i risultati in modo statisticamente rigoroso, e si stima l’effetto aggregato. Il risultato è una stima basata su più campioni, più contesti, più momenti, molto meno sensibile alla variabilità casuale di un singolo studio.
La meta-analisi risolve anche, almeno in parte, il problema delpublication bias. Tecniche come ilfunnel plot— che visualizza la distribuzione degli studi per dimensione del campione e ampiezza dell’effetto — permettono di identificare asimmetrie sospette che suggeriscono studi mancanti nel cassetto. Il metodo ditrim and fillprova a stimare quanti studi non pubblicati ci sarebbero e come cambierebbero le conclusioni se fossero inclusi. Non è una soluzione perfetta, ma è molto meglio che ignorare il problema.
Torniamo alla storia della terapia ormonale. Nessuno dei tre studi che ho citato — quello del 2003, quello del 2007, quello del 2012 — aveva torto. Ciascuno vedeva un pezzo reale della realtà. Ma solo la meta-analisi del 2012, che integrava i dati di quarantamila donne da studi diversi condotti in periodi diversi, riusciva a distinguere ciò che dipendeva dall’intervento da ciò che dipendeva dal contesto. Solo guardando tutti gli episodi insieme emergeva la struttura sottostante.
La meta-analisi non è la somma degli studi. È la risposta alla domanda che nessun singolo studio può fare: cosa succede, in media, attraverso tutti i contesti in cui questo effetto è stato cercato?
Quando la meta-analisi inganna: il garbage in, garbage out
Il contadino, però, non è infallibile. Aspettare tutti gli episodi serve solo se gli episodi sono affidabili. Se ogni racconto che arriva al villaggio fosse già distorto alla fonte — esagerato, incompleto, selezionato — la pazienza del contadino non basterebbe a correggere l’errore. Anzi: più episodi distorti si accumulano, più la conclusione sbagliata sembra solida.
Nella ricerca, questo è il problema del GIGO —garbage in,garbage out. Una meta-analisi che combina studi metodologicamente deboli produce una stima precisa di un effetto probabilmente distorto. La precisione statistica — intervalli di confidenza stretti, p-value basso — può dare un’impressione di solidità che i dati sottostanti non giustificano. Non è la quantità degli episodi che conta: è la loro qualità.
Per questo lerevisioni sistematichedi qualità non si limitano a raccogliere tutti gli studi disponibili: valutano sistematicamente il rischio di bias di ciascuno, usando strumenti standardizzati come ilRoB2e producono stime che tengono conto della qualità metodologica oltre che dei numeri. Uno studio ad alto rischio di bias viene incluso, ma il suo peso nell’analisi aggregata è ridotto o la sua presenza viene dichiarata come limite delle conclusioni.
Il contadino nella sua saggezza sa anche questo: non tutti gli episodi meritano lo stesso peso. Un racconto di seconda mano, sentito da qualcuno che ha sentito qualcun altro, non vale quanto un’osservazione diretta. La gerarchia delle evidenze — con i trial randomizzati in cima e icase reportin fondo — è esattamente questo: un sistema per pesare gli episodi in base alla loro affidabilità.
Come leggere un singolo studio senza diventare uno dei vicini del contadino
Detto tutto questo, i singoli studi non sono inutili. Sono gli episodi di cui è fatta la storia. Senza di loro non ci sarebbe nessuna meta-analisi da fare, nessuna sintesi da costruire. Il punto non è ignorarli, ma è leggerli nel modo giusto.
Quando leggo un singolo studio, le domande che mi faccio sono sempre le stesse. Chi sono i partecipanti, e quanto sono simili alla popolazione a cui voglio applicare i risultati? Qual è la dimensione dell’effetto, non solo la sua significatività statistica? L’intervallo di confidenza è stretto o ampio? Quanto è coerente questo risultato con gli studi precedenti sullo stesso argomento? Esistono studi che hanno trovato risultati diversi, e come si spiegano le differenze?
Nessuna di queste domande chiede di sospendere il giudizio indefinitamente. Chiedono di proporzionare il giudizio all’evidenza disponibile. Un singolo studio ben condotto, con un campione grande, un effetto consistente con la letteratura precedente e un razionale biologico plausibile, merita più fiducia di un singolo studio piccolo su un effetto inatteso. Ma nessuno dei due è ancora la storia intera.
Leggere la ricerca come il contadino significa chiedersi sempre: questo è un episodio o una conclusione? E se è un episodio — com’è quasi sempre — quanti altri episodi esistono, e cosa dicono insieme?
I vicini nella storia non hanno torto nel giudicare.Hanno torto nel giudicare ogni episodio come se fosse l’ultimo. Il cavallo che scappa non è una sfortuna definitiva. Il cavallo che torna con dodici altri non è una fortuna definitiva. La gamba rotta non è una sfortuna definitiva. Sono episodi. E il significato degli episodi — nella vita come nella ricerca — emerge solo quando si ha la pazienza di aspettare che la storia si dispieghi.
Il contadino non risponde “forse” per indifferenza o per saggezza mistica. Risponde “forse” perché è l’unica risposta onesta con un campione di uno. La ricerca scientifica ha impiegato secoli per costruire strumenti — la replicazione, la meta-analisi, la revisione sistematica — che trasformano quel forse in qualcosa di più solido. Non una certezza. Una stima calibrata, basata su più episodi, con un margine di incertezza dichiarato e quantificato. È la cosa più vicina alla verità che la scienza riesce a produrre. Ed è moltissimo.
- Manson, J.E. et al.; Women’s Health Initiative Investigators (2003). Estrogen plus progestin and the risk of coronary heart disease.New England Journal of Medicine, 349(6), 523–534.https://doi.org/10.1056/NEJMoa030808↩︎
- Rossouw, J.E. et al. (2007). Postmenopausal hormone therapy and risk of cardiovascular disease by age and years since menopause.JAMA, 297(13), 1465–1477.https://doi.org/10.1001/jama.297.13.1465↩︎
- Nudy, M., Chinchilli, V.M., Foy, A.J. (2019).A systematic review and meta-regression analysis to examine the ‘timing hypothesis’ of hormone replacement therapy on mortality, coronary heart disease, and stroke.Int J Cardiol Heart Vasc, 22, 123–131.https://doi.org/10.1016/j.ijcha.2019.01.001↩︎
- Easterbrook, P.J., Berlin, J.A., Gopalan, R., Matthews, D.R. (1991). Publication bias in clinical research.Lancet, 337(8746), 867–872.https://doi.org/10.1016/0140-6736(91)90201-Y↩︎
- Dickersin, K., Chan, S., Chalmers, T.C., Sacks, H.S., Smith, H. Jr. (1987). Publication bias and clinical trials.Controlled Clinical Trials, 8(4), 343–353.https://doi.org/10.1016/0197-2456(87)90155-3↩︎
- Dwan, K., Altman, D.G., Arnaiz, J.A. et al. (2008). Systematic review of the empirical evidence of study publication bias and outcome reporting bias.PLoS ONE, 3(8), e3081.https://doi.org/10.1371/journal.pone.0003081↩︎
Nota editoriale
Questo articolo ha finalità divulgative e informative. I contenuti non costituiscono consulenza professionale e non sostituiscono una valutazione specifica del tuo studio o progetto di ricerca. Mathsly Research declina ogni responsabilità per decisioni metodologiche o analitiche adottate sulla base dei soli contenuti del magazine senza consulenza professionale dedicata. Per supporto specifico:mathsly.it.