Mele, arance e revisioni sistematiche: perché i criteri di eleggibilità fanno tutta la differenza

C’è una decisione che precede qualsiasi analisi, qualsiasi forest plot, qualsiasi sintesi dei dati: decidere quali studi entrano in una revisione sistematica e quali restano fuori. Sembra una questione preliminare, quasi burocratica. Una sorta di lista da spuntare prima di arrivare alla parte interessante. No, non funziona così. Mettere insieme studi diversi senza criteri espliciti è esattamente come sommare mele e arance. Il risultato è un numero, ma quel numero non significa niente. I criteri di eleggibilità sono il momento in cui il ricercatore definisce, con precisione chirurgica, la domanda a cui vuole davvero rispondere. Sono la spina dorsale metodologica dell’intera revisione. Tutto ciò che viene dopo — la strategia di ricerca, l’estrazione dei dati, la meta-analisi, la sintesi narrativa — dipende da quanto quei criteri sono stati costruiti con coerenza e lungimiranza.

Caso studio

Immaginiamo di voler capire se la sedentarietà prolungata aumenta il rischio cardiovascolare negli adulti. Sappiamo, anche chi non è medico, che la sedentarietà è un fattore di rischio. Ma se poniamo una tale domanda in una revisione sistematica, la stessa domanda che appare chiara, quasi quanto la risposta da profani, si sgretola appena si inizia a cercare studi. Ci si accorge infatti che “sedentarietà” può significare cose molto diverse a seconda del contesto. La sedentarietà può corrispondere a meno di 150 minuti di attività fisica moderata a settimana per un trial controllato randomizzato. Oppure a più di otto ore consecutive in posizione seduta per uno studio di coorte. O anche ad assenza di attività fisicamente impegnativa nel tempo libero per un’indagine trasversale.

Per “adulti” si intendono negli studi soggetti diversi. In uno studio gli adulti sono soggetti sopra i 40 anni vista la finalità dello studio, in un altro sopra i 18, e qualcuno usa il termine adulto per soggetti oltre i sessantacinque. Alcuni lavori misurano la mortalità cardiovascolare a lungo termine, altri il rischio di primo infarto non fatale, altri ancora la variazione della pressione arteriosa sistolica dopo un intervento di riduzione della sedentarietà. Questi non sono studi sullo stesso fenomeno con sfumature diverse: sono mele, arance ed anche qualche ciliegia.

Senza criteri di eleggibilità espliciti, coerenti e dichiarati prima dell’avvio della ricerca, includerli tutti — seppur sistematicamente — significa chiamare frutto misto quello che è semplicemente un cesto disordinato, neanche una macedonia. Il problema non è solo metodologico: è epistemologico. Si sta rispondendo a domande diverse fingendo che siano la stessa.

I criteri di eleggibilità non sono un filtro arbitrario: sono la traduzione operativa della domanda di ricerca.

Il framework PICO come architettura dei criteri

Nella pratica delle revisioni sistematiche, i criteri di eleggibilità si strutturano quasi sempre attorno alframework PICO— Population, Intervention, Comparator, Outcome — a cui si aggiunge, con uguale importanza, il tipo di disegno dello studio. Non si tratta di una convenzione formale da rispettare per soddisfare i revisori di una rivista. Il PICO è prima di tutto uno strumento cognitivo. Esso obbliga il ricercatore a scomporre la domanda di ricerca nei suoi elementi costitutivi e a operazionalizzare ciascuno di essi in modo indipendente. Ogni elemento diventa un asse lungo il quale tracciare i confini dell’inclusione, e quindi la linea che separa le mele dalle arance.

Prendere sul serio il PICO significa rendersi conto che ogni suo componente porta con sé un insieme di decisioni non banali. La popolazione non è solo una categoria demografica. Essa include considerazioni sulla severità della condizione di interesse, sulla presenza o assenza di comorbidità rilevanti, sull’età, sul sesso, sul contesto geografico e assistenziale. L’intervento — o, nel caso degli studi osservazionali, l’esposizione — deve essere definito in modo sufficientemente preciso da escludere varianti che, pur simili in superficie, differiscono nella sostanza. Il comparatore stabilisce rispetto a cosa si misura l’effetto: placebo, trattamento standard, assenza di esposizione, un livello diverso della stessa esposizione. L’outcome, infine, non è semplicemente la variabile dipendente. È la manifestazione clinica o biologica che la revisione si propone di spiegare. La sua definizione determina quali misure di effetto sono confrontabili tra studi diversi.

PICO nel caso studio

Torniamo all’esempio sulla sedentarietà e il rischio cardiovascolare. Se la popolazione di interesse sono gli adulti tra i 40 e i 75 anni senza storia pregressa di malattia cardiovascolare accertata, questo criterio esclude automaticamente gli studi condotti su popolazioni adulte ma con età inferiore ai 40 anni, su pazienti già cardiopatici, su anziani istituzionalizzati con profili di mobilità e rischio strutturalmente diversi. Non perché quelle popolazioni siano meno interessanti sul piano clinico o scientifico, anzi, ciascuna meriterebbe una revisione dedicata. Ma perché rispondere alla domanda su quella specifica popolazione richiede studi che l’abbiano effettivamente arruolata. Includere uno studio su pazienti post-infarto in fase di riabilitazione significherebbe introdurre un confondimento strutturale che nessuna analisi successiva è in grado di correggere completamente. Il rischio cardiovascolare residuo in quella popolazione non è comparabile con quello di un adulto sano con stile di vita sedentario. Sono frutti diversi, anche se provengono dallo stesso giardino.

La stessa logica si applica, con altrettanta precisione, all’esposizione. Se si definisce la sedentarietà come più di otto ore al giorno trascorse in posizione seduta, misurate attraverso accelerometria o questionari validati con follow-up minimo di dodici mesi, si stanno escludendo studi che hanno usato misure proxy non validate, studi con finestre di osservazione troppo brevi per cogliere effetti cardiovascolari significativi, studi che hanno raccolto dati sull’attività fisica ma non sulla sedentarietà come comportamento distinto. Ciascuna di queste esclusioni è una scelta che deve essere giustificata. E giustificare una tale scelta non può essere un semplice “abbiamo deciso così”. Giustificare significa dare una motivazione ragionata e logica coerente con la domanda che si sta ponendo e con la biologia del fenomeno che si sta studiando.

Pertinenza e qualità: una distinzione che vale la pena fare

Uno degli errori più frequenti e più insidiosi nella costruzione dei criteri di eleggibilità è confondere la qualità metodologica di uno studio con la sua pertinenza rispetto alla domanda di ricerca. Sono due dimensioni ortogonali e trattarle come se fossero la stessa cosa produce conseguenze serie in entrambe le direzioni. Detto con la nostra metafora: che una mela sia bella, lucida e perfettamente matura, non la rende un’arancia. E che un’arancia abbia qualche ammaccatura, non la esclude dal cesto delle arance.

Il valore della pertinenza

Un lavoro pubblicato su una rivista ad alto impact factor, con un disegno randomizzato controllato, un campione ampio e un’analisi statistica impeccabile, può essere perfettamente non eleggibile per la revisione semplicemente perché ha arruolato una popolazione diversa, ha misurato un outcome diverso o ha usato una definizione dell’esposizione incompatibile con quella adottata nel protocollo. Non includerlo non è un giudizio sulla sua qualità. È un riconoscimento del fatto che quello studio risponde a una domanda diversa dalla nostra.

Viceversa, uno studio con alcuni limiti metodologici riconosciuti — un campione di dimensioni moderate, un follow-up più breve dell’ideale, una misurazione dell’esposizione basata su questionario autoriferito anziché su dati oggettivi — può essere pienamente eleggibile se risponde alla domanda nella popolazione giusta, con l’esposizione giusta, misurando l’outcome giusto. Includerlo e poi valutarne criticamente la qualità attraverso gli strumenti appropriati è la cosa metodologicamente corretta da fare.

Qualità non è sinonimo di pertinenza

La valutazione della qualità — affidata a strumenti come ilCochrane Risk of Bias Toolnella sua versione aggiornata RoB 2 per gli studi randomizzati, la Newcastle-Ottawa Scale per gli studi osservazionali di coorte e caso-controllo, o QUADAS-2 per gli studi diagnostici — viene dopo la selezione per eleggibilità e riguarda quanto bene uno studio risponde alla domanda per cui è stato incluso. Confondere i due momenti significa o escludere studi rilevanti per ragioni che non c’entrano con la loro pertinenza o includere studi irrilevanti perché metodologicamente solidi. In entrambi i casi, il risultato è una revisione che risponde a una domanda diversa da quella dichiarata.

Nell’esempio sulla sedentarietà, uno studio di coorte prospettico su 1.200 adulti con misurazione dell’attività fisica tramite questionario autoriferito potrebbe avere un rischio di bias di misura non trascurabile. Ma se ha arruolato esattamente la popolazione di interesse, ha seguito i partecipanti per almeno cinque anni e ha misurato la mortalità cardiovascolare come outcome primario, va assolutamente incluso. La sua qualità metodologica entrerà nella valutazione del rischio di bias, influenzerà la certezza delle prove secondo il framework GRADE, e verrà discussa nelle limitazioni. Non mina la sua eleggibilità ai fini della revisione.

Criteri troppo stretti, criteri troppo larghi: dove si perde la revisione

C’è una tensione strutturale nella costruzione dei criteri di eleggibilità che chiunque svolga una revisione sistematica prima o poi si trova ad affrontare: quanto devono essere restrittivi questi criteri? La risposta non è né il più possibile né il meno possibile. La risposta dipende dalla domanda, dalla letteratura disponibile e da una valutazione realistica di quanto eterogeneità clinica e metodologica la revisione è in grado di gestire. Se troppo stretti allora il cesto sarà quasi vuoto. Se troppo larghi allora nel cesto finisce di tutto (anche i palloni da basket!).

Criteri stringenti

Criteri eccessivamente stringenti producono revisioni con un numero molto ridotto di studi inclusi. In sé, questo non è necessariamente un problema. Se esistono solo cinque studi che soddisfano rigorosamente tutti i criteri, quella è la risposta che la letteratura dà alla domanda.

Il problema emerge quando i criteri restrittivi non derivano da esigenze metodologiche genuine ma da scelte implicite, spesso non dichiarate o addirittura inconsapevoli, che riflettono pregiudizi del ricercatore, familiarità con certi filoni di letteratura o semplicemente scarsa conoscenza dell’eterogeneità reale degli studi disponibili. Una revisione con cinque studi inclusi e criteri che avrebbero potuto ragionevolmente includerne venti non è una revisione rigorosa. È una revisione limitata mascherata da rigore.

Criteri permissivi

Criteri eccessivamente permissivi producono il problema opposto. Una raccolta di studi talmente eterogenei — per popolazione, per definizione dell’esposizione, per tipo di outcome, per disegno — che qualsiasi tentativo di sintesi quantitativa produce un risultato statisticamente significativo ma clinicamente privo di senso.

L’eterogeneità, misurata attraverso l’I² di Higgins o il Q di Cochran, non è un problema se riflette una variabilità reale e interpretabile tra studi. Diventa un problema quando è così elevata da rendere il pooling dei dati una finzione. Si può calcolare un odds ratio combinato su studi che misurano cose diverse, ma quel numero non ha un’interpretazione biologica o clinica difendibile. È la frutta mista che nessuno ha ordinato.

Tornando al caso studio, si immagini di voler includere qualsiasi studio che abbia misurato l’attività fisica in adulti e abbia riportato qualche outcome cardiovascolare. Il risultato sarebbe un insieme di studi che vanno da trial di esercizio fisico strutturato a indagini trasversali sull’attività nel tempo libero, da misurazioni accelerometriche su coorti di decine di migliaia di persone a questionari autoriferiti su campioni di convenienza, da outcome come la mortalità totale a biomarker surrogati come la proteina C-reattiva. Tecnicamente, tutti questi studi parlano di attività fisica e cuore. Metodologicamente, non stanno rispondendo alla stessa domanda.

Il punto di equilibrio si trova, seppur non sempre facilmente, attraverso una ricerca preliminare della letteratura che precede la scrittura del protocollo, attraverso il confronto tra i revisori e attraverso la definizione di criteri che siano giustificabili non solo internamente alla revisione ma rispetto alla biologia del fenomeno e alle esigenze della pratica clinica o della politica sanitaria a cui la revisione vuole rispondere.

La pre-registrazione del protocollo: un impegno pubblico e verificabile

Accanto a tutto ciò, c’è una dimensione dei criteri di eleggibilità che va oltre la metodologia in senso stretto e tocca l’integrità della ricerca. I criteri devono essere definiti prima di vedere i risultati degli studi. Modificarli dopo aver consultato i dati, anche con le migliori intenzioni, anche per ragioni apparentemente plausibili, introduce un bias di selezione che compromette l’intera revisione in modo difficilmente recuperabile. È come scegliere cosa mettere nel cesto dopo aver già visto cosa c’è nel frutteto. La selezione non è più cieca e non è più affidabile.

Il meccanismo è sottile ma potente. Se il ricercatore consulta i dati prima di finalizzare i criteri, anche involontariamente le sue scelte vengono influenzate da ciò che ha visto. Tende a includere studi che confermano l’ipotesi che si è già formata, a escludere quelli che producono risultati discordanti invocando ragioni metodologiche post hoc, a restringere o allargare la definizione di popolazione o outcome in modo da ottenere una sintesi più pulita. Questo non è necessariamente disonestà. È una distorsione cognitiva a cui nessun ricercatore è immune se non si è dato vincoli espliciti e verificabili in anticipo.

Registrazione PROSPERO

La pre-registrazione del protocollo suPROSPERO— il registro internazionale delle revisioni sistematiche gestito dal Centre for Reviews and Dissemination dell’Università di York — esiste esattamente per questo: rendere i criteri di eleggibilità, la strategia di ricerca, gli outcome primari e secondari e il piano di analisi un impegno pubblico, datato e verificabile. Non è una formalità. È la differenza tra una revisione sistematica e una revisione narrativa con un’apparenza di sistematicità.

Nel caso studio sulla sedentarietà, registrare su PROSPERO significa dichiarare in anticipo che saranno inclusi studi osservazionali prospettici e trial randomizzati controllati, con follow-up minimo di dodici mesi, in adulti tra i 40 e i 75 anni senza storia cardiovascolare pregressa, che abbiano misurato la sedentarietà come esposizione primaria — non come proxy dell’inattività fisica — e che abbiano riportato come outcome la mortalità cardiovascolare, l’incidenza di eventi coronarici o cerebrovascolari maggiori o entrambi. Se dopo aver letto gli studi si decide di modificare uno di questi criteri, la modifica va dichiarata esplicitamente, con data e motivazione. Non sparisce nel testo dei metodi come se fosse sempre stata lì.

Dichiarare i confini è parte del rigore

Includere ed escludere con criterio significa, in ultima analisi, assumersi la responsabilità epistemica della propria domanda di ricerca. Ogni confine tracciato nei criteri di eleggibilità è una scelta che determina non solo cosa entra nell’analisi, ma cosa la revisione può e non può dire, ossia quali popolazioni può informare, quali contesti clinici può orientare, quali domande lascia inevitabilmente aperte. Scegliere con cura cosa mettere nel cesto non è un limite: è la condizione perché il cesto abbia un senso.

Una revisione sistematica sulla sedentarietà in adulti di mezza età senza storia cardiovascolare non può dire nulla di definitivo sul rischio nei pazienti con diabete di tipo 2, negli anziani con mobilità ridotta, nei lavoratori con turni notturni. Può dire qualcosa di preciso e affidabile sulla popolazione per cui è stata costruita. Questa limitazione non è una debolezza. È il prezzo del rigore. Una revisione che pretende di rispondere a tutto risponde, in realtà, a niente con sufficiente precisione.

Dichiarare con chiarezza i confini nei metodi, nelle limitazioni, nella discussione, e già nel titolo quando è possibile, non è un’ammissione di insufficienza. È la firma di un lavoro che sa esattamente cosa sta facendo e perché. In un panorama scientifico in cui le revisioni sistematiche proliferano e non tutte mantengono le promesse del metodo, questa chiarezza è, essa stessa, un contributo al rigore collettivo della ricerca.

I criteri di eleggibilità non sono la porta d’ingresso della revisione sistematica: ne sono il cuore.Definire chi entra e chi resta fuori non è un atto amministrativo — è l’atto più scientifico dell’intera impresa. Farlo bene, farlo prima, farlo in modo trasparente e difendibile: è lì che si decide se una revisione sistematica produce conoscenza o soltanto volume.