Un risultato non basta: robustezza, trasparenza ed etica nella Real-World Evidence

C’è un momento in ogni studio osservazionale in cui il ricercatore guarda i risultati e prova una certa soddisfazione. I numeri tornano. L’effetto è statisticamente significativo. La direzione è quella attesa. La tentazione, a questo punto, è fermarsi.

Eppure, non ci si dovrebbe ancora fermare, l’analisi non è completa. Un risultato che regge solo alle condizioni in cui è stato ottenuto — solo con quel modello, solo con quelle variabili, solo con quella finestra temporale — non è ancora un risultato solido. Nella ricerca osservazionale, dove il confondimento non si elimina mai completamente e le scelte metodologiche sono decine, la fragilità dei risultati è sempre in agguato.

Il controllo di robustezza dei risultati non è un passaggio opzionale che si aggiunge se avanza tempo. È la parte del lavoro che trasforma un’analisi in evidenza. E — come vedremo — è anche la parte che distingue una ricerca eticamente responsabile da una che, per quanto tecnicamente sofisticata, non avrebbe dovuto essere pubblicata.

Cosa significa che un risultato è robusto

Un risultato è robusto quando sopravvive alle perturbazioni. Quando cambi qualcosa — le ipotesi del modello, la definizione dell’esposizione, la finestra temporale, il criterio di inclusione — e il risultato rimane sostanzialmente lo stesso. Non identico: i numeri cambieranno sempre un po’. Ma nella stessa direzione, con la stessa magnitudine approssimativa, con le stesse implicazioni cliniche.

Se invece il risultato cambia radicalmente quando modifichi una scelta metodologica che sembrava secondaria — se l’hazard ratio passa da 0.7 a 1.1 spostando la data indice di due settimane, o se l’effetto scompare quando aggiungi una covariata che avevi tralasciato — allora il risultato non è robusto. È fragile. E la pubblicazione di un risultato fragile senza dichiararlo non è solo una debolezza metodologica: è un problema etico.

Douglas Altman, uno dei più influenti statistici medici del Novecento, lo aveva detto con una chiarezza che non ammette interpretazioni: fare statistica in modo scorretto non è solo un errore tecnico — è un atto non etico. Perché i risultati di uno studio influenzano decisioni cliniche reali, su pazienti reali.

La frase di Altman — “un cattivo uso della statistica porta a lavori di ricerca condotti male, e fare ricerca male non è etico” — vale per qualsiasi tipo di ricerca. Ma nella Real-World Evidence, dove le scelte metodologiche sono più numerose e meno standardizzate che nei trial, questo monito vale doppio. Ogni scelta arbitraria non dichiarata, ogni analisi di sensibilità omessa, ogni risultato fragile presentato come solido è un piccolo tradimento della fiducia che il sistema scientifico — e i pazienti — ripone nella ricerca.

Le analisi di sensibilità: mettere sotto pressione i propri risultati

Lo strumento principale per valutare la robustezza di uno studio osservazionale è l’analisi di sensibilità — una famiglia di approcci che hanno in comune l’idea di verificare cosa succede ai risultati quando si cambiano le assunzioni o le scelte metodologiche.

L’errore più frequente è pensare alle analisi di sensibilità come a un controllo da fare alla fine, quasi per completezza. In realtà dovrebbero essere pianificate prima di guardare i dati — nel piano di analisi statistica — e condotte sistematicamente, non selettivamente. Un ricercatore che conduce venti analisi di sensibilità e riporta solo le tre che confermano il risultato principale non sta facendo scienza: sta facendocherry picking.

Variare le definizioni

La prima categoria di analisi di sensibilità riguarda le definizioni operative. Come hai definito l’esposizione? Hai usato la prima prescrizione, la prima dispensazione, il primo acquisto in farmacia? Cosa succede se usi una definizione alternativa? Come hai definito l’esito — con quale algoritmo di codifica, con quale finestra temporale? Variare queste definizioni in modo sistematico e pre-specificato permette di capire quanto i risultati dipendano da scelte che sembrano tecniche ma sono in realtà arbitrarie.

Variare il disegno

La seconda categoria riguarda le scelte di disegno. Cosa succede se allarghi o restringi i criteri di eleggibilità? Se sposti la data indice di qualche settimana? Se cambi la durata del follow-up? Se usi un comparatore diverso? Ciascuna di queste variazioni testa la stabilità dei risultati rispetto a decisioni che avrebbero potuto essere prese diversamente — e che in molti casi non hanno una risposta oggettivamente corretta.

I negative control

Una tecnica particolarmente elegante è quella deinegative control outcomes. L’idea è semplice: identifica un esito che, sulla base della conoscenza clinica, non dovrebbe essere influenzato dal trattamento che stai studiando. Poi analizzalo con lo stesso metodo che hai usato per l’esito principale. Se trovi un’associazione — se il farmaco antipertensivo sembra ridurre anche le fratture ossee — qualcosa non va. Probabilmente c’è confondimento residuo che non hai controllato, o un errore di specificazione nel modello. L’assenza di associazione con il negative control non prova che il risultato principale sia corretto, ma la sua presenza è un segnale di allarme che non si può ignorare.

L’E-value: quantificare ciò che non si può misurare

Tutte le analisi di sensibilità descritte finora riguardano fattori misurati — variabili che hai nei dati e che puoi modificare. Ma il confondimento non misurato — quello che non è mai entrato nel dataset — non si gestisce con le analisi di sensibilità tradizionali. Per quantificarlo esiste uno strumento specifico: l’E-value.

L’E-value risponde a una domanda precisa: quanto forte dovrebbe essere un confondente non misurato — in termini di associazione sia con il trattamento sia con l’esito — per spiegare completamente il risultato osservato e ridurlo a nulla? È una misura della resistenza del risultato al confondimento non misurato.

Immagina di aver trovato che un farmaco riduce la mortalità del 30% — un hazard ratio di 0.7. L’E-value ti dice: un confondente non misurato dovrebbe essere associato al trattamento almeno X volte e all’esito almeno X volte per spiegare interamente questo effetto. Se X è piccolo — diciamo 1.5 — significa che basterebbe un confondente moderato per smontare il risultato. Se X è grande — diciamo 4 o 5 — significa che il risultato è resistente: ci vorrebbe un confondente molto forte, e la sua assenza dal dataset dovrebbe essere giustificata.

L’E-value non elimina l’incertezza sul confondimento non misurato — nessuno strumento può farlo. Ma la rende esplicita e quantificabile, invece di lasciarla come un’ombra vaga che aleggia sui risultati senza essere mai nominata. È la differenza tra dire “potrebbero esserci confondenti non misurati” — che è sempre vero e quindi non dice nulla — e dire “un confondente non misurato dovrebbe avere un’associazione di almeno 3.2 con entrambe le variabili per spiegare il nostro risultato” — che è una affermazione precisa su cui la comunità scientifica può ragionare.

Trasparenza e reporting: la robustezza che si vede

La robustezza metodologica non serve a nulla se non è visibile. Uno studio che ha condotto analisi di sensibilità impeccabili ma non le riporta nella pubblicazione è, dal punto di vista del lettore, indistinguibile da uno che non le ha condotte. La trasparenza nel reporting è il modo in cui la robustezza diventa accessibile alla comunità scientifica — e verificabile.

Il primo strumento di trasparenza è la preregistrazione del protocollo di studio e del piano di analisi statistica prima di guardare i dati. Definire in anticipo la domanda di ricerca, i criteri di eleggibilità, le variabili di interesse, le analisi principali e quelle di sensibilità serve a distinguere ciò che era pianificato da ciò che è emerso esplorando i dati. Questa distinzione non è burocratica: è la differenza tra una conferma di ipotesi e una generazione di ipotesi — due operazioni epistemologicamente diverse che non si possono mescolare senza dichiararlo.

Il secondo strumento è il rispetto delle linee guida per il reporting degli studi osservazionali. LoSTROBE— Strengthening the Reporting of Observational Studies in Epidemiology — è il riferimento principale: fornisce una checklist degli elementi che ogni studio osservazionale dovrebbe riportare, dalla descrizione della coorte alla gestione dei dati mancanti, dalle analisi di sensibilità alle limitazioni. Le estensioniRECORDeRECORD-PEadattano queste indicazioni agli studi condotti su dati routinari — il contesto tipico della RWE.

Rispettare queste linee guida non è un adempimento formale. È il modo in cui uno studio diventa replicabile — in cui un altro ricercatore con gli stessi dati può verificare se arriverebbe alle stesse conclusioni. E la replicabilità, come sappiamo bene, è una delle crisi più profonde della ricerca contemporanea.

La documentazione della coorte

Un elemento di trasparenza spesso sottovalutato è la documentazione dettagliata del processo di costruzione della coorte. Quanti pazienti erano presenti nel database originale? Quanti sono stati esclusi a ogni passaggio, e per quale motivo? Quanti sono rimasti nell’analisi finale? Un diagramma di flusso che risponde a queste domande non è un dettaglio accessorio: è la prova che la popolazione analizzata è quella che si dice di aver analizzato, e che i criteri di eleggibilità sono stati applicati in modo coerente.

L’etica dei dati reali

C’è una dimensione dell’etica nella ricerca con dati real-world che va oltre la robustezza metodologica e il reporting trasparente: è la dimensione della privacy e della governance dei dati.

I dati sanitari sono tra i dati personali più sensibili che esistano. Contengono diagnosi, terapie, comportamenti, vulnerabilità. Sono stati prodotti da pazienti che si sono rivolti al sistema sanitario per essere curati, non per partecipare a uno studio. Il fatto che questi dati vengano usati per ricerca è un privilegio che la comunità scientifica deve guadagnarsi, non un diritto acquisito.

Questo significa rispettare le normative sulla protezione dei dati — il GDPR in Europa, con tutte le sue implicazioni pratiche sulla pseudonimizzazione, la minimizzazione dei dati raccolti, la tracciabilità di ogni passaggio analitico. Ma significa anche qualcosa di più difficile da codificare in una normativa: rispettare la fiducia implicita che i pazienti ripongono nel sistema quando condividono i loro dati.

C’è poi una questione di equità che la ricerca con dati real-world non può ignorare. I modelli statistici e gli algoritmi analitici non sono neutri: possono amplificare bias preesistenti nei dati, produrre risultati che valgono per alcune popolazioni e non per altre, generare evidenza che sistematicamente esclude i gruppi meno rappresentati nei database. Una ricerca che produce evidenza valida solo per pazienti giovani, bianchi, maschi e senza comorbilità — perché sono i più presenti nei dataset — non è solo metodologicamente limitata: è eticamente problematica. Condurre analisi per sottogruppi, documentare esplicitamente i limiti di generalizzabilità, riconoscere chi è assente dai dati tanto quanto chi è presente: queste non sono aggiunte opzionali a uno studio ben fatto. Sono parte del rigore.

La statistica fatta male non è etica.Altman lo ha affermato anni fa, e vale oggi più che mai — in un’epoca in cui la quantità di dati disponibili è senza precedenti e la tentazione di estrarre risultati senza verificarne la solidità è sempre presente. La Real-World Evidence ha un potenziale straordinario: può rispondere a domande che i trial non possono porre, può seguire milioni di pazienti per anni, può produrre evidenza che cambia la pratica clinica. Ma questo potenziale si realizza solo se ogni passo — dalla progettazione al reporting — è fatto con la stessa cura con cui si farebbe uno studio sperimentale. Non perché lo richieda una checklist. Perché dietro ogni dataset ci sono pazienti reali, e le conclusioni che se ne traggono influenzano decisioni reali su di loro.