Metodologia ricerca

STROBE e gli studi osservazionali: come si scrive e come si legge la ricerca che osserva il mondo

C’è una domanda che accompagna chiunque legga un articolo scientifico basato su dati osservazionali: come faccio a sapere se questo studio è stato eseguito “a regola d’arte”? Non si tratta di sfiducia verso gli autori. Si tratta di una questione strutturale: gli studi osservazionali — coorti, caso-controllo, trasversali — non hanno la protezione della randomizzazione. Non assegnano l’esposizione, non controllano il confondimento per costruzione, non possono garantire che i due gruppi a confronto siano comparabili su tutto ciò che conta. Tutta la solidità di uno studio osservazionale dipende da quanto bene è stato progettato, condotto e soprattutto, riportato. Ed è qui che entra STROBE.

STROBE — Strengthening the Reporting of Observational Studies in Epidemiology — è una checklist di 22 voci pubblicata nel 2007 e frutto del lavoro di un gruppo internazionale di epidemiologi, statistici e editor scientifici.1,2 Non è uno strumento per valutare la qualità metodologica di uno studio, né uno standard regolatorio. È uno standard di trasparenza. Esso definisce le informazioni minime che un paper su uno studio osservazionale deve contenere per permettere al lettore di valutare autonomamente cosa è stato fatto, come e perché.

STROBE non certifica che uno studio sia buono: certifica che il lettore ha tutto quello che gli serve per capire se lo è.

Perché il reporting degli studi osservazionali è un problema

Prima di capire cosa fa STROBE, vale la pena capire perché è stato necessario crearlo. Il problema non è che gli studi osservazionali siano intrinsecamente inaffidabili. Anzi sono lo strumento indispensabile per rispondere a domande che non si possono affrontare con un trial randomizzato. Il problema nasce dal fatto che per decenni sono stati riportati in modo eterogeneo, spesso incompleto, con omissioni sistematiche. Problematiche che rendevano dunque impossibile valutare la solidità delle conclusioni.

Una revisione della letteratura pubblicata prima di STROBE aveva mostrato che una quota rilevante di studi osservazionali non riportava informazioni essenziali. In particolare non venivano esplicitati i criteri di eleggibilità, come era stata misurata l’esposizione, come erano stati gestiti i dati mancanti, quali variabili erano state incluse nel modello di aggiustamento e con quale giustificazione. In assenza di queste informazioni, il lettore non può distinguere uno studio ben condotto da uno studio con bias strutturali profondi. E ciò non perché non sia in grado di farlo, ma perché non ha i dati per farlo.

Il problema del reporting riguarda anche la riproducibilità. Uno studio che non descrive in modo sufficientemente preciso la definizione operativa dell’esposizione, della popolazione e dell’outcome non può essere replicato. E se uno studio non può essere replicato, allora non può essere verificato. STROBE nasce da questa consapevolezza: la trasparenza del reporting non è un optional editoriale, è una condizione necessaria per la cumulabilità della conoscenza scientifica.

La struttura di STROBE: cosa chiede e perché

La checklist STROBE si articola in 22 voci distribuite nelle sezioni standard di un paper scientifico: titolo e abstract, introduzione, metodi, risultati, discussione e altre informazioni. Alcune voci si applicano a tutti e tre i disegni principali — coorte, caso-controllo, trasversale — altre sono specifiche per uno solo di essi.

Eccola ampliata, senza forme passive e con più respiro in ciascuna sezione.

Introduzione

Nell’introduzione, STROBE chiede di esplicitare due aspetti: obiettivi e razionale. In particolare si richiede di dichiarare esplicitamente gli obiettivi dello studio, incluse le ipotesi a priori quando esistono, ed esporre con chiarezza il razionale scientifico che ha motivato la ricerca. Queste richieste sono tutt’altro che banali. Gli obiettivi dichiarati in anticipo permettono al lettore di capire cosa lo studio si proponeva di dimostrare. E ciò aiuta a valutare se i risultati lo abbiano effettivamente dimostrato. Il razionale scientifico chiarisce perché quella domanda meritava di essere posta, quali evidenze preesistenti la supportano e quale gap conoscitivo lo studio intende colmare.

Quando questi due elementi mancano o restano vaghi, la qualità dello studio perde importanza sin dalle prime battute. Obiettivi formulati in modo generico come ad esempio “abbiamo esaminato la relazione tra X e Y” senza specificare direzione attesa, popolazione di interesse o orizzonte temporale, rendono impossibile capire se i risultati raggiunti corrispondano a ciò che si voleva davvero misurare. Un razionale assente lascia il lettore senza gli strumenti per valutare se la domanda fosse posta nel modo giusto prima ancora di guardare i dati. In assenza di ipotesi dichiarate a priori, qualsiasi associazione trovata nei dati può sembrare il risultato previsto. STROBE chiede che questa ambiguità venga eliminata prima che il lettore arrivi ai risultati.

Metodi

Nei metodi, le richieste di STROBE diventano più specifiche e più esigenti. Ed è in questo punto che la maggior parte delle omissioni nei paper osservazionali si concentra. Il contesto e le date dello studio devono essere forniti con precisione. È necessario specificare dove è stato condotto lo studio, in quale periodo di arruolamento e di follow-up e con quale fonte di dati. Non importa se i dati provengono da un registro amministrativo, cartella clinica elettronica, coorte prospettica, indagine campionaria: l’importante è dichiararli. Questa informazione non è un dettaglio descrittivo: determina la generalizzabilità dei risultati e la plausibilità dei confronti con altri studi.

Popolazione

La descrizione della popolazione richiede i criteri di eleggibilità ben definiti — chi poteva entrare nello studio e chi ne era escluso — e l’indicazione chiara delle fonti di reclutamento e il metodo di selezione dei partecipanti. Per gli studi caso-controllo, STROBE richiede in aggiunta la definizione operativa di caso e il metodo di selezione dei controlli, perché è da queste scelte che dipende la comparabilità tra i gruppi. Una definizione di caso troppo ampia o troppo ristretta, o un gruppo di controllo selezionato da una popolazione diversa da quella da cui provengono i casi, introduce distorsioni strutturali che nessuna analisi successiva corregge.

Definizioni

La definizione operativa delle variabili è una delle voci più critiche dell’intera checklist. La misura dell’esposizione deve essere specificata con chiarezza specificando come è stata misurata — con quale strumento, in quale momento, da chi — e se lo strumento di misura è stato validato nella popolazione di interesse. La definizione clinica e operativa adottata esplicitando i criteri diagnostici o le fonti di classificazione utilizzate sono invece requisiti fondamentali per la specificazione degli outcome.

Fattori confondenti

Infine, poichè si tratta di studi osservazionali, è necessario esplicitare i confondenti valutando non solo quali variabili sono state incluse nel modello di aggiustamento, ma anche su quale base si sia deciso di includerle. I confondenti possono derivare infatti da letteratura, presentarsi sottoforma di variabili associate all’esposizione nei dati dello studio, o entrambi. Questa distinzione ha conseguenze rilevanti. Includere variabili selezionate empiricamente dai dati senza una giustificazione teorica aumenta il rischio di sovra-aggiustamento e di risultati instabili.

Gestione dei dati mancanti

Una delle voci più importanti e più spesso disattesa nella pratica, riguarda la gestione dei dati mancanti. Sapere descrivere quanti dati mancano, per quali variabili e come questa mancanza sia stata gestita nell’analisi sono considerazioni fondamentali per la credibilità dei risultati. I dati mancanti non sono mai distribuiti a caso in modo innocuo. Il modo in cui vengono trattati può cambiare radicalmente le conclusioni dello studio.

L’analisi dei soli casi completi — i soggetti per cui tutti i dati sono disponibili — è ancora la scelta più comune nei paper osservazionali. Ma se i dati mancano in modo sistematico — se i soggetti con dati mancanti sull’esposizione o sull’outcome differiscono strutturalmente da quelli con dati completi — l’analisi dei casi completi produce stime distorte. La direzione e l’entità di questa distorsione dipendono dal meccanismo che genera la mancanza: un meccanismo missing at random permette correzioni attraverso l’imputazione multipla; un meccanismo missing not at random non è correggibile con metodi standard e richiede analisi di sensibilità esplicite. Questi meccanismi devono essere sempre discussi, non ignorati. Un lettore che non sa quanti dati mancano, per quali variabili e con quale meccanismo probabile, non ha gli strumenti per valutare la robustezza delle stime presentate.

Risultati

Per i risultati, STROBE serve per ricordare che i numeri effettivi a ciascuna fase dello studio devono essere riportati esplicitamente. È infatti fondamentale sapere quanti soggetti erano potenzialmente eleggibili, quanti hanno soddisfatto i criteri di inclusione, quanti sono stati effettivamente arruolati, quanti hanno completato il follow-up e quanti sono entrati nell’analisi finale. Un diagramma di flusso è il modo più chiaro per presentare questa progressione — e la differenza tra il numero di eleggibili e il numero di analizzati non è mai irrilevante: rivela quanta selezione è avvenuta e in quale fase, con quali implicazioni per la rappresentatività del campione.

Le caratteristiche dei partecipanti devono essere descritte per gruppo di esposizione, con misure di tendenza centrale e dispersione appropriate per ciascuna variabile. Questo permette al lettore di valutare la comparabilità tra i gruppi prima dell’aggiustamento e di identificare eventuali squilibri che potrebbero influenzare le stime. Le misure di associazione — rischi relativi, odds ratio, hazard ratio — devono essere riportate sempre con i relativi intervalli di confidenza al 95%, non solo con il p-value. Un intervallo di confidenza comunica sia la direzione che la precisione della stima; un p-value da solo non dice nulla sull’entità dell’effetto né sulla sua rilevanza clinica. Infine, le analisi di sensibilità pre-specificate devono essere presentate con i loro risultati, non solo menzionate nella sezione dei metodi come intenzione.

Discussione

Nella discussione, STROBE chiede qualcosa che non sempre i ricercatori affrontano con sufficiente franchezza: una discussione esplicita dei limiti dello studio. Non un paragrafo generico — “il nostro studio presenta alcune limitazioni che devono essere considerate” — ma una riflessione specifica e articolata sui possibili bias, sulla direzione in cui potrebbero aver distorto i risultati e su quanto quelle distorsioni siano in grado di spiegare le associazioni osservate.

I tre tipi di bias più rilevanti negli studi osservazionali — il bias di selezione, il bias di informazione e il confondimento residuo — meritano ciascuno una discussione dedicata. Il bias di selezione riguarda le differenze sistematiche tra chi è entrato nello studio e chi ne è rimasto fuori: se quelle differenze sono correlate sia all’esposizione che all’outcome, le stime sono distorte. Il bias di informazione riguarda errori sistematici nella misurazione dell’esposizione o dell’outcome: una misura non differenziale — che sbaglia allo stesso modo nei due gruppi — tende ad attenuare le associazioni verso il nulla; una misura differenziale può distorcere in qualsiasi direzione. Il confondimento residuo riguarda i fattori che non sono stati misurati o che sono stati misurati con errore e che restano irrimediabilmente fuori dal modello di aggiustamento. In uno studio osservazionale, non è mai possibile eliminare completamente questa fonte di distorsione. Dichiararla onestamente è parte integrante del rigore scientifico.

STROBE per chi scrive: dalla checklist alla pratica

Usare STROBE come strumento di scrittura significa incorporarlo nel processo di redazione del paper fin dalle prime fasi, non usarlo come lista di spunta finale prima della submission. Il modo più efficace è leggerlo in parallelo con la scrittura della sezione dei metodi — la sezione più critica per un paper osservazionale e quella dove le omissioni hanno le conseguenze più gravi.

La voce sulla definizione delle variabili merita attenzione particolare. Scrivere “l’esposizione era misurata tramite questionario” non è sufficiente: STROBE chiede di specificare quale questionario, se validato e su quale popolazione, in quale momento della raccolta dati, da chi somministrato. La stessa precisione si applica agli outcome — “la mortalità cardiovascolare era definita come…” — e ai confondenti — “abbiamo aggiustato per età, sesso e fumo perché questi fattori sono associati sia all’esposizione che all’outcome sulla base di…”

La voce sui metodi statistici è un’altra area in cui STROBE aiuta a disciplinare la scrittura. Non basta infatti dichiarare l’uso di uno specifico strumento statistico. Le variabili selezionate ed incluse nel modello, la gestione della non linearità per le variabili continue, il trattamento dei valori estremi, la presenza di analisi di sensibilità e la motivazione alla base della loro scelta devono essere sempre esplicitate. Questa precisione non è burocrazia: è la condizione perché un lettore competente possa valutare se le scelte analitiche erano appropriate per la domanda posta.

Valutazione del reporting non della qualità metodologica

Un errore comune nell’uso di STROBE come strumento di scrittura è confonderlo con uno strumento di valutazione della qualità. Quando si applica una linea guida come STROBE, non si valutano se le scelte metodologiche dello studio sono corrette. STROBE ha la finalità unicamente di far sì che nel paper le scelte metodologiche siano appropriatamente descritte. Uno studio che descrive accuratamente un disegno metodologicamente debole ha un buon reporting ma una qualità bassa. Uno studio metodologicamente solido con un reporting incompleto non permette al lettore di verificarne la solidità. La distinzione è fondamentale.

STROBE per chi legge: una guida alla lettura critica

Dal lato del lettore, STROBE offre un framework strutturato per valutare se un paper osservazionale contiene le informazioni necessarie per interpretarne i risultati. Non è l’unico strumento disponibile — per la valutazione della qualità metodologica esistono strumenti specifici come la Newcastle-Ottawa Scale per gli studi di coorte e caso-controllo — ma è il punto di partenza naturale per una lettura critica sistematica.

Le prime domande da porsi leggendo un paper osservazionale con STROBE in mente riguardano i metodi. La popolazione è descritta con sufficiente precisione da capire a chi si applicano i risultati? I criteri di eleggibilità sono dichiarati esplicitamente o restano impliciti? L’esposizione è misurata in modo oggettivo — dati amministrativi, misurazioni biologiche, registri — o è basata su autodichiarazione? Se è autodichiarata, il questionario è validato?

La seconda serie di domande riguarda il confondimento, il problema strutturale più rilevante negli studi osservazionali. Quali variabili sono state incluse nel modello di aggiustamento? Con quale motivazione? I fattori confondenti sono noti sulla base della letteratura, o sono state selezionate empiricamente dai dati? Le variabili di mediazione (quelle variabili che si trovano sul percorso causale tra esposizione e outcome) sono stati appropriatamente valutate e aggiustate? Sono stati esclusi confondenti rilevanti senza spiegazione?

La terza serie di domande riguarda la precisione delle stime. Gli intervalli di confidenza sono riportati per tutte le misure di associazione principali? Sono compatibili con effetti clinicamente rilevanti in entrambe le direzioni, o escludono con ragionevole precisione sia il beneficio che il danno? Il campione era sufficientemente ampio da rilevare l’effetto di interesse, o un risultato negativo potrebbe essere semplicemente un problema di potere statistico?

Cosa STROBE non fa: i limiti di una checklist

STROBE è uno strumento potente, ma ha limiti che vale la pena dichiarare esplicitamente. Non valuta la qualità del disegno dello studio. Un paper può avere un reporting STROBE-compliant e documentare uno studio con confondimento residuo non controllabile, una misura dell’esposizione non valida o una selezione dei partecipanti gravemente distorta. Il reporting trasparente di queste debolezze le rende visibili, ma non le elimina.

STROBE inoltre non protegge dall’interpretazione eccessiva dei risultati. Un paper può descrivere accuratamente un’analisi di associazione e poi discutere i risultati in termini causali che quell’analisi non autorizza. La checklist garantisce che le informazioni necessarie siano presenti, non che vengano interpretate in modo appropriato. Questa responsabilità resta interamente al lettore.

Infine, STROBE non è statico. Dalla sua pubblicazione nel 2007 sono state sviluppate estensioni specifiche per popolazioni e contesti particolari. In particolare esistono STROBE-NutriCohorte per gli studi nutrizionali di coorte, RECORD per gli studi su dati amministrativi e di routine, STROBE-ME per la meta-epidemiologia. Ciascuna estensione aggiunge voci specifiche al nucleo comune della checklist originale, riflettendo le sfide metodologiche proprie di quei contesti.

Trasparenza come atto scientifico

Riportare bene uno studio osservazionale non è un requisito editoriale da soddisfare prima della submission: è un atto scientifico che determina se il contributo dello studio alla conoscenza collettiva è verificabile, cumulabile e utilizzabile. STROBE è lo strumento che rende quella trasparenza strutturata e sistematica — per chi scrive, come disciplina della redazione; per chi legge, come grammatica della lettura critica.

In un panorama in cui gli studi osservazionali costituiscono la quota maggioritaria della letteratura epidemiologica, saper usare questo strumento non è una competenza di nicchia. È parte del bagaglio metodologico di chiunque produca o utilizzi evidenza scientifica.

  1. von Elm, E., Altman, D. G., Egger, M., Pocock, S. J., Gøtzsche, P. C., & Vandenbroucke, J. P., for the STROBE Initiative. (2007). The Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) statement: guidelines for reporting observational studies. The Lancet, 370(9596), 1453–1457. https://doi.org/10.1016/S0140-6736(07)61602-X ↩︎
  2. Vandenbroucke, J. P., von Elm, E., Altman, D. G., Gøtzsche, P. C., Mulrow, C. D., Pocock, S. J., Poole, C., Schlesselman, J. J., & Egger, M., for the STROBE Initiative. (2007). Strengthening the Reporting of Observational Studies in Epidemiology (STROBE): explanation and elaboration. PLOS Medicine, 4(10), e297. https://doi.org/10.1371/journal.pmed.0040297 ↩︎
∴
Newsletter

Un numero al mese, senza rumore.

Un editoriale al mese, gli articoli in evidenza. Niente promozioni.