Il disegno dello studio: scegliere prima di raccogliere i dati

Prima di raccogliere un dato, prima di reclutare un paziente, prima di aprire un database, c’è una decisione che condiziona tutto il resto: quale disegno di studio si vuole usare. Non è una scelta tecnica da delegare al biostatistico o da rimandare a quando i dati ci sono già. È una scelta epistemica che riguarda che tipo di domanda si sta ponendo, che tipo di risposta si vuole ottenere e che tipo di inferenza si è legittimati a fare. Sbagliare il disegno non significa solo raccogliere dati in modo inefficiente. Significa raccogliere dati che non possono rispondere alla domanda di ricerca su cui si sta lavorando.

Eppure, nella pratica della ricerca, questo errore è più comune di quanto si creda. Si inizia con un’idea vaga —voglio studiare il rapporto tra X e Y —si raccolgono i dati disponibili, e solo dopo ci si chiede come analizzarli. Oppure si sceglie il disegno per ragioni di convenienza — perché quei dati esistono già, perché è il metodo che si conosce meglio, perché è quello che ha usato l’articolo di riferimento — senza chiedersi se sia il disegno giusto per la domanda che si ha in mente. Il risultato è una letteratura piena di studi metodologicamente corretti al loro interno, ma intrinsecamente inadatti a rispondere alle domande per cui vengono citati.

Il disegno dello studio non è un contenitore in cui si versano i dati: è la struttura logica che determina cosa quei dati possono dire.

La domanda prima del metodo

Il punto di partenza di qualsiasi ragionamento sul disegno dello studio è la domanda di ricerca. Non la domanda generica (e.g.,voglio capire se il fumo fa male), ma la domanda operazionalizzata: chi è la popolazione di interesse, qual è l’esposizione o l’intervento, qual è l’outcome che si vuole misurare, in quale orizzonte temporale, con quale livello di precisione.

Una domanda ben formulata porta quasi naturalmente verso una famiglia di disegni possibili. Una domanda mal formulata, al contrario, rende impossibile scegliere il disegno corretto. E ciò non perché il ricercatore non sappia cosa fare, ma perché la domanda stessa non è ancora abbastanza precisa da avere una risposta metodologicamente coerente.

Ilframework PICO— Population, Intervention, Comparator, Outcome — nasce esattamente per questo. Il PICO non è uno strumento burocratico da compilare per soddisfare i revisori di una rivista. Ma è un vero e proprio approccio cognitivo che obbliga a rendere espliciti tutti gli elementi della domanda prima di pensare al metodo. Aggiungere a PICO la dimensione temporale — quanto a lungo si vuole osservare il fenomeno — e il tipo di inferenza desiderata — descrittiva, associativa, causale — completa il quadro e rende la scelta del disegno molto meno arbitraria di quanto sembri.

Una mappa dei disegni: orientarsi nel paesaggio

I disegni di studio si organizzano lungo due assi principali: la presenza o assenza di un intervento attivo da parte del ricercatore, e la direzione temporale dell’osservazione.

Il primo asse distingue gli studi sperimentali — in cui il ricercatore assegna l’esposizione o il trattamento — dagli studi osservazionali — in cui il ricercatore osserva ciò che accade senza intervenire. Questa distinzione non è una questione di preferenza, ma dipende dalla natura della domanda. Se si vuole misurare l’effetto causale di un intervento controllando tutti i fattori che potrebbero confondere il risultato, lo studio sperimentale è lo strumento giusto. Se si vuole studiare un’esposizione che non si può o non si deve manipolare — il fumo, la dieta, la condizione socioeconomica, un’esposizione ambientale — lo studio osservazionale è l’unica strada percorribile.

Il secondo asse — la direzione temporale — distingue i disegni prospettici, quelli in cui si segue una coorte nel tempo a partire dall’esposizione verso l’outcome, dai disegni retrospettivi, in cui si parte dall’outcome e si ricostruisce l’esposizione passata, dagli studi trasversali (cosiddetticross-sectional), in cui esposizione e outcome vengono misurati nello stesso momento, e daglistudi ecologici, in cui l’unità di osservazione non è l’individuo ma il gruppo.

Questi due assi non sono indipendenti. La loro combinazione genera i disegni specifici che popolano la letteratura scientifica — il trial randomizzato controllato, lo studio di coorte, il caso-controllo, lo studio trasversale, lo studio ecologico, la revisione sistematica — ciascuno con una logica interna propria, propri punti di forza e propri limiti strutturali che nessuna sofisticazione nell’analisi statistica può correggere.

Gli studi sperimentali: quando il ricercatore interviene

Il trial randomizzato controllato — RCT, dall’ingleseRandomized Controlled Trial— è considerato il gold standard per la valutazione dell’efficacia di un intervento. La ragione è strutturale. La randomizzazione, cioè l’assegnazione casuale dei partecipanti al gruppo che riceve l’intervento e al gruppo di controllo, garantisce che i due gruppi siano comparabili non solo per le variabili che il ricercatore ha misurato, ma anche per tutte quelle che non ha misurato o che non conosce. È questo che distingue il trial randomizzato da qualsiasi disegno osservazionale. Non è l’intervento in sé, ma la garanzia che le differenze nell’outcome tra i gruppi siano attribuibili all’intervento e non ad altro.

Questa garanzia ha però un prezzo. I trial randomizzati sono costosi, richiedono tempi lunghi, pongono vincoli etici non banali. Ad esempio non si può randomizzare l’esposizione al fumo né si può trattenere un trattamento efficace dal gruppo di controllo se l’efficacia è già nota. Inoltre questa tipologia di studi produce risultati in popolazioni spesso molto selezionate, che non sempre riflettono la complessità dei pazienti che si incontrano nella pratica clinica reale.

Esistono poi disegni sperimentali meno rigidi del trial randomizzato quali ad esempio gli studi quasi-sperimentali. In questa tipologia di studi la randomizzazione non è possibile, ma si sfrutta una qualche forma di assegnazione naturale all’esposizione, quali ad esempio una legge che entra in vigore in certe regioni e non in altre, un cutoff di eleggibilità a un programma, un evento esterno che divide la popolazione in esposti e non esposti. Questi disegni hanno una logica causale parzialmente analoga a quella del trial, ma con un’incertezza residua maggiore che va dichiarata e quantificata.

Gli studi osservazionali: osservare senza intervenire

Quando l’intervento non è possibile o non è eticamente accettabile, il ricercatore osserva. Gli studi osservazionali non assegnano l’esposizione. Essi misurano l’esposizione nel mondo reale, così com’è, con tutta la complessità e la confusione che questo comporta.

Studio di coorte

Lo studio di coorte segue nel tempo un gruppo di persone esposte e un gruppo di persone non esposte, e misura la frequenza con cui l’outcome si verifica in ciascuno dei due gruppi. È un disegno prospettico — si parte dall’esposizione e si aspetta l’outcome — e permette di stimare direttamente il rischio assoluto e il rischio relativo. Il suo principale limite è il tempo. Per gli outcome rari o a lunga latenza, seguire una coorte può richiedere decenni e risorse enormi.

Studio caso-controllo

Lo studio caso-controllo inverte la logica temporale. Si parte dall’outcome — i casi, ad esempio le persone che hanno sviluppato la malattia — e si cerca di ricostruire retrospettivamente l’esposizione passata, confrontandola con quella di un gruppo di controllo che non ha sviluppato la malattia. È un disegno particolarmente efficiente per studiare malattie rare o con lungo periodo di latenza, perché non richiede di aspettare che l’outcome si manifesti. Il suo limite principale è la vulnerabilità al bias di recall (quel bias in cui le persone malate tendono a ricordare o riferire le proprie esposizioni passate in modo diverso da quelle sane) e alla difficoltà di scegliere un gruppo di controllo davvero comparabile.

Studio cross-sectional

Lo studio trasversale – cross-sectional – misura esposizione e outcome nello stesso momento, fotografando la popolazione in un istante preciso. È il disegno più rapido ed economico, ma il più limitato nella capacità inferenziale. Non avendo una dimensione temporale, non permette di stabilire quale delle due variabili — esposizione o outcome — sia venuta prima. È lo strumento ideale per stimare la prevalenza di un fenomeno nella popolazione, molto meno adatto per studiare relazioni causali.

Studio ecologico

Lo studio ecologico, infine, sposta l’unità di analisi dall’individuo al gruppo (e.g., la città, la regione, il paese). Permette di usare dati aggregati già esistenti, di studiare esposizioni che sono per natura caratteristiche del contesto piuttosto che dell’individuo, di generare ipotesi su scala geografica ampia. Il suo limite strutturale è la fallacia ecologica: l’impossibilità di trasferire al livello individuale le associazioni osservate al livello di gruppo.

La gerarchia delle evidenze

Nella letteratura metodologica si parla spesso di gerarchia delle evidenze, una classificazione dei disegni di studio in ordine crescente di forza inferenziale, con il trial randomizzato in cima e gli studi osservazionali e descrittivi via via più in basso. Questa gerarchia è uno strumento utile, ma usarla come un dogma produce distorsioni serie.

La gerarchia ha senso quando si valuta la forza dell’evidenza per una domanda causale su un intervento. Se si vuole sapere se un farmaco è efficace, un trial randomizzato ben condotto è più informativo di uno studio di coorte, che a sua volta è più informativo di un caso-controllo, che è più informativo di una serie di casi. Questa graduazione riflette la diversa capacità di ciascun disegno di controllare il confondimento e di isolare l’effetto causale.

Ma ci sono domande per cui il trial randomizzato non è lo strumento giusto e non perché sia troppo costoso o troppo complesso, ma perché la domanda stessa non ha la struttura di una domanda sperimentale. Studiare l’effetto della povertà sulla salute mentale, capire come si diffonde una malattia in una popolazione, descrivere la prevalenza di un fattore di rischio in un territorio sono esempi di domande di tipo osservazionale. Rispondere a tali quesiti con un trial randomizzato non sarebbe più rigoroso, sarebbe semplicemente sbagliato. Applicare la gerarchia delle evidenze a domande per cui non è stata costruita significa privilegiare il disegno più familiare invece di scegliere quello più adatto.

Confondimento, bias e potere statistico

La scelta del disegno non dipende solo dalla domanda di ricerca. Dipende anche da tre vincoli strutturali che vanno considerati prima di raccogliere un solo dato: il confondimento, il bias e il potere statistico.

Confondimento

Il confondimento è la presenza di variabili che sono associate sia all’esposizione che all’outcome, e che quindi possono simulare o mascherare un’associazione reale. Ogni disegno gestisce il confondimento in modo diverso. Il trial randomizzato lo elimina per costruzione attraverso la randomizzazione. Gli studi osservazionali lo controllano attraverso il disegno — abbinamento, restrizione, stratificazione — o attraverso l’analisi statistica — regressione multipla, propensity score — con una certezza residua sempre minore.

Bias

Ilbiasè un errore sistematico nella raccolta, nella selezione o nella misurazione dei dati. Diversi disegni sono esposti a bias diversi. Il bias di selezione colpisce soprattutto i casi-controllo se il gruppo di controllo non è rappresentativo della popolazione da cui provengono i casi. Gli studi retrospettivi sono vulnerabili al cosiddetto bias di misura se l’esposizione passata viene ricordata in modo diverso dai casi e dai controlli. Il bias di sopravvivenza colpisce gli studi che arruolano solo chi è ancora vivo o ancora in trattamento. Conoscere quali bias ciascun disegno porta con sé non è un esercizio accademico. Questa è la condizione per valutare correttamente la qualità di uno studio e la forza delle sue conclusioni.

Potere statistico

Il potere statistico è la capacità dello studio di rilevare un effetto reale quando esiste. Dipende dalla dimensione del campione, dalla frequenza dell’outcome nella popolazione e dalla dimensione dell’effetto che si vuole rilevare. Un disegno corretto con un campione insufficiente produce risultati non interpretabili. Un risultato negativo non significa assenza di effetto, significa solo che lo studio non aveva la sensibilità per trovarlo. Il calcolo del potere statistico va fatto prima della raccolta dei dati, non dopo — e deve informare la scelta del disegno, non solo la dimensione del campione.

Scegliere è un atto di responsabilità

Scegliere il disegno dello studio prima di raccogliere i dati non è un passaggio burocratico del protocollo di ricerca: è l’atto con cui il ricercatore definisce i confini di ciò che potrà sapere. Un disegno scelto bene non garantisce che la risposta sia quella che si sperava — ma garantisce che la risposta abbia un senso. Un disegno scelto male produce dati che non rispondono alla domanda, conclusioni che sopravanzano le evidenze e, nel peggiore dei casi, pratiche cliniche o politiche sanitarie costruite su fondamenta metodologicamente fragili.

La scelta del disegno è anche, in senso pieno, un atto di onestà intellettuale. Significa dichiarare in anticipo — nel protocollo, nella pre-registrazione, nella sezione dei metodi — non solo cosa si intende fare, ma perché quel disegno è adeguato a quella domanda, quali sono i suoi limiti strutturali e come ci si propone di tenerli sotto controllo. È in questo spazio tra la domanda e il metodo, tra l’ambizione conoscitiva e i vincoli del disegno, che si gioca gran parte della qualità della ricerca scientifica.

Scegliere il disegno dello studio prima di raccogliere i dati non è un passaggio burocratico del protocollo di ricerca: è l’atto con cui il ricercatore definisce i confini di ciò che potrà sapere.Un disegno scelto bene non garantisce che la risposta sia quella che si sperava — ma garantisce che la risposta abbia un senso. Ed è già molto.