Il propensity score: costruire il controfattuale nei dati osservazionali

Immagina di voler sapere se un certo farmaco antipertensivo riduce il rischio di infarto. Non puoi condurre un trial randomizzato, ma hai a disposizione i dati di un registro clinico con diecimila pazienti, alcuni dei quali trattati con il farmaco di interesse ed altri no. Apri il database, confronti i due gruppi e scopri subito un problema. I pazienti trattati con il farmaco sono in media più anziani, hanno valori pressori più alti alla baseline, più comorbidità, fanno più visite specialistiche.

Non è una sorpresa. Anzi, è esattamente ciò che ci si aspetta. I medici prescrivono il farmaco proprio ai pazienti che ne hanno più bisogno o che hanno più fattori di rischio, e questa logica clinica crea inevitabilmente due gruppi profondamente diversi tra loro. Procedere con il confronto diretto tra trattati e non trattati senza tenere conto di queste divergenze alla baseline non misurerebbe l’effetto del farmaco, ma una quantità che somma all’effetto del farmaco anche tutte le differenze sistematiche tra i due gruppi.

Quanto appena descritto è il problema fondamentale dell’inferenza causale nei dati osservazionali, un fenomeno noto come confondimento. Negli studi clinici randomizzati la soluzione a questa problematica è strettamente legata alla randomizzazione che, grazie all’approccio di assegnazione completamente casuale, fa sì che i due gruppi siano in media simili su tutte le caratteristiche rilevanti, incluse quelle che il ricercatore non ha nemmeno immaginato di misurare.

Tuttavia, quando la randomizzazione non è possibile, per ragioni etiche, pratiche o economiche, bisogna trovare altre strade. Il propensity score è una di queste e tra tutte le strade possibili è probabilmente la più diffusa e la più discussa. Non risolve il problema del confondimento, ma lo affronta in modo sistematico e trasparente, lavorando sulle covariate a disposizione.

Il problema del controfattuale

Per capire perché il propensity score sia stato proposto, bisogna prima capire il problema del controfattuale. L’inferenza causale si fonda su un’idea semplice ma, possiamo dire, filosoficamente profonda. L’effetto di un trattamento su una persona è la differenza tra quello che le è successo avendo ricevuto il trattamento e quello che le sarebbe successo se non lo avesse ricevuto. Il problema nasce dal fatto che per ogni paziente possiamo conoscere solo uno dei due scenari. Se il paziente ha preso il farmaco, sappiamo come è andata con il farmaco, ma non sapremo mai come sarebbe andata senza. Se non l’ha preso, sappiamo come è andata senza, ma non sapremo mai cosa sarebbe successo se l’avesse preso. L’esito controfattuale, ossia quello che si sarebbe osservato nell’alternativa non realizzata, è per definizione non osservabile. ed è proprio attorno a questa impossibilità che ruota tutta l’analisi causale.

Il trial randomizzato aggira il problema spostandolo dal livello individuale a quello di gruppo. Poiché l’assegnazione al trattamento è casuale, i due gruppi sono in media identici su tutte le caratteristiche rilevanti e la differenza media negli esiti diventa una stima legittima dell’effetto causale medio. Nei dati osservazionali questa equivalenza non c’è. Chi riceve il trattamento e chi non lo riceve possono differire sistematicamente e queste differenze si mescolano con l’effetto del trattamento producendo un risultato osservato che li contiene entrambi. Separare i due contributi — l’effetto vero del trattamento dall’effetto delle differenze tra i gruppi — è esattamente il compito che ci si propone quando si fa analisi causale fuori dal contesto sperimentale.

Cos’è il propensity score

L’idea che fa da spina dorsale a tutto l’approccio del propensity score venne proposta nel 1983 da Paul Rosenbaum e Donald Rubin in un articolo pubblicato suBiometrika¹. Si tratta di un’idea molto semplice. I due autori definirono il propensity score di un soggetto come la probabilità che quel soggetto riceva il trattamento, calcolata sulla base di tutte le sue caratteristiche osservate.

Detta in modo più diretto, è la risposta numerica a una domanda molto concreta che ogni clinico si pone implicitamente quando guarda un paziente. Visto chi è il pazienti, com’è messo, che storia clinica ha, quanto è probabile che riceva il farmaco in esame? Il propensity score traduce questa valutazione intuitiva in un numero compreso tra zero e uno. Un paziente con propensity score vicino a uno è uno per cui, date le sue caratteristiche, è praticamente certo che riceverà il trattamento. Un paziente con propensity score vicino a zero è uno per cui è praticamente certo che non lo riceverà. Tutti gli altri stanno in mezzo, con una probabilità intermedia che riflette il loro profilo complessivo.

Dall’idea al calcolo

Ma come si arriva concretamente a valutare questa probabilità? La procedura è semplice e quanto mai intuitiva. In statistica disponiamo di un magnifico strumento, la regressione logistica, un tipo di regressione che serve a calcolare la probabilità che un certo evento — espresso sotto forma di variabile binaria — accada o non accada.

Nel caso del propensity score, si usa la regressione logistica proprio per stimare la probabilità di ricevere il trattamento a partire da un insieme di caratteristiche del paziente, ossia le covariate osservate. Il modello si costruisce ponendo come variabile dipendente l’informazione binaria su chi ha ricevuto il trattamento e chi no, e come variabili indipendenti l’insieme delle covariate misurate — età, sesso, diagnosi, comorbidità, valori di laboratorio, farmaci concomitanti. Il modello, così implementato, restituisce per ogni soggetto un numero tra zero e uno, che corrisponde appunto alla probabilità stimata — ossia il propensity score — di quel soggetto di essere stato trattato dato il suo profilo al basale.

Il valore aggiunto del propensity score

Fin qui il propensity score, nel suo semplice calcolo, può essere apparso come un esercizio puramente descrittivo, un modo elaborato di riassumere il profilo clinico di ciascun paziente in un singolo valore, un profilo peraltro senza apparente significato clinico. In realtà questo numero non è affatto privo di significato. Anzi, proprio il suo valore ne ha fatto un potente strumento statistico. Quando due soggetti hanno lo stesso propensity score, anche se uno è stato trattato e l’altro no, sono in media confrontabili. Essi hanno valori simili di età, sesso, comorbidità e di tutte le altre caratteristiche entrate nel modello.

È come se condividessero lo stesso profilo clinico complessivo, indipendentemente dal trattamento che hanno effettivamente ricevuto. È come se vedessimo la storia dello stesso paziente nelle due versioni, trattato e non trattato. Detto in modo più operativo, se prendiamo tutti i pazienti che hanno un propensity score attorno, per esempio, a 0.3 — quelli per cui era piuttosto improbabile ricevere il trattamento — e li separiamo in chi è stato effettivamente trattato e chi no, i due sottogruppi risulteranno molto simili tra loro per età, sesso, comorbidità e per tutte le altre variabili incluse nel modello. È la cosiddetta proprietà di bilanciamento, dimostrata formalmente da Rosenbaum e Rubin nell’articolo del 1983. Ed è anche il fondamento matematico di tutto l’approccio. Condizionare sul propensity score è sufficiente a bilanciare le covariate osservate tra trattati e non trattati. Esattamente come fa la randomizzazione, ma limitatamente alle variabili che siamo riusciti a misurare.

Come si usa: quattro strategie

Una volta stimato il propensity score, la domanda diventa: come lo si usa concretamente per stimare l’effetto del trattamento? La letteratura metodologica — sistematizzata in modo efficace da Peter Austin in una review del 2011 che è ancora oggi il riferimento principale per orientarsi tra le diverse opzioni — ha sviluppato quattro strategie principali, ognuna con una sua logica e un suo contesto preferenziale di applicazione². Vale la pena vederle tutte, perché la scelta tra loro non è banale e influenza il significato del risultato finale.

Matching

La strategia più intuitiva è il matching. L’idea è semplice. Per ogni soggetto trattato si cerca, nel gruppo dei non trattati, quello con il propensity score più simile³— una sorta di gemello osservazionale — e si formano coppie che vengono poi confrontate. Il risultato è un campione bilanciato in cui trattati e non trattati hanno distribuzioni simili delle covariate. La prima applicazione su dati reali fu proposta dagli stessi Rosenbaum e Rubin in un secondo articolo del 1985, e le varianti che da allora si sono moltiplicate sono raccolte nella review di Elizabeth Stuart del 2010, che resta il riferimento di sintesi sull’argomento⁴.

Il matching può essere fatto con o senza rimpiazzo, e con caliperi di ampiezza variabile che stabiliscono quanto i propensity score possono differire all’interno di una coppia. Un calipero è la massima differenza di propensity score ammessa all’interno di una coppia: un calipero stretto produce coppie molto simili tra loro ma scarta molti soggetti, un calipero ampio include più pazienti ma a costo di un bilanciamento meno preciso.

Il matching è un metodo che si presta bene a essere comunicato, perché ricalca l’intuizione del confronto a coppie, e per questo è spesso il primo a essere usato nei lavori clinici.

Stratificazione

Un’alternativa al matching è la stratificazione. Invece di formare coppie, si divide il campione in strati di propensity score simile — tipicamente cinque quintili — e si stima l’effetto del trattamento all’interno di ciascuno strato, dove il bilanciamento è approssimato. Gli effetti per strato vengono poi combinati in una stima media ponderata. È un approccio più robusto rispetto al matching nei confronti della specificazione del modello di outcome, ma resta dipendente dalla corretta stima del propensity score stesso.

Inverse Probability of Treatment Weighting

La terza strategia, oggi molto diffusa nella ricerca metodologica, è l’Inverse Probability of Treatment Weighting, abbreviato in IPTW. Qui il propensity score viene usato per costruire pesi che rendono il campione osservazionale equivalente a uno sperimentale. Ogni soggetto trattato viene pesato per l’inverso della sua probabilità di essere trattato, ogni soggetto non trattato per l’inverso della sua probabilità di non esserlo. Il risultato è una popolazione pesata in cui la distribuzione delle covariate è bilanciata tra i gruppi, e l’analisi degli esiti viene condotta su questa popolazione. L’IPTW è particolarmente utile quando si vuole stimare l’effetto medio del trattamento nell’intera popolazione, non solo tra i soggetti per cui esiste un confronto diretto.

Uso diretto come covariata

L’ultima strategia, la più semplice dal punto di vista computazionale ma anche la più fragile. Essa consiste nell’inserire il propensity score come covariata in un modello di regressione sull’esito, insieme alle altre variabili. È un approccio rapido, ma dipende fortemente dalla corretta specificazione del modello di outcome. Per questa ragione la letteratura metodologica lo raccomanda meno rispetto al matching o all’IPTW quando l’obiettivo principale è il bilanciamento.

Verificare il bilanciamento: un passo che non si può saltare

Qualunque sia la strategia scelta, applicare il propensity score è solo metà del lavoro. L’altra metà — quella che spesso viene trattata come accessoria ma che in realtà è la più importante — è verificare che il bilanciamento delle covariate sia stato effettivamente raggiunto. Senza questa verifica, l’intera analisi resta sospesa nel vuoto. Un propensity score mal specificato produce un bilanciamento insufficiente e questo significa che il confondimento residuo compromette ogni interpretazione causale del risultato.

Lo strumento standard per valutare il bilanciamento è la standardized mean difference, molto nota nella sua abbreviata di SMD. Per ogni covariata si calcola la differenza tra la media nel gruppo trattato e la media nel gruppo controllo, divisa per la deviazione standard combinata. La convenzione più diffusa è che una SMD inferiore a 0.1 — una differenza inferiore al dieci per cento di una deviazione standard — indichi un buon bilanciamento⁵. Per visualizzare il risultato si usa quasi sempre il love plot. È questo un grafico che mostra per ogni covariata quanto era sbilanciata prima del propensity score e quanto lo è dopo, rendendo immediatamente leggibile se il bilanciamento è stato effettivamente raggiunto.

Una caratteristica importante di questa verifica è che non si fa con i p-value. La letteratura metodologica sconsiglia esplicitamente l’uso di test statistici formali — test t, chi-quadro, etc. — per valutare il bilanciamento dopo il propensity score. La motivazione alla base di questa indicazione è che questi test dipendono dalla dimensione del campione. Con campioni grandi anche differenze trascurabili risultano significative, con campioni piccoli differenze rilevanti possono non raggiungere la soglia. La SMD invece è una misura di effetto. Essa dipende dall’entità della differenza, non dalla numerosità, ed è per questo il criterio corretto.

Assunzioni del modello

Tutto quanto detto fin qui poggia su un’assunzione che vale la pena rendere esplicita, perché è il vero punto debole del propensity score e merita di essere capita prima di interpretare qualsiasi risultato. Rosenbaum e Rubin la chiamaronostrongly ignorable treatment assignmente la formularono in due condizioni.

Unconfoundedness e positività

La prima dice che, una volta che si tiene conto di tutte le caratteristiche misurate, il fatto che un paziente abbia ricevuto il trattamento non contiene più informazione aggiuntiva su come sarebbe andato senza. È la condizione che oggi viene anche chiamata ignorabilità condizionale ounconfoundedness, ed è quella su cui si concentra di solito la discussione. La seconda, meno citata ma altrettanto importante, è la positività. Ogni soggetto deve avere una probabilità strettamente compresa tra zero e uno di ricevere il trattamento. È la condizione che giustifica perché i pazienti con propensity score molto vicino a zero o a uno sono problematici. Non hanno un corrispettivo plausibile nell’altro gruppo, e cercare di confrontarli equivale a inventarsi un controfattuale che nei dati non esiste.

Differenza tra propensity score e randomizzazione

Il problema è che la condizione diunconfoundednessnon è verificabile dai dati. Se esistono fattori che influenzano sia la probabilità di ricevere il trattamento sia l’esito, ma che non sono stati misurati, il propensity score non li cattura, e il confondimento residuo rimane invisibile nell’analisi. È esattamente qui che si gioca la differenza fondamentale tra propensity score e randomizzazione. La randomizzazione bilancia per costruzione anche i confondenti non misurati, perché distribuisce per caso ogni caratteristica del paziente, sia quelle che il ricercatore vede sia quelle che non vede. Il propensity score, invece, può bilanciare solo ciò che è stato osservato e incluso nel modello. La qualità dell’analisi dipende quindi tutta dalla qualità e dalla completezza delle covariate misurate, e questa qualità non si dimostra con la statistica: si argomenta con la conoscenza del dominio clinico.

Nella pratica, sostenere o mettere in discussione l’ignorabilità condizionale è un esercizio di disegno dello studio. Quali fattori influenzano la decisione di trattare? Sono tutti misurati nel database disponibile? Esistono variabili indirette che possono fungere da indicatori dei fattori non misurati? Sono domande che non hanno risposta statistica e che vanno affrontate prima di disegnare l’analisi, non dopo aver visto i risultati. Quando questa riflessione manca, l’analisi diventa un esercizio tecnico privo di base epistemologica.

Analisi di sensibilità al confondimento residuo

Proprio perché l’assunzione di ignorabilità non è verificabile, la pratica metodologica rigorosa prevede un passo aggiuntivo: quantificare quanto sarebbe grande un confondente non misurato per spiegare il risultato osservato. È un’analisi di sensibilità, e in epidemiologia il metodo più usato è l’E-value, proposto da Tyler VanderWeele e Peng Ding nel 2017. L’E-value è il minimo grado di associazione — misurato come rischio relativo — che un ipotetico confondente non misurato dovrebbe avere sia con il trattamento sia con l’esito, al netto delle covariate già controllate, per spiegare interamente l’effetto osservato.

L’interpretazione è immediata. Un E-value grande dice che solo un confondente molto fortemente associato a entrambe le variabili potrebbe annullare il risultato — un’eventualità implausibile, e quindi il risultato è robusto al confondimento residuo. Un E-value piccolo dice che anche un confondente moderato potrebbe spiegare l’effetto osservato — e l’interpretazione causale diventa più fragile. L’E-value non dimostra l’assenza di confondimento residuo, perché niente può farlo nei dati osservazionali; ma rende quantificabile e comunicabile quanto sarebbe grande il problema, e questo è già molto più di quanto offra qualsiasi altra analisi standard.

Il propensity score non crea l’equivalente di un trial randomizzato: crea l’equivalente di un confronto equo sulle caratteristiche osservate.È uno strumento potente quando il database è ricco, le covariate rilevanti sono tutte misurate e il bilanciamento viene verificato con rigore. Diventa uno strumento fragile quando mancano informazioni cliniche importanti o quando il bilanciamento viene dato per scontato invece di essere dimostrato. La differenza tra i due casi non è tecnica — è una questione di onestà metodologica.

Reference

1. Rosenbaum PR, Rubin DB(1983).The central role of the propensity score in observational studies for causal effects.Biometrika 70(1):41–55.↩︎
2. Austin PC(2011).An Introduction to Propensity Score Methods for Reducing the Effects of Confounding in Observational Studies.Multivariate Behavioral Research 46:399–424. doi:10.1080/00273171.2011.568786↩︎
3. Rosenbaum PR, Rubin DB(1985).Constructing a Control Group Using Multivariate Matched Sampling Methods That Incorporate the Propensity Score.The American Statistician 39(1):33–38.↩︎
4. Stuart EA(2010).Matching methods for causal inference: A review and a look forward.Statistical Science 25(1):1–21. doi:10.1214/09-STS313↩︎
5. Austin PC(2009).Balance diagnostics for comparing the distribution of baseline covariates between treatment groups in propensity-score matched samples.Statistics in Medicine 28:3083–3107. doi:10.1002/sim.3697↩︎