Regression Discontinuity Design: quando il confine è una fortuna

Immagina un programma pubblico di assicurazione sanitaria destinato alle famiglie più povere. Le risorse e la capacità organizzativa sono limitate. Si decide quindi di assegnare la copertura in base a un indice di marginalizzazione: le famiglie con un indice superiore a una certa soglia, soglia che identifica quelle più povere ricevono l’assicurazione, quelle al di sotto no, almeno nella fase iniziale.

Per un ricercatore che vuole capire se l’assicurazione sanitaria migliora la salute delle famiglie povere, questa struttura è una manna. Non perché il programma sia stato disegnato per fare ricerca, anzi tipicamente non lo è, ma perché quella soglia crea qualcosa di prezioso, una variazione quasi casuale nell’accesso al trattamento. Le famiglie appena sopra la soglia e quelle appena sotto sono, in media, molto simili tra loro. La differenza nei loro esiti sanitari può quindi essere attribuita, con ragionevole credibilità, all’assicurazione stessa.

Questa logica è il cuore del Regression Discontinuity Design (RDD). Ed è una logica che, una volta capita, si riconosce ovunque: nelle politiche di accesso ai farmaci, nei programmi di screening, nelle soglie di eleggibilità per i sussidi, nei criteri di ammissione alle cure specialistiche. Ogni volta che una regola divide il mondo in due tra chi ha diritto e chi non ce l’ha, esiste la possibilità di usare quel confine per imparare qualcosa di causale.

Il problema che il confine risolve

Per capire perché il RDD esiste, bisogna partire dallo stesso problema che si incontra parlando divariabili strumentalie diDifference-in-Differences: il problema del controfattuale.

Continuando con il nostro esempio, vogliamo sapere se ricevere un’assicurazione sanitaria migliora lo stato di salute. L’approccio più diretto sarebbe confrontare chi ha l’assicurazione con chi non ce l’ha. Ma chi ha l’assicurazione è sistematicamente diverso da chi non ce l’ha: è più ricco, lavora in settori formali, vive in aree urbane meglio servite, ha già accesso a cure preventive. Confrontare i due gruppi significa confondere l’effetto dell’assicurazione con tutte queste differenze preesistenti.

Il confine creato da una soglia di eleggibilità risolve questo problema in modo elegante. L’idea è molto semplice ed intuitiva: le persone appena sopra la soglia e quelle appena sotto sono quasi identiche in tutto, tranne che nell’accesso al programma. Se la soglia è fissata a un indice di marginalizzazione di 500, una famiglia con indice 502 e una con indice 498 sono praticamente indistinguibili per reddito, composizione familiare, condizioni abitative, comportamenti sanitari. L’unica differenza rilevante è che la prima riceve l’assicurazione e la seconda no.

Questa quasi-casualità nell’intorno della soglia è il cuore del RDD. Non si tratta di un esperimento randomizzato in quanto nessuno ha estratto a sorte chi riceve il trattamento. Ma la logica è analoga: vicino al confine, l’assegnazione al trattamento è determinata da una variabile continua, che in questo caso è l’indice, che le famiglie non controllano perfettamente e che produce una discontinuità netta nell’accesso. È quella discontinuità che il ricercatore usa per stimare l’effetto causale.

Regression Discontinuity Design: come funziona

Il meccanismo del RDD è visivamente intuitivo, il che lo rende uno dei metodi più comunicabili dell’econometria applicata. Immagina di tracciare un grafico: sull’asse orizzontale metti la variabile che determina l’accesso al programma — l’indice di marginalizzazione, il reddito, l’età — e sull’asse verticale metti l’esito che ti interessa misurare, ad esempio il numero di visite mediche, la mortalità infantile, l’uso di farmaci salvavita.

Se il programma non avesse nessun effetto, ti aspetteresti una curva liscia e continua: all’aumentare dell’indice, l’esito cambia gradualmente, senza salti bruschi. Se invece il programma ha un effetto, vedrai qualcosa di diverso. Proprio in corrispondenza della soglia, la curva fa un salto. Le famiglie appena sopra la soglia, nel caso in esame quelle che ricevono l’assicurazione, mostrano esiti sistematicamente diversi rispetto alle famiglie appena sotto. Quel salto è la stima dell’effetto causale del programma.

È un’idea bella nella sua semplicità visiva. Prima della soglia, la curva scorre liscia. Dopo la soglia, ricomincia da un punto diverso. La distanza tra i due tratti, esattamente in corrispondenza del confine, è tutto ciò che il ricercatore vuole misurare.

Le condizioni che rendono il RDD valido

Come tutti i metodi di identificazione causale, il RDD non funziona in qualsiasi contesto. La sua validità dipende da alcune condizioni che determinano sia la forza delle conclusioni sia i limiti dell’approccio.

La prima condizione è che la soglia sia credibilmente esogena rispetto all’esito che si vuole misurare. In altre parole: le persone non devono poter manipolare la variabile che determina l’accesso al programma per posizionarsi deliberatamente da un lato o dall’altro del confine. Se le famiglie sapessero esattamente quale indice le separa dall’eleggibilità e potessero falsificare i dati per superare la soglia, la quasi-casualità nell’intorno verrebbe meno. Le famiglie appena sopra non sarebbero più comparabili a quelle appena sotto, perché le prime avrebbero selezionato attivamente la propria posizione.

Questa condizione si può verificare empiricamente, almeno in parte. Se c’è manipolazione, ci si aspetta un’anomalia nella distribuzione della variabile di assegnazione consistente in un accumulo di osservazioni appena sopra la soglia e un vuoto appena sotto. I test statistici per questa anomalia sono diventati parte standard dell’arsenale del RDD.

La seconda condizione è che non esistano altre discontinuità in corrispondenza della stessa soglia. Se la soglia di eleggibilità per l’assicurazione sanitaria coincidesse con la soglia per altri benefici — un sussidio alimentare, un programma di edilizia popolare — non sarebbe possibile attribuire il salto nell’esito all’assicurazione piuttosto che agli altri programmi. Nella pratica, questo problema si affronta cercando soglie specifiche per il programma che si vuole studiare oppure verificando che le altre variabili rilevanti non mostrino discontinuità in corrispondenza della stessa soglia.

La terza condizione, forse la più sottile, riguarda la località dell’effetto stimato. Il RDD stima l’effetto del programma solo per le unità che si trovano vicino alla soglia, non per tutta la popolazione. L’effetto dell’assicurazione sanitaria per le famiglie con indice di marginalizzazione molto lontano dalla soglia potrebbe essere molto diverso dall’effetto stimato nell’intorno del confine. Questa è una limitazione intrinseca del metodo. La precisione causale si paga con la generalizzabilità delle conclusioni.

Medicare statunitense

Le soglie di età sono tra le più comuni nelle politiche sanitarie e offrono terreno fertile per il RDD. Negli Stati Uniti, il Medicare — il programma federale di assicurazione sanitaria pubblica — scatta al compimento dei 65 anni. Prima di quella data, milioni di americani sono non assicurati o coperti solo parzialmente da assicurazioni private. Dopo, la copertura diventa quasi universale.

Questa soglia anagrafica crea esattamente la struttura che il RDD richiede. Card, Dobkin e Maestas, in uno studio pubblicato sul Quarterly Journal of Economics nel 2009, l’hanno sfruttata per misurare l’effetto causale dell’assicurazione sanitaria sulla mortalità¹. Il loro campione era composto da pazienti ricoverati d’urgenza per condizioni severe, un sottogruppo per cui le cure ricevute hanno una plausibile influenza sulla sopravvivenza a breve termine. Confrontando i pazienti appena sotto e appena sopra i 65 anni, gli autori hanno trovato che l’acquisizione della copertura Medicare era associata a un aumento significativo nel numero di procedure ospedaliere e a una riduzione di circa il 20% nella mortalità a sette giorni per questo gruppo di pazienti.

L’eleganza di questo studio sta nella semplicità del design. Non serve un esperimento randomizzato, non serve trovare uno strumento, non serve identificare un gruppo di controllo geografico. Basta trovare una soglia credibile — in questo caso quella anagrafica, fissata per legge e non manipolabile dai pazienti — e raccogliere dati sufficientemente granulari nell’intorno di quella soglia.

La soglia dei 65 anni è particolarmente convincente come base per un RDD perché soddisfa tutte e tre le condizioni di validità. È difficilmente manipolabile in quanto nessuno può falsificare la propria data di nascita per accedere prima al Medicare. È specifica perchè il compimento dei 65 anni non coincide con l’ingresso in altri programmi che potrebbero confondere la stima. Ed è netta perchè la discontinuità nella copertura assicurativa è brusca e documentabile nei dati amministrativi.

I limiti che il RDD non nasconde

Uno degli aspetti più apprezzabili del RDD come metodo è la sua trasparenza rispetto ai propri limiti. A differenza di altri approcci che possono dare l’illusione di stime universalmente valide, il RDD dichiara esplicitamente cosa sta stimando e per chi.

Il primo limite è già stato menzionato: la località. Le stime del RDD valgono nell’intorno della soglia, non per tutta la distribuzione. Questo non è necessariamente un problema perchè spesso siamo proprio interessati all’effetto del programma per le unità marginali, quelle che stanno al confine dell’eleggibilità. Ciononostante resta comunque un limite che va dichiarato e tenuto presente quando si interpretano i risultati.

Il secondo limite riguarda la dipendenza dalla qualità della soglia. Se la soglia è mal definita, applicata in modo irregolare o soggetta a discrezionalità amministrativa, la quasi-casualità nell’intorno del confine viene meno. Le soglie nominali e quelle effettive possono non coincidere. Un programma che dovrebbe scattare a un certo indice potrebbe essere applicato con ritardi, eccezioni, o variazioni locali che rendono il confine meno netto di quanto appaia sulla carta.

Il terzo limite è la sensibilità alla scelta della finestra di analisi. Quanto largo deve essere l’intorno della soglia che si considera? Se si considerano solo le osservazioni vicinissime al confine, si ottiene la massima comparabilità tra i due gruppi, ma si lavora con pochi dati e stime imprecise. Se si allarga la finestra, si guadagna in precisione statistica ma si rischia di includere unità che non sono più davvero comparabili. Questa scelta inevitabilmente arbitraria in una certa misura, richiede robustezza. Le conclusioni non devono dipendere in modo critico dalla larghezza della finestra scelta.

Perché il confine è una fortuna

Il titolo di questo articolo contiene una parola non casuale: fortuna. Le soglie di eleggibilità non vengono create dai ricercatori, ma sono create dai policy maker per ragioni pratiche, politiche, amministrative. Il fatto che esistano e che creino discontinuità nette nell’accesso ai programmi, è una fortuna per chi vuole fare ricerca causale in contesti dove gli esperimenti randomizzati sono impossibili.

Questa fortuna non è distribuita uniformemente. Esistono soglie facili da sfruttare — quelle anagrafiche, quelle basate su punteggi standardizzati, quelle definite da normative nazionali chiare — e soglie difficili perché troppo soggette a discrezionalità, perché applicate in modo irregolare, o perché coincidono con troppe altre variabili. Trovare una buona soglia per il RDD è, come trovare un buon strumento per le variabili strumentali, un esercizio di pensiero prima ancora che di tecnica statistica.

E c’è qualcosa di profondamente democratico in questo approccio. Il RDD non richiede che il programma sia stato disegnato per fare ricerca. Richiede solo che sia stato disegnato con una regola e che quella regola sia stata applicata in modo abbastanza coerente da creare una discontinuità reale nell’accesso al trattamento. In un mondo pieno di politiche pubbliche costruite su criteri arbitrari ma oggettivi, questo non è poco.

La casualità non è l’unico modo per imparare qualcosa di causale dal mondo. A volte basta una regola ben applicata e un confine che divide il mondo in due.

Reference

1. Card, D., Dobkin, C., & Maestas, N. (2009). Does Medicare Save Lives? Quarterly Journal of Economics, 124(2), 597–636. DOI: 10.1162/qjec.2009.124.2.597↩︎