Quando i dati mentono senza volerlo: variabili strumentali e il confondimento che non si vede

Londra, 1853. Il colera è tornato in città per la terza volta in pochi decenni e questa volta, uccide con una sistematicità che nessuno riesce a spiegare in modo convincente. Il medico John Snow, che lavora a Soho, nel cuore della città, non si fida della teoria dominante dell’epoca, quella del miasma che crede che il colera si trasmetta attraverso l’aria corrotta, i cattivi odori, i vapori esalati dalla materia organica in decomposizione. Snow sospetta invece che il vettore sia l’acqua. Lo ha scritto già nel 1849, in un saggio intitolatoOn the Mode of Communication of Cholera. Ma sospettare non basta. Dimostrarlo, in una città in cui povertà, sovraffollamento e cattiva igiene si intrecciano in modo inestricabile, è tutt’altra cosa.

Il problema che Snow affronta non è solo medico. È, nel linguaggio che useremmo oggi, un problema di identificazione causale. Vuole sapere se l’acqua causa il colera. Non vuole sapere se le due cose – colera ed acqua contaminata – si presentano insieme né se sono correlate. Vuole sapere se esiste una relazione di causa ed effetto, isolata da tutto il resto.

Questa è esattamente la domanda che le variabili strumentali cercano di rispondere. E Snow, senza conoscere il termine, ne ha applicato la logica con una precisione che gli econometristi studiano ancora oggi.

Quando la correlazione non basta — e nemmeno i dati migliori del mondo

C’è la convinzione diffusa, anche tra chi lavora con i dati quotidianamente, che il problema della causalità si risolva con campioni più grandi, misurazioni più precise, modelli più sofisticati. Sebbene questa sia una convinzione comprensibile, essa è sbagliata.

Il vero problema non è la quantità di dati. È la struttura del problema.

Immagina di voler capire se bere acqua contaminata causa il colera. Raccogli dati su migliaia di persone: chi si è ammalato, chi no, che acqua beve, dove abita, in che condizioni vive. Costruisci il modello più accurato che riesci. E trovi, puntualmente, che chi beve acqua da certe fonti si ammala di più.

Ma ecco il punto critico. Le stesse persone che bevono da quelle fonti sono anche più povere, vivono in quartieri più affollati, hanno meno accesso a cure mediche, mangiano peggio. Come si fa a separare l’effetto dell’acqua dall’effetto di tutto il resto? Come si fa a essere sicuri che non sia la povertà, e non l’acqua, la causa vera?

Questo intreccio — in cui la variabile che interessa studiare è legata ad altre variabili che non si riescono ad osservare o controllare — si chiamaendogeneità. È il confondimento che non si vede. Non perché i dati siano sbagliati, ma perché la realtà è strutturata in modo tale che le cause si sovrappongono, si intrecciano, si confondono l’una con l’altra. I sostenitori della teoria dei miasmi ai tempi di Snow, per quanto sbagliassero sulla causa, non avevano tutti i torti nel sollevare il problema: chi beveva acqua cattiva stava anche peggio sotto ogni altro profilo. Separare i due effetti era, osservando i dati grezzi, genuinamente difficile.

L’endogeneità è ovunque nella ricerca sociale. Vuoi capire se studiare di più migliora i risultati agli esami? Gli studenti che studiano di più sono anche quelli più motivati, con famiglie più presenti, con meno problemi economici. Vuoi capire se un programma di politica pubblica ha funzionato? Le persone che vi hanno aderito lo hanno fatto per ragioni che le rendono già diverse da chi non vi ha aderito. Vuoi capire se l’istruzione aumenta il reddito? Le persone più istruite vengono spesso da contesti sociali ed economici già più favorevoli.

In tutti questi casi, la variabile che studi non è indipendente dal contesto in cui si trova. È endogena: determinata, almeno in parte, dalle stesse forze che determinano l’esito che vuoi misurare.

Il grande esperimento naturale di Snow

Snow capisce che per dimostrare la sua teoria ha bisogno di trovare una situazione in cui la qualità dell’acqua vari indipendentemente da tutto il resto, dalla povertà, dalle condizioni igieniche, dallo stile di vita. Una situazione in cui, in sostanza, chi beve acqua buona e chi beve acqua cattiva siano comparabili sotto ogni altro aspetto.

E quella situazione, straordinariamente, esiste già.

Londra nel primo Ottocento era rifornita da diverse compagnie idriche private. Due di queste servivano i quartieri meridionali della città: la Lambeth Company e la Southwark and Vauxhall Company. Fino al 1849, entrambe prelevavano l’acqua dal Tamigi in punti contaminati dagli scarichi cittadini. Poi qualcosa cambiò: dal 1852, la Lambeth spostò la propria presa d’acqua diversi chilometri più a monte, oltre i principali punti di scarico delle fognature, e introdusse filtri nei propri impianti. La Southwark and Vauxhall, invece, continuò a prelevare acqua contaminata a valle.

Quando il colera tornò nel 1853-54, Snow intuì subito che si trovava di fronte a quello che lui stesso chiamò il suo “grande esperimento”. Le due compagnie, con la loro acqua di qualità così diversa, rifornivano abitazioni mescolate per tutto il sud di Londra. Non c’erano quartieri ricchi serviti da una compagnia e quartieri poveri serviti dall’altra. Le tubature si alternavano strada per strada, a volte casa per casa. L’assegnazione della compagnia idrica era determinata da ragioni storiche e infrastrutturali decise anni prima, non da scelte individuali dei residenti, non dalla loro ricchezza, non dal loro stile di vita. Nella maggior parte dei casi, gli stessi abitanti non sapevano nemmeno quale compagnia li rifornisse.

Snow raccolse i dati sistematicamente, consultando i registri cittadini e compiendo indagini sul campo su un campione di circa 300.000 persone nei quartieri meridionali. I risultati furono inequivocabili. Le abitazioni rifornite dalla Southwark and Vauxhall registravano 315 morti per 1.000 abitazioni, contro appena 37 per 1.000 nelle abitazioni rifornite dalla Lambeth. Un rapporto di circa otto a uno, impossibile da attribuire al caso o a differenze socioeconomiche tra i residenti, visto che quei residenti vivevano mescolati nelle stesse strade.

Lo strumento: un terzo attore che cambia tutto

Tradotto in linguaggio econometrico moderno, la compagnia idrica che riforniva ogni abitazione era uno strumento quasi perfetto. Influenzava la qualità dell’acqua bevuta — e quindi l’esposizione al colera — ma non era correlata con la povertà, le condizioni igieniche, le abitudini individuali dei residenti. Era una variazione quasi casuale nell’esposizione alla variabile che Snow voleva studiare.

La logica dello strumento, nella sua forma più intuitiva, funziona così. Se non riesci a isolare la causa che ti interessa perché è intrecciata con tutto il resto, cerca una terza variabile — uno strumento appunto — che influenzi quella causa ma non sia direttamente collegata all’esito se non attraverso di essa. Uno strumento è, in sostanza, una leva esterna che muove la causa in modo pulito, senza portarsi dietro il confondimento che rende impossibile l’identificazione causale diretta.

Questa logica si regge su due condizioni che devono essere soddisfatte contemporaneamente.

La prima è che lo strumento deve essererilevante, ossia deve davvero influenzare la variabile che interessa studiare. Nel caso di Snow, la compagnia idrica influenzava direttamente la qualità dell’acqua bevuta. Se le due compagnie avessero fornito acqua di qualità identica — prima del cambio della presa della Lambeth, ad esempio — lo strumento non avrebbe funzionato. Non avrebbe creato nessuna variazione utile nell’esposizione.

La seconda è che lo strumento deve essereesogeno, ossia non deve essere correlato con i fattori confondenti che si vogliono escludere. Nel caso di Snow, questo significava che l’assegnazione della compagnia non doveva dipendere dalla ricchezza, dalla dieta, dalle condizioni igieniche delle abitazioni. E così era: era determinata da ragioni storiche e infrastrutturali, non da caratteristiche individuali dei residenti.

Quando entrambe le condizioni sono soddisfatte, lo strumento permette di fare qualcosa di straordinario: isolare la parte di variazione nella causa che è davvero indipendente da tutto il resto, e usare solo quella variazione per stimare l’effetto causale.

Ma le due condizioni non hanno lo stesso statuto epistemologico. La prima — la rilevanza — si può verificare con i dati: si controlla se lo strumento è effettivamente correlato con la variabile che si vuole influenzare. La seconda — l’esogeneità — non si può mai dimostrare in modo definitivo con i soli dati. Richiede un ragionamento sul contesto, sulla teoria, sulla struttura del problema. È qui che l’econometria incontra la conoscenza del mondo reale. Uno strumento formalmente corretto ma sostanzialmente debole — perché la sua esogeneità è dubbia — produce stime distorte tanto quanto non usare nessuno strumento.

È per questo che trovare buoni strumenti è considerato uno dei compiti più difficili e creativi della ricerca empirica in economia e scienze sociali. Non è un problema tecnico. È un problema di pensiero.

Il principio oltre il caso Snow

Snow è un esempio straordinario perché la struttura del problema è quasi da manuale. Uno strumento pulito, una variazione quasi casuale, dati raccolti con metodo. Ma la logica delle variabili strumentali si ritrova in contesti molto diversi, e riconoscerla è uno degli esercizi più utili per chiunque lavori con dati in ambito sociale o sanitario.

Joshua Angrist — che nel 2021 ha ricevuto il Premio Nobel per l’Economia proprio per i suoi contributi all’identificazione causale — ha usato il numero estratto nella lotteria del Vietnam come strumento per stimare l’effetto del servizio militare sul reddito dei veterani. Il numero estratto determinava chi venisse chiamato alle armi. Era una variazione quasi casuale nell’esposizione al servizio militare, non correlata con le caratteristiche individuali dei coscritti. Usandola come strumento, Angrist riusciva a isolare l’effetto causale del servizio militare separandolo da tutto ciò che normalmente differenzia chi si arruola da chi non lo fa.

David Card — Premio Nobel 2021 insieme ad Angrist — ha usato la distanza geografica dal college più vicino come strumento per stimare l’effetto dell’istruzione sul reddito. L’idea è che chi vive più lontano da un college tende a studiare meno, non perché sia meno capace o meno motivato, ma per un fatto geografico e logistico. Quella variazione geografica, relativamente indipendente dalle caratteristiche individuali, permette di isolare una parte dell’effetto causale dell’istruzione dal contesto sociale ed economico di partenza.

In tutti questi casi, la struttura è la stessa. C’è una causa che ci interessa, c’è un esito che vogliamo capire, c’è un confondimento che non riusciamo a eliminare con i soli dati osservazionali. E c’è uno strumento — una variabile esterna, quasi casuale, che introduce una variazione pulita nella causa — che permette di aggirare il problema.

Il confondimento che non si vede

C’è qualcosa di profondamente istruttivo nel fatto che Snow abbia risolto il suo problema non con più dati, non con un modello più complesso, ma con un’idea. L’idea che esistesse, in quella città caotica e sovraffollata, una variazione quasi naturale nell’esposizione all’acqua contaminata. Una variazione che non dipendeva dalla povertà, dallo stile di vita, dalla sfortuna individuale, ma da una decisione infrastrutturale presa anni prima da una compagnia idrica privata.

Le variabili strumentali non sono uno strumento tecnico nel senso banale del termine. Sono una forma di pensiero. Chiedono al ricercatore di guardare il problema da un’angolazione diversa: non come isolare la variabile controllando tutto il resto, ma dove trovare una variazione che sia già isolata per ragioni indipendenti dalla volontà del ricercatore stesso.

È un cambiamento di prospettiva sottile ma radicale. E spiega perché, nella ricerca empirica moderna, trovare un buon strumento vale spesso più di avere un dataset perfetto.

I dati, da soli, non mentono. Ma la realtà è strutturata in modo tale che i dati, da soli, non bastano mai a dire la verità tutta intera.