La regressione logistica in econometria: modellare le scelte

Gran parte dell’economia applicata si occupa di comportamenti e decisioni. Un consumatore decide se acquistare un prodotto o passare oltre. Un individuo decide se partecipare al mercato del lavoro o restare fuori. Un’impresa decide se entrare in un nuovo mercato oppure no. Un cittadino decide se votare, se aprire un conto bancario, se iscriversi a un corso di formazione. Ciascuna di queste decisioni produce, nei dati, una variabile che non è un numero continuo come il reddito o il prezzo. É una variabile binaria, che vale uno quando la scelta è stata fatta e zero quando non è stata fatta.

Di fronte a dati di questo tipo, l’econometrianon può limitarsi agli strumenti pensati per variabili continue. Ha bisogno di un modello che sappia descrivere la probabilità di una scelta in funzione delle caratteristiche di chi sceglie e del contesto in cui sceglie. La regressione logistica — insieme alla sua parente stretta, la regressione probit — è lo strumento che l’econometria ha adottato per questo compito e rappresenta oggi uno dei modelli più utilizzati in economia del lavoro, economia industriale, finanza, economia dello sviluppo e valutazione delle politiche pubbliche.

Il quadro teorico: l’utilità latente

C’è un modo di guardare alla regressione logistica che la rende particolarmente naturale agli occhi di chi studia economia. L’economista non misura direttamente l’utilità di chi sceglie: non esiste uno strumento che la fotografi. Quello che si ipotizza è che, dietro la scelta osservata, ci sia una quantità nascosta, una differenza di utilità tra le due alternative. Se questa quantità è positiva, l’individuo sceglie l’opzione uno; se è negativa, sceglie l’opzione zero. Noi non la vediamo mai, ma vediamo la scelta che ne risulta.

Questa quantità nascosta si può immaginare come composta da due pezzi. Il primo è tutto ciò che riusciamo a misurare: età, reddito, istruzione, prezzo, esperienza lavorativa, insomma le variabili che abbiamo nei dati. Il secondo è tutto ciò che non riusciamo a misurare: i gusti personali, le informazioni private, i mille fattori contingenti che nessun questionario riesce a catturare. È questo secondo pezzo — il termine non osservato — il vero protagonista della storia.

Logit o probit?

Il modello statistico che ne deriva dipende proprio da come immaginiamo sia distribuito questo termine non osservato tra gli individui della popolazione. Se ipotizziamo che segua una distribuzione logistica — una distribuzione simmetrica a forma di campana, con code leggermente più pesanti rispetto alla normale — la probabilità di scegliere l’opzione uno assume la forma a S della regressione logistica. Se ipotizziamo invece che segua una distribuzione normale, otteniamo il modello probit, con una forma a S leggermente diversa. Sugli stessi dati i due modelli producono probabilità stimate quasi identiche, e la scelta tra l’uno e l’altro è spesso una questione di tradizione disciplinare. In economia del lavoro si usa più spesso il probit, in epidemiologia si preferisce il logit, e in molti campi convivono entrambi.

La regressione logistica, in econometria, non è solo una tecnica statistica per variabili binarie. È la traduzione empirica di un modello di comportamento. Quando un economista stima una regressione logistica sulla probabilità di partecipare al mercato del lavoro, sta implicitamente assumendo che esista una funzione di utilità che confronta il valore del lavorare con quello del non lavorare e sta misurando come le caratteristiche osservabili dell’individuo influenzano quel confronto.

Il modello: dalla scala lineare alla probabilità

La regressione logistica descrive la probabilità che la variabile dipendente valga uno attraverso una curva a forma di S, chiamata funzione logistica. Questa curva ha una proprietà importante. Per quanto si spingano in alto o in basso i valori dei predittori, la curva resta sempre compresa tra zero e uno. È il motivo per cui è adatta a descrivere una probabilità che per definizione non può essere negativa né superiore al cento per cento.

Curva a S: cosa significa

Per capire perché il modello usa proprio questa curva, conviene partire da un’idea semplice: una probabilità si può raccontare in due modi diversi, e ogni modo ha un suo linguaggio. Il primo è quello a cui siamo abituati, la probabilità vera e propria: un numero tra zero e uno, o se si preferisce tra zero e cento per cento. Il secondo è quello degli odds, cioè il rapporto tra la probabilità che un evento accada e la probabilità che non accada. Se la probabilità di comprare un prodotto è del venti per cento, gli odds di comprarlo sono un quinto, ovvero uno contro quattro. Gli odds descrivono lo stesso fenomeno visto da un’altra angolazione, tipo il linguaggio delle scommesse.

La differenza importante è che la probabilità è vincolata tra zero e uno, mentre gli odds no: possono diventare piccolissimi o grandissimi. E se prendiamo il logaritmo degli odds, quello che in statistica si chiamalogit, otteniamo una quantità ancora più flessibile, che può assumere qualsiasi valore, da meno infinito a più infinito.

Ed è proprio questa libertà di variazione che rende illogitlo strumento giusto. La regressione logistica assume che, sulla scala dellogit, la relazione tra i predittori e ciò che vogliamo prevedere sia lineare, esattamente come in unaregressione linearetradizionale. Sulla scala dellogit, dunque, ogni predittore si somma agli altri in modo pulito e ordinato. Quando poi si torna alla scala della probabilità, applicando la trasformazione inversa, quella retta invisibile sullogitsi trasforma nella curva a S che osserviamo sui dati. La curva non è un artificio grafico. Essa è ciò che succede a una retta quando la si costringe a restare dentro i limiti di una probabilità.

È per questo che in econometria si parla spesso della regressione logistica come di un modello lineare sotto mentite spoglie. Lineare lo è davvero, ma lo è sullogit, non sulla probabilità. Tenere presente questa doppia scala — una lineare e matematicamente comoda, l’altra curva e concettualmente leggibile — è la chiave per leggere correttamente tutto ciò che il modello produce.

Come si trovano i parametri: la massima verosimiglianza

A questo punto resta una domanda pratica: come si stimano, nei dati, l’intercetta e i coefficienti del modello? Il criterio che l’econometria utilizza si chiamamassima verosimiglianza, e l’idea dietro al nome è piuttosto intuitiva una volta che la si comprende.

Immagina di avere mille persone osservate e per ciascuna sai se ha scelto l’opzione uno oppure zero. Il modello, una volta fissati certi valori dei parametri, sa dirti con quale probabilità ognuna di quelle persone, date le sue caratteristiche, avrebbe fatto la scelta che ha effettivamente fatto. Se i parametri sono ben scelti, il modello attribuisce alte probabilità alle scelte davvero osservate. Se sono mal scelti, attribuisce probabilità basse e finisce per dire, in sostanza, che i dati a cui stiamo guardando sono improbabili. La massima verosimiglianza sceglie i valori dei parametri che rendono il più probabili possibili i dati effettivamente raccolti. È il criterio che, in un certo senso, dice al modello: sii coerente con quello che è successo davvero.

Il computer fa questo lavoro per tentativi guidati. Parte da valori iniziali dei parametri, calcola la probabilità complessiva dei dati osservati, modifica i parametri in direzione di un miglioramento, ricalcola, e prosegue finché non trova la combinazione che non si può più migliorare. Tutti i software econometrici — Stata, R, Python, SAS — implementano questo procedimento, e in condizioni ordinarie, questo approccio converge rapidamente a una soluzione stabile.

Quello su cui vale la pena concentrarsi, nella pratica, non è tanto il metodo di stima in sé — che è ormai una commodity — quanto la specificazione del modello: cioè le decisioni che il ricercatore prende prima ancora di premere il pulsante della stima. Quali variabili includere tra i predittori? L’effetto del reddito sulla probabilità della scelta è lineare o forse è più adatto includere il logaritmo del reddito? L’età va inclusa da sola, oppure anche il suo quadrato, per catturare un’eventuale relazione a U? Queste sono le scelte che determinano la qualità del modello, molto più del criterio matematico con cui i parametri vengono calcolati.

Il problema dell’interpretazione: perché i coefficienti non bastano

Qui la regressione logistica in econometria incontra una difficoltà che merita attenzione. In una regressione lineare, il coefficiente di un predittore si legge direttamente. Un’unità in più di X produce, in media, tante unità in più di Y. In una regressione logistica, questa semplicità non c’è. Il coefficiente grezzo misura l’effetto sullogitdegli odds, una scala poco intuitiva. L’esponenziale del coefficiente — l’odds ratio— misura di quante volte vengono moltiplicati gli odds della scelta per ogni unità di aumento del predittore. Anche l’odds ratio, però, non dice direttamente di quanto cambia la probabilità della scelta.

E la probabilità è proprio ciò che interessa all’economista. Quando si studia la partecipazione al mercato del lavoro delle donne con figli piccoli, la domanda di policy non è di quanto cambiano gli odds per ogni figlio in più: è di quanti punti percentuali scende la probabilità di lavorare. Quando si studia l’accesso al credito, la domanda non è in termini di odds: è di quanto aumenta la probabilità di ottenere un prestito a parità di altre caratteristiche. L’odds ratio, in econometria applicata, è un oggetto tecnico utile per il confronto tra gruppi ma è raramente quello che il lettore finale vuole leggere.

Per questo motivo, nella prassi econometrica, i coefficienti della regressione logistica si accompagnano quasi sempre aglieffetti marginali. L’effetto marginale di un predittore è la variazione della probabilità stimata della scelta in risposta a una variazione unitaria del predittore, tenendo costanti gli altri predittori. È una quantità espressa sulla stessa scala della probabilità — in punti percentuali — e ha un’interpretazione immediata.

Effetti marginali: medi e alla media

Gli effetti marginali hanno però una caratteristica che va compresa bene: dipendono dal punto in cui li si calcola. Poiché la relazione tra predittori e probabilità non è lineare ma segue una curva a S, l’effetto di una variabile sulla probabilità della scelta è diverso a seconda del valore degli altri predittori. Un anno in più di istruzione può aumentare di cinque punti percentuali la probabilità di trovare lavoro per chi parte da una probabilità di cinquanta per cento, e di un solo punto percentuale per chi parte da una probabilità del novanta per cento. La stessa variabile, lo stesso coefficiente, effetti diversi.

Di fronte a questa dipendenza dal punto di valutazione, l’econometria applicata ha sviluppato due convenzioni, che si distinguono per un dettaglio apparentemente piccolo ma sostanzialmente importante. Pensiamo a uno studio sulla probabilità di essere occupati, con un campione di cinquemila persone e l’età come predittore.

Effetto marginale alla media

La prima convenzione è l’effetto marginale alla media. Si costruisce un individuo ipotetico che ha il valore medio di tutte le caratteristiche del campione — età media, reddito medio, anni di istruzione medi — e si calcola quanto cambia la sua probabilità di essere occupato per un anno in più di età. Produce un numero unico ed è facile da calcolare, ma descrive un individuo medio che nella realtà potrebbe non corrispondere a nessuno dei cinquemila effettivi.

Effetto marginale medio

La seconda convenzione è l’effetto marginale medio. Si calcola quanto cambia la probabilità di essere occupato per ognuna delle cinquemila persone del campione — una ad una, con le sue caratteristiche reali — e poi si fa la media dei cinquemila risultati. Il calcolo è più pesante, ma il numero che si ottiene descrive l’effetto medio sulle persone realmente osservate, non su un individuo ipotetico. È come dire: invece di domandarmi cosa succede a una persona media, domando cosa succede in media alle persone che ho davvero.

Nella letteratura empirica moderna, la preferenza è quasi sempre per l’effetto marginale medio. Esso riflette meglio la realtà eterogenea del campione e ha un’interpretazione più pulita in termini di impatto atteso di una politica o di un intervento. Ma entrambe le convenzioni sono accettate, e i software econometrici — Stata in testa, con il comando margins diventato ormai proverbiale, ma anche R e Python con pacchetti dedicati — le calcolano entrambe di default.

Endogeneità: il problema che resta

C’è un punto su cui l’econometria è particolarmente vigilante e che trasforma la regressione logistica da un esercizio descrittivo in un’analisi con ambizioni causali. È il problema dell’endogeneità, ossia la possibilità che uno o più predittori siano correlati con la componente non osservata del modello, quel termine che cattura tutto ciò che influenza la scelta ma che non è stato incluso tra le variabili esplicative.

Quando c’è endogeneità, i coefficienti stimati non riflettono un effetto causale ma un’associazione potenzialmente distorta da confondenti non osservati, da causalità inversa o da errori di misura sistematici. La regressione logistica stimata per massima verosimiglianza, da sola, non risolve questi problemi: li eredita esattamente come li erediterebbe una regressione lineare. Se stimiamo l’effetto dell’istruzione sulla probabilità di essere occupati e omettiamo una variabile come l’abilità individuale — non osservata ma correlata sia con l’istruzione sia con le prospettive lavorative — il coefficiente sull’istruzione cattura parte dell’effetto dell’abilità e l’interpretazione causale risulta compromessa.

Per gestire l’endogeneità in un contesto di variabile dipendente binaria, l’econometria ha sviluppato strumenti specifici: modellilogitoprobitcon variabili strumentali, disegni di difference-in-difference applicati a esiti discreti,regression discontinuitysu variabili binarie, approcci con dati panel che controllano per eterogeneità individuale non osservata. Sono tecniche che vanno oltre la regressione logistica standard, ma che si appoggiano sul suo schema concettuale. Leggere un risultato di regressione logistica in termini causali richiede sempre la domanda preliminare: da dove viene l’identificazione? Qual è la fonte di variazione che permette di interpretare il coefficiente come un effetto e non solo come una correlazione?

Cosa guardare in un output

Quando si legge l’output di una regressione logistica in un paper di economia, alcuni elementi meritano particolare attenzione. I coefficienti grezzi sono utili soprattutto per verificare il segno dell’associazione — se è positivo il predittore spinge in alto la probabilità della scelta, se è negativo la spinge in basso — e per confrontare specificazioni alternative dello stesso modello. Gli effetti marginali, medi o alla media, traducono i coefficienti sulla scala della probabilità e sono la quantità che il lettore deve cercare per capire la rilevanza sostanziale del risultato.

Accanto ai coefficienti compaiono gli errori standard, che misurano la precisione con cui ogni parametro è stato stimato. Nella pratica econometrica si preferiscono gli errori standard robusti, che restano affidabili anche quando la variabilità dei dati non è uniforme tra le osservazioni. Quando poi i dati hanno una struttura a gruppi — pazienti raggruppati per ospedale, lavoratori raggruppati per azienda, studenti raggruppati per scuola — si usano errori standard clusterizzati, che tengono conto del fatto che le osservazioni dentro lo stesso gruppo tendono a somigliarsi più di quanto si somiglino osservazioni prese a caso dalla popolazione. Usare errori standard ordinari quando i dati sono raggruppati produce intervalli di confidenza artificialmente stretti e il rischio di concludere che un effetto è significativo quando in realtà non lo è.

Indicatori di bontà del modello

Dopo aver guardato coefficienti ed effetti marginali, resta una domanda: quanto bene il modello descrive i dati? In una regressione lineare la risposta arriva dall’R², il coefficiente di determinazione, che varia tra zero e uno e dice quanta variabilità della variabile dipendente il modello riesce a spiegare.

Pseudo R²

Nella regressione logistica l’R² tradizionale non si può calcolare — la variabile dipendente è binaria, non continua — e al suo posto si usa lopseudo R² di McFadden, un indicatore concettualmente analogo ma costruito in modo diverso. Varia anch’esso tra zero e uno, ma si legge su una scala più severa: valori tra 0.2 e 0.4 sono considerati buoni, valori sopra 0.4 ottimi. Leggere uno pseudo R² di 0.25 come se fosse un R² lineare porterebbe a pensare che il modello funzioni male, quando in realtà sta lavorando bene.

Tasso di classificazione corretta

Un secondo indicatore è iltasso di classificazione corretta, utile soprattutto quando il modello viene usato per prevedere. Funziona così: per ogni persona del campione il modello calcola una probabilità stimata di scegliere l’opzione uno; si fissa una soglia, tipicamente il cinquanta per cento, e si assegna la previsione uno a chi supera la soglia, zero agli altri. Il tasso di classificazione corretta è semplicemente la percentuale di persone per cui la previsione coincide con la scelta effettivamente osservata. Un tasso dell’ottantacinque per cento dice che il modello indovina la scelta in ottantacinque casi su cento.

Curva ROC

Il terzo indicatore è lacurva ROC con la sua area sottesa, che misura quanto bene il modello distingue tra chi sceglie uno e chi sceglie zero senza dover fissare una soglia specifica. L’area sottesa alla curva — spesso abbreviata in AUC — varia tra 0.5 e 1: un valore di 0.5 corrisponde a un modello che non distingue meglio di una moneta lanciata a caso, un valore di 1 a un modello che separa perfettamente i due gruppi. In economia applicata valori dell’AUC sopra 0.7 indicano una buona capacità discriminativa, sopra 0.8 un’ottima capacità.

La scelta dell’indicatore giusto dipende dall’obiettivo. Un modello che serve a stimare effetti causali — quanti punti percentuali cambia la probabilità di essere occupato per un anno in più di istruzione — si valuta soprattutto sulla qualità dell’identificazione e sulla plausibilità delle assunzioni. Un modello che serve a prevedere — assegnare a una nuova persona, sulla base delle sue caratteristiche, una probabilità di default bancario — si valuta soprattutto su classificazione corretta e AUC. Gli stessi coefficienti, in contesti diversi, richiedono criteri di valutazione diversi.

La regressione logistica, in econometria, è il ponte tra una teoria delle scelte e i dati che le registrano.Leggerla bene significa andare oltre il coefficiente, fino all’effetto marginale che ne traduce il significato sostanziale, e oltre l’effetto marginale, fino alla domanda sulla fonte di identificazione che ne fonda l’interpretazione causale. Senza questo percorso, il modello produce numeri. Con questo percorso, produce evidenza.