Modelli a effetti fissi e casuali: scegliere con il test di Hausman

Stai studiando l’effetto dell’istruzione sul salario. Hai dati su migliaia di lavoratori. Per ciascuno di essi sai quanto guadagna, quanti anni di istruzione ha alle spalle, da quanti anni lavora e in quale settore. Per capire se l’istruzione influenza il salario, l’approccio più semplice per sapere se studiare di più porta a guadagnare di più è confrontare i salari di chi ha un titolo di studio elevato con quelli di chi ne ha uno inferiore. Il risultato è una comparazione sul salario tra lavoratori con differenti background culturari. Sembra proprio la soluzione adatta: un numero che esprime se e quanto l’istruzione influenza il salario. Tutto perfetto, no? Sfortunatamente, sembra tutto perfetto, ma non lo è.

Il problema è che il numero così ricavato non è l’effetto dell’istruzione. È qualcosa di più complicato. Le persone che studiano di più non sono un campione casuale della popolazione: provengono mediamente da famiglie più istruite, con maggiori risorse economiche, con reti sociali più solide. Queste caratteristiche influenzano sia la probabilità di proseguire gli studi sia il salario futuro, indipendentemente dal titolo di studio conseguito. Il mercato premia un insieme di cose che si portano dietro fin da prima dell’università. E queste caratteristiche non sono nel dataset: non esiste una colonna “background familiare”, non esiste una colonna “capitale sociale”. Anche provando a raccogliere dati su questi aspetti, non si cattura mai completamente il fenomeno. Ci sono troppi fattori in gioco, intrecciati tra loro in modi che nessuna variabile riesce a misurare per intero.

Ciò che stai stimando, dunque, non è solo l’effetto dell’istruzione. È un misto tra l’effetto dell’istruzione e l’effetto di tutte quelle caratteristiche non osservabili che differenziano sistematicamente chi studia di più da chi studia di meno. Questo intreccio si chiama eterogeneità non osservata ed è una delle principali fonti di distorsione nella ricerca empirica con dati osservazionali.

L’eterogeneità non osservata non è un problema tecnico che si risolve con un campione più grande o un modello più sofisticato. È un problema strutturale. Esso nasce dal fatto che le unità osservate — individui, ospedali, imprese, regioni — differiscono tra loro in modi che i dati non riescono a catturare completamente. Queste differenze, se correlate con le variabili che vogliamo studiare, distorcono sistematicamente le stime. La domanda è dunque: come uscirne?

Dati panel

La risposta viene dai dati panel: quei dati in cui le stesse unità vengono osservate in più momenti temporali. La logica sottostante alla loro utilità è immediata. Se osservo Mario Rossi per cinque anni consecutivi, il suo livello di istruzione può cambiare nel tempo — un anno consegue una laurea magistrale, un altro ottiene una certificazione professionale — ma le sue caratteristiche non osservabili e stabili nel tempo — il background familiare, il capitale sociale, la propensione allo studio — rimangono le stesse in tutti e cinque gli anni. Non cambiano. Sono una costante che accompagna ogni sua osservazione e sono ciò che distingue Mario Rossi dagli altri, indipendentemente dal titolo di studio.

Questa struttura permette di separare ciò che varia nel tempo da ciò che rimane stabile — un vantaggio che i dati cross-sezionali non possono offrire. Se il salario di Mario Rossi aumenta nell’anno in cui consegue un nuovo titolo e non aumenta negli anni in cui il suo livello di istruzione rimane invariato, posso attribuire quella variazione all’istruzione aggiuntiva, non alle sue caratteristiche personali, che sono identiche in tutti gli anni osservati.

Questa è la ricchezza fondamentale dei dati panel: la variazionewithin— all’interno della stessa unità nel tempo— tende a essere più pulita della variazionebetween— tra unità diverse — perché non è contaminata dalle differenze strutturali stabili tra le unità.

Prima di Hausman: due modelli, due risposte

Identificate le due componenti — effetto da osservare ed eterogeneità non osservata — il problema si sposta su come trattare l’effetto individuale, quella componente stabile nel tempo, specifica di ciascuna unità, che cattura tutto ciò che non osserviamo. Trattarla correttamente è ciò che permette di isolare l’effetto dell’istruzione da tutto il resto. L’econometriarisponde con due modelli.

Modelli a effetti fissi

La risposta dei modelli a effetti fissi è radicale: elimina l’effetto individuale dalla stima. Invece di misurarlo, lo rimuove trasformando i dati, sottraendo da ogni osservazione la media nel tempo di quella stessa unità, operazione nota comedemeaning. Quello che resta è solo la variazionewithin: quanto cambia il salario di Mario Rossi nel tempo in risposta alle variazioni nel suo livello di istruzione. Il background familiare, il capitale sociale, tutto ciò che lo distingue in modo stabile dagli altri sparisce dalla stima perché sparisce dai dati trasformati.

Il vantaggio è potente: il modello produce stime coerenti anche quando l’effetto individuale non osservato è correlato con le variabili esplicative. Non è necessario assumere che chi studia di più provenga da un contesto familiare uguale a chi studia di meno — il background familiare, essendo stabile nel tempo, viene eliminato per costruzione. Il prezzo è altrettanto reale: insieme all’eterogeneità non osservata spariscono anche le variabili time-invariant come il sesso, l’etnia, il paese di nascita, che pure possono avere un impatto rilevante sul salario.

Modelli a effetti casuali

Il modello a effetti casuali adotta una prospettiva diversa. Invece di eliminare l’effetto individuale, lo tratta come una variabile casuale estratta da una distribuzione comune a tutta la popolazione: un componente dell’errore, non un parametro da rimuovere. Questo consente di sfruttare sia la variazione within sia quella between, di stimare l’effetto delle variabili time-invariant e dunque, di ottenere stime più efficienti.

Il costo è un’assunzione forte: l’effetto individuale non osservato deve essere non correlato con le variabili esplicative del modello. Nel nostro esempio, questo significa assumere che il background familiare non osservato di Mario Rossi non sia correlato con il suo livello di istruzione. È un’assunzione comoda. Ed è quasi certamente falsa.

Il test di Hausman

Quando l’assunzione del modello a effetti casuali è soddisfatta, quel modello è preferibile: più efficiente, più informativo, capace di stimare anche le variabili time-invariant. Quando è violata, produce stime distorte e il modello a effetti fissi è l’unica scelta coerente. Il problema è che non si può sapere con certezza a priori in quale delle due situazioni ci si trova: l’assunzione riguarda la correlazione tra l’effetto individuale non osservato e le variabili esplicative, qualcosa che per definizione non si vede nei dati.

Jerry Hausman, in un articolo pubblicato su Econometrica nel 1978 — articolo diventato uno dei più citati nella storia dell’econometria — ha proposto un test per rispondere a questa domanda usando i dati stessi.

Se l’assunzione degli effetti casuali è soddisfatta, entrambi i modelli producono stime coerenti. Le stime dei due modelli dovrebbero quindi essere simili: le eventuali differenze sono solo rumore campionario. Se invece l’assunzione è violata, il modello a effetti fissi continua a produrre stime coerenti, mentre quello a effetti casuali è distorto. Le due stime divergono in modo sistematico, non per caso.

Il test misura questa divergenza e verifica se è statisticamente compatibile con il solo rumore campionario. Se il test rigetta l’ipotesi nulla — se la divergenza è troppo grande per essere casuale — la conclusione è che l’assunzione degli effetti casuali è violata e quindi si consiglia l’adozione del modello a effetti fissi. Se il test non rigetta l’ipotesi nulla, significa che non vi sono evidenze contro il modello a effetti casuali, che rimane la scelta preferita.

Tornando all’esempio sull’istruzione e il salario ciò significa stimare il modello a effetti fissi che mostra che un anno aggiuntivo di istruzione è associato a un aumento del salario del 4%. Successivamente si stima il modello a effetti casuali secondo cui la stima sale all‘11%. A questo punto il test di Hausman valuta la differenza osservata trai due modelli è compatibile con il solo rumore campionario. Se il test la rigetta, la conclusione è che il background familiare non osservato — correlato sia con il livello di istruzione sia con il salario — gonfia la stima del modello a effetti casuali. Il 4% del modello a effetti fissi è la stima più credibile dell’effetto causale dell’istruzione. Se il test al contrario, non rigetta l’ipotesi nulla, allora le due stime sono compatibili e si può preferire il modello a effetti casuali per la sua maggiore efficienza.

Il test di Hausman non dice quale modello sia “giusto” in assoluto. Dice quale è supportato dai dati, data l’assunzione di fondo. È una differenza sottile ma importante: il test è uno strumento di falsificazione, non di conferma.

Due contesti, lo stesso problema

Nell’economia del lavoro il test di Hausman rigetta quasi sempre il modello a effetti casuali. Le caratteristiche non osservabili degli individui — background familiare, capacità cognitive, reti sociali, motivazione — sono sistematicamente correlate con le variabili di interesse: istruzione, salari, scelte occupazionali. Per questa ragione il modello a effetti fissi è la scelta prevalente ed il test di Hausman serve spesso a confermarlo formalmente. Una divergenza grande e significativa tra le stime dei due modelli è, in questi contesti, quasi la norma.

In ambito sanitario la struttura è la stessa, anche se le unità osservate cambiano. Con dati su cento ospedali seguiti per dieci anni, ogni ospedale porta con sé caratteristiche stabili e non osservabili — cultura organizzativa, qualità del management, capacità di attrarre pazienti motivati alla prevenzione — probabilmente correlate con la qualità dei programmi implementati. Il test di Hausman serve anche qui a verificare se queste caratteristiche distorcono le stime del modello a effetti casuali, o se l’assunzione di esogeneità — ossia che l’effetto individuale non osservato non sia correlato con le variabili esplicative del modello — è difendibile. In contesti sanitari la risposta è meno scontata che nel lavoro: dipende dalla natura delle unità osservate, dal tipo di intervento studiato e da quanto le caratteristiche non osservabili degli ospedali siano correlate con le variabili di interesse.

In entrambi i contesti, l’intuizione di fondo è la stessa: le unità che compongono il campione non sono intercambiabili. Hanno caratteristiche che persistono nel tempo e che i dati catturano solo in parte. Ignorare questa persistenza significa stimare qualcosa di diverso da quello che si vorrebbe misurare. Il test di Hausman è il modo più diretto per verificare se questa preoccupazione è fondata.

Limiti da conoscere

Il test di Hausman è uno strumento potente, ma non è infallibile. In campioni piccoli, la potenza statistica potrebbe non essere sufficiente per rilevare differenze sistematiche tra le due stime anche quando esistono. Non rigettare l’ipotesi nulla in questo caso non significa che il modello a effetti casuali sia corretto: potrebbe semplicemente significare che il test non ha abbastanza dati per rilevare il problema.

Il test confronta le stime dei due modelli nel loro complesso, senza identificare quale variabile specifica sta violando l’assunzione di esogeneità. Se l’assunzione è violata per alcune variabili ma non per altre, il test segnala il problema senza indicare dove si trova. Va interpretato come un segnale di allerta, non come una diagnosi completa.

Infine, non rigettare il test non vuol dire che il modello a effetti casuali sia “giusto” in senso assoluto: vuol dire solo che non si trovano evidenze statistiche contro di esso in quel campione, con quelle variabili. La scelta tra i due modelli dovrebbe sempre essere accompagnata da un ragionamento sostanziale sulla plausibilità dell’assunzione nel contesto specifico. Una correlazione teoricamente plausibile tra l’effetto individuale e le variabili esplicative rimane una preoccupazione anche quando il test non la rileva statisticamente.

Una scelta che è un argomento

La scelta tra effetti fissi e casuali non è una formalità tecnica da sbrigare prima di pubblicare i risultati. È una presa di posizione su come si crede che funzioni il meccanismo che genera i dati: se l’eterogeneità non osservata è correlata con ciò che si vuole studiare oppure no. Il test di Hausman aiuta a fondare questa presa di posizione sui dati invece che sulla sola teoria. Ma non la sostituisce.

I modelli panel offrono strumenti straordinari per affrontare l’eterogeneità non osservata, una delle sfide più comuni e più difficili della ricerca empirica. Ma quegli strumenti funzionano solo se si è disposti a ragionare esplicitamente sulle assunzioni che li reggono, a testarle quando possibile, e ad accettare che i dati possano smentire le aspettative.

Scegliere tra effetti fissi e casuali non è una formalità tecnica da sbrigare prima di pubblicare i risultati. È una presa di posizione sulla struttura del problema — e il test di Hausman è il modo più onesto per fondare quella posizione sui dati.