La regressione lineare: leggere una retta senza perdersi

C’è un momento, durante le lezioni di matematica al liceo, in cui appare la retta. In geometria analitica — quella parte della matematica che unisce geometria e algebra in modo elegante — la retta si presenta con questa forma: y = mx + q. Il professore spiega che m è il coefficiente angolare, cioè quanto la retta sale o scende, ossia la sua pendenza, mentre q è l’intercetta, il punto in cui la retta incontra l’asse verticale. Si copia, si studia, si viene interrogati. E poi, nella maggior parte dei casi, la retta rimane lì: un esercizio su un foglio, qualcosa da calcolare e dimenticare.

Poi ci si trova a fare ricerca e si sente parlare di regressione lineare e ci si aspetta qualcosa di complicato, di nuovo, di lontano da quello che si è studiato. Invece si è di fronte alla stessa retta del liceo. Ma con una differenza fondamentale: mentre a scuola veniva assegnata l’equazione con i valori di m e q già dati, e si cercava di studiare x, qui il gioco si ribalta. Si ha x — ossia i dati — e si devono scoprire m e q. I coefficienti non li dà il professore. Li calcolano i dati. E quello che sembrava un esercizio scolastico diventa uno degli strumenti più potenti e usati in tutta la statistica — in medicina, in economia, in scienze sociali, in ingegneria. Capire come si legge una retta di regressione significa capire come si legge mezza letteratura scientifica.

Da dove viene la retta

Immagina di avere i dati di cento pazienti: per ciascuno conosci l’età e il valore della pressione arteriosa sistolica. Se disegni un grafico con l’età sull’asse orizzontale e la pressione sull’asse verticale, ottieni una nuvola di punti, con una particolarità: una certa tendenza che lascia intuire come all’aumentare dell’età la pressione sanguigna tenda ad aumentare.

La regressione lineare è lo strumento statistico pensato per descrivere questo tipo di relazioni. Il suo obiettivo è trovare la retta che descrive meglio la tendenza osservata nei dati: non una retta qualsiasi, ma quella che approssima meglio la distribuzione dei punti. Come sai, le rette nel piano sono infinite. Ed allora, come si sceglie quella giusta? Immagina di tendere un filo tra i punti del grafico: il filo può passare in mille modi diversi attraverso la nuvola. La regressione lineare sceglie il filo che sta più vicino a tutti i punti contemporaneamente, cioè quello che minimizza la somma delle distanze verticali tra ciascun punto e la retta stessa. Queste distanze si chiamano residui: sono gli scarti tra il valore reale osservato e il valore che la retta predice.

Gauss e Legendre, all’inizio dell’Ottocento, dimostrarono che la scelta matematicamente più efficiente è minimizzare la somma dei quadrati di questi scarti, da cui il nome minimi quadrati ordinari, o OLS dall’ingleseOrdinary Least Squares. Questo metodo è ancora oggi il metodo standard e il motivo è semplice: funziona.

Il risultato della regressione lineare è una retta descritta da due numeri: il coefficiente angolare e l’intercetta. Questi due numeri sono tutto ciò che serve per leggere il modello, ma farlo correttamente richiede un po’ di attenzione.

Il coefficiente angolare: quanto cambia Y quando cambia X

Il coefficiente angolare — nella notazione statistica è indicato con β, beta — è il numero più importante di una regressione lineare. Dice quanto cambia la variabile dipendente Y per ogni unità di aumento della variabile indipendente X.

Nel nostro esempio con età e pressione arteriosa, supponiamo che la regressione produca un coefficiente angolare di 0.8. Questo significa che, in media, per ogni anno in più di età, la pressione arteriosa sistolica aumenta di 0.8 mmHg. Attenzione: non significa che questo aumento avvenga in ogni singolo paziente: la regressione descrive una tendenza media, non il comportamento di un individuo specifico. Ma nella media del campione studiato, la relazione è questa.

Il segno del coefficiente angolare è immediatamente informativo. Un coefficiente positivo indica una relazione diretta: quando X aumenta, Y tende ad aumentare. Un coefficiente negativo indica una relazione inversa: quando X aumenta, Y tende a diminuire. Se stessimo studiando la relazione tra attività fisica e pressione arteriosa, potremmo aspettarci un coefficiente negativo: più attività fisica, pressione tendenzialmente più bassa.

La grandezza del coefficiente dipende però dalle unità di misura usate. Un coefficiente di 0.8 mmHg per anno è molto diverso da un coefficiente di 0.8 mmHg per mese, anche se entrambi sono rappresentati dallo stesso numero. Per questo, quando si legge un coefficiente di regressione, la prima domanda da farsi è sempre: in quali unità è misurata X e in quali unità è misurata Y? Senza rispondere a questa domanda, il numero da solo non dice nulla.

Il coefficiente angolare è la risposta alla domanda: di quanto cambia Y per ogni unità di cambiamento in X? È la pendenza della relazione tra due variabili — non la forza di quella relazione, non la sua importanza clinica, solo la sua direzione e la sua pendenza media.

L’intercetta: il punto di partenza

L’intercetta — chiamata anche costante, o α, alfa, o semplicemente il termine costante del modello — è il valore che Y assume quando X è uguale a zero. Nel grafico, è il punto in cui la retta incontra l’asse verticale.

Nella retta che studiavi al liceo, l’intercetta era sempre interpretabile: era un punto preciso sul grafico, con un significato geometrico chiaro. Nella regressione statistica, l’interpretazione dell’intercetta è spesso molto meno interessante e a volte del tutto priva di senso pratico.

Nel nostro esempio con età e pressione arteriosa, l’intercetta rappresenta la pressione arteriosa sistolica media di una persona con età uguale a zero, cioè di un neonato. Supponiamo che la regressione produca un’intercetta di 95 mmHg. Questo numero non è particolarmente utile clinicamente e non va interpretato come una predizione reale per i neonati, perché il modello è stato costruito su dati di adulti, e applicarlo fuori dall’intervallo di dati su cui è stato stimato produce predizioni inaffidabili. L’intercetta, in questo caso, è semplicemente il parametro che permette alla retta di passare nei posti giusti nel grafico: ha un ruolo tecnico, non necessariamente un’interpretazione sostanziale.

Ci sono casi in cui l’intercetta è invece molto interessante. Se studi la relazione tra la dose di un farmaco e la sua concentrazione plasmatica, la dose può essere zero per cui l’intercetta rappresenta la concentrazione plasmatica in assenza del farmaco, che in alcuni contesti ha un significato biologico preciso. La regola generale è: l’intercetta è interpretabile quando X uguale a zero ha un senso nel contesto dello studio e non lo è quando zero è fuori dall’intervallo di valori realistici di X.

Intercetta: un caso particolare

C’è un caso che genera spesso confusione: quello in cui l’intercetta ha un valore enorme rispetto ai coefficienti. Immagina un modello che studia la relazione tra gli anni di esperienza lavorativa e lo stipendio annuale. Il coefficiente angolare potrebbe essere 2.000 euro — per ogni anno di esperienza in più, lo stipendio aumenta in media di 2.000 euro. L’intercetta potrebbe essere 28.000 euro. Il numero è molto più grande del coefficiente, ma ha un senso preciso: è lo stipendio medio atteso per una persona con zero anni di esperienza, cioè all’inizio della carriera. In questo caso l’intercetta è perfettamente interpretabile e clinicamente — o economicamente — sensata.

Il problema nasce quando X uguale a zero è lontano dai dati osservati. Se studi la relazione tra l’altezza in centimetri e il peso in chilogrammi su un campione di adulti, la retta potrebbe produrre un’intercetta di -100 kg. Questo non significa che una persona alta zero centimetri pesa -100 kg: significa semplicemente che la retta, prolungata fino all’origine, passa da quel punto. Ma l’origine è fuori da qualsiasi intervallo realistico dei dati — nessuno nel campione è alto zero centimetri. L’intercetta è in questo caso un parametro tecnico necessario per posizionare correttamente la retta nello spazio, non un’affermazione sul mondo reale. Più l’intercetta è lontana dall’intervallo dei valori osservati di X, meno ha senso interpretarla direttamente — e più è grande il rischio di attribuirle un significato che non ha.

Leggere il grafico: la nuvola di punti e la retta

Un grafico di regressione lineare mostra due cose insieme: la nuvola di punti che rappresenta i dati osservati e la retta che il modello ha stimato. Leggere questo grafico è un’abilità che si acquisisce rapidamente, ma che richiede attenzione a ciò che si sta guardando.

Dispersione dei punti

La prima cosa da osservare è quanto i punti si avvicinano alla retta. Se i punti sono molto dispersi intorno alla retta — se la nuvola è larga — la retta descrive male i dati individuali, anche se cattura correttamente la tendenza media. Se i punti sono molto concentrati intorno alla retta — se la nuvola è stretta — il modello lineare descrive bene la relazione. Questa dispersione è catturata da un numero chiamato R², il coefficiente di determinazione, che vedremo tra poco.

Linearità

La seconda cosa da osservare è se la relazione sembra davvero lineare. Una retta è uno strumento potente, ma assume che la relazione tra X e Y sia costante per tutti i valori di X: nel caso del nostro esempio, significa che l’aumento di pressione per ogni anno di età sia lo stesso a 30 anni e a 80 anni. Questa assunzione non è sempre giustificata. Se i punti mostrano una curva — se la tendenza accelera o rallenta all’aumentare di X — un modello lineare non è lo strumento giusto e usarlo produce stime distorte. Guardare il grafico prima di interpretare i coefficienti è sempre un buon punto di partenza.

Outliers

La terza cosa da osservare sono i punti anomali, ossia quei valori che si discostano molto dalla retta. Un singolo punto molto lontano dalla retta, in alcune posizioni del grafico, può influenzare enormemente la stima dei coefficienti. Questi punti si chiamano punti influenti oleverage pointse la loro presenza va riconosciuta e dichiarata. Un modello stimato su dati che includono un punto molto influente può descrivere la posizione di quel punto più di quanto descriva la relazione tra X e Y nel resto del campione.

R²: quanto la retta spiega dei dati

Tra i numeri che accompagnano ogni output di regressione, R² è quello che più spesso viene letto male — sia sopravvalutato che sottovalutato.

R² misura la proporzione della variabilità totale di Y che il modello di regressione riesce a spiegare. Un R² di 0.60 significa che il 60% della variabilità nella pressione arteriosa è spiegato dall’età. Il restante 40% è variabilità non spiegata, dovuta ad altri fattori che non sono nel modello o alla variabilità biologica individuale.

Un R² alto non significa necessariamente che il modello è buono. Può essere alto perché c’è davvero una relazione forte tra X e Y. Ma può anche essere alto perché il campione è piccolo — con pochi punti, è facile che una retta passi vicino a tutti — o perché il modello è stato sovraspecificato. Allo stesso modo, un R² basso non significa necessariamente che il modello è sbagliato. In scienze biologiche e sociali, dove i fenomeni dipendono da decine di variabili, alcune non osservabili, un R² di 0.20 può essere perfettamente sensato e utile.

La domanda corretta non è «quanto è alto R²?» ma «quanto di ciò che mi interessa spiegare viene spiegato da questo modello?» E la risposta dipende dal contesto, dalla domanda di ricerca e da ciò che ci si aspettava ragionevolmente di spiegare.

Il modello non è la realtà: i limiti della regressione lineare

La regressione lineare è uno strumento straordinariamente utile. Ma come tutti gli strumenti, ha limiti precisi che è importante conoscere per non usarla male.

Il primo limite è l’assunzione di linearità. Il modello assume che la relazione tra X e Y sia lineare — una retta che cresce o decresce in modo uniforme e senza curve. Quando questa assunzione non è verificata, le stime possono essere gravemente distorte. Verificarla visivamente con il grafico è il primo passo; esistono anche test formali, ma l’occhio esperto su un buon grafico rimane spesso lo strumento più efficace.

Il secondo limite, che bisogna sempre tenere a mente, è che la regressione descrive associazioni, non cause. Un coefficiente angolare positivo tra età e pressione arteriosa ci dice che le due variabili sono associate — non che l’età causa l’aumento di pressione, anche se in questo caso è biologicamente plausibile. In molti altri contesti la direzione causale è tutt’altro che ovvia e la regressione da sola non può stabilirla. Per questo la letteratura metodologica moderna — dall’econometria alla statistica causale — ha sviluppato strumenti specifici per andare oltre l’associazione e avvicinarsi alla causalità.

Il terzo limite è l’estrapolazione. Una retta stimata su dati che coprono un certo intervallo di X non va usata per predire Y fuori da quell’intervallo. La relazione lineare osservata nel campione potrebbe non continuare oltre i valori osservati. Predire la pressione arteriosa di un bambino di cinque anni usando un modello costruito su adulti è metodologicamente scorretto, indipendentemente da quanto sia bello il coefficiente.

La regressione lineare non scopre la verità. Stima la retta che meglio descrive i dati che hai, nell’intervallo di valori che hai osservato, con le assunzioni che hai fatto. Usarla bene significa sapere cosa stai chiedendo e riconoscere quando stai chiedendo qualcosa a cui non può rispondere.

La retta che hai incontrato al liceo non era un esercizio. Era un modello del mondo.La regressione lineare prende quella retta e la radica nei dati — le dà un’intercetta che viene dall’osservazione, un coefficiente angolare che viene dalla realtà, un R² che dice quanto di quella realtà riesce a catturare. Leggere una retta di regressione significa leggere una domanda che qualcuno ha fatto al mondo — e capire, con precisione, cosa il mondo ha risposto.