Il paradosso di Simpson: quando i dati dicono una cosa e la realtà un’altra

Nel 1973, l’Università della California a Berkeley fu accusata di discriminare le donne nelle ammissioni ai corsi di dottorato. I dati sembravano inequivocabili: su oltre 12.763 candidati, gli uomini venivano ammessi in percentuale significativamente più alta delle donne. La notizia fece scalpore. Fu aperta un’indagine. E quando i ricercatori analizzarono i dati più da vicino — guardando non l’università nel suo insieme ma ogni singolo dipartimento — trovarono qualcosa di sconcertante: nella maggior parte dei dipartimenti, le donne venivano ammesse con percentuali uguali o superiori agli uomini. L’università non discriminava. I dati aggregati raccontavano una storia completamente falsa. Questo è il paradosso di Simpson.

Una struttura che inganna

Il paradosso di Simpson descrive una situazione in cui una tendenza che appare chiara in un insieme di dati aggregati scompare — o addirittura si inverte — quando quei dati vengono analizzati per sottogruppi. Non è un errore di calcolo. Non è una manipolazione. È una proprietà matematica reale e una volta che si impara a riconoscerla, la si vede ovunque.

Il caso di Berkeley ha una spiegazione precisa. Le donne tendevano a candidarsi ai dipartimenti più competitivi — lettere, scienze sociali, discipline umanistiche — dove i tassi di ammissione erano bassi per tutti, uomini e donne. Gli uomini si candidavano in proporzione maggiore ai dipartimenti tecnici e scientifici, dove le ammissioni erano più numerose. Il risultato: aggregando tutto insieme, gli uomini sembravano favoriti. Ma quella differenza non dipendeva dal sesso dei candidati, ma da quale dipartimento sceglievano. La variabile nascosta, il dipartimento, stava guidando il risultato senza essere visibile nel totale.

Il cuore matematico del paradosso

Per capire perché questo accade, basta un esempio numerico elementare senza utilizzare alcuna formula. Immagina due ospedali, A e B, che trattano pazienti con una certa malattia. L’ospedale A ha un tasso di sopravvivenza complessivo del 90%. L’ospedale B ha un tasso di sopravvivenza complessivo dell’85%. Sembra ovvio: l’ospedale A è migliore.

Ma ora guarda i dati disaggregati. L’ospedale A riceve quasi esclusivamente pazienti in buone condizioni, per i quali la sopravvivenza è naturalmente alta. L’ospedale B è un centro specializzato che accetta i casi più gravi, quelli che altri ospedali non prendono in carico. Se confronti i pazienti in buone condizioni, l’ospedale B ha una sopravvivenza più alta. Se confronti i pazienti in condizioni critiche, l’ospedale B ha ancora una sopravvivenza più alta. In entrambe le categorie, l’ospedale B è migliore. Eppure nel totale sembra peggiore.

Il paradosso nasce dalla diversa composizione dei gruppi. L’ospedale B ha molti più pazienti gravi, che abbassano la sua media generale, non perché curi peggio, ma perché accetta casi che l’altro non vede neanche. Aggregare senza tenere conto di questa differenza produce un confronto che non confronta davvero nulla.

Quando i numeri mentono senza sbagliare

Quello che rende il paradosso di Simpson particolarmente insidioso è che i dati sono corretti. Non c’è nessun errore aritmetico, nessuna manipolazione. I numeri sono veri. È l’interpretazione che fallisce, perché ignora la struttura sottostante dei dati.

In ambito economico e sociale questo problema è frequentissimo. Negli anni Novanta, diversi studi mostravano che i salari medi negli Stati Uniti erano aumentati rispetto al decennio precedente. Era vero, ma nascondeva qualcosa. Quando si disaggregava per livello di istruzione, i salari erano diminuiti in quasi ogni categoria. Come era possibile? Analizzando i dati più approfonditamente si scoprì che nel frattempo la composizione della forza lavoro era cambiata. C’erano molti più lavoratori con istruzione elevata, che guadagnano di più, e questa variazione nella composizione gonfiava la media aggregata anche mentre i singoli gruppi peggioravano. La crescita dei salari era reale nel dato complessivo. Tuttavia era falsa come descrizione dell’esperienza di quasi tutti i lavoratori.

Lo stesso meccanismo compare nelle analisi sulla mortalità, nella valutazione delle politiche pubbliche, nei confronti tra sistemi sanitari di paesi diversi. Ogni volta che si confrontano popolazioni con composizioni diverse senza tenerne conto, si rischia di vedere una tendenza che non esiste o di non vedere una tendenza che esiste eccome.

La variabile che nessuno ha invitato

Il nome tecnico della variabile nascosta che produce il paradosso prende il nome di variabile di confondimento — oconfonder, nel termine inglese che la letteratura metodologica usa comunemente. È una variabile che influenza sia il gruppo che stai studiando sia il risultato che stai misurando, e che, se non viene considerata nell’analisi, distorce completamente le conclusioni.

Nel caso di Berkeley, il confonder è la scelta del dipartimento. Nell’esempio degli ospedali, è la gravità delle condizioni dei pazienti. Nei salari, è il livello di istruzione. In tutti i casi, la variabile è lì, presente nei dati, rilevante per la conclusione. Ma invisibile nell’analisi aggregata.

Riconoscere il paradosso di Simpson significa sviluppare un riflesso. Ogni volta che si osserva una tendenza in dati aggregati, è necessario chiedersi se quella tendenza regge quando i dati vengono separati per sottogruppi rilevanti. Ed ancora è necessario identificare quale variabile, non inclusa nell’analisi, potrebbe stare guidando il risultato in modo silenzioso.

Una storia più antica di quanto sembra

Il paradosso prende il nome da Edward H. Simpson, statistico britannico che lo descrisse formalmente in un articolo del 1951. Ma il fenomeno era stato osservato prima di lui: il statistico Karl Pearson ne aveva documentato una versione già nel 1899, e Udny Yule aveva contribuito alla sua comprensione nei primi anni del Novecento.

Simpson non scoprì il paradosso: lo chiarì con una trattazione sistematica che rese il problema riconoscibile e nominabile. Il fatto che porti il suo nome è in parte una convenzione della storia della statistica, in parte un tributo alla potenza di aver dato un nome preciso a qualcosa che esisteva ma non aveva ancora un’identità.

Dare un nome a un paradosso è già metà del lavoro per imparare a evitarlo.

Il paradosso di Simpson e la causalità

Il paradosso di Simpson non è solo un problema di statistica descrittiva, è altresì un problema di causalità. E capire questa connessione cambia profondamente il modo in cui si legge la ricerca scientifica.

Quando osserviamo una relazione tra due variabili — un trattamento e un esito, una politica e un risultato — vogliamo sapere se quella relazione è causale: se cambiare una cosa produce davvero un cambiamento nell’altra. Ma nei dati osservazionali, quelli raccolti senza un esperimento controllato, le variabili di confondimento si insinuano ovunque. E il paradosso di Simpson è esattamente ciò che succede quando un confonder potente domina la struttura dei dati senza essere incluso nell’analisi.

Tornimo ancora sull’esempio degli ospedali. Se volessimo usare quei dati per decidere quale ospedale è più efficace — e quindi dove indirizzare i finanziamenti pubblici — la conclusione sbagliata avrebbe conseguenze reali. L’ospedale B, che cura meglio i pazienti in entrambe le categorie, verrebbe penalizzato proprio perché accetta i casi più difficili. È un incentivo perverso: un sistema che punisce chi si fa carico della complessità.

Negli studi osservazionali in medicina questo problema è strutturale. I pazienti che ricevono un certo trattamento non sono scelti a caso, ma vengono selezionati dai medici in base alle loro condizioni, alla loro storia clinica, alla gravità della malattia. Questa selezione non casuale crea differenze sistematiche tra i gruppi che rendono il confronto diretto fuorviante. Il paradosso di Simpson è una delle manifestazioni più visibili di questo meccanismo: la variabile che guida la selezione — la gravità, l’età, la comorbidità — è anche quella che influenza l’esito, e se non viene controllata, distorce tutto.

La risposta metodologica a questo problema ha richiesto decenni di sviluppo e non si risolve con un singolo strumento. La randomizzazione — assegnare i trattamenti in modo casuale — è il modo più diretto per spezzare il legame tra confonder e trattamento, ed è per questa ragione che iltrial randomizzato controllatoè considerato il gold standard della ricerca clinica.

Altenative alla randomizzazione

Quando la randomizzazione non è possibile esistono tecniche statistiche che cercano di correggere il confondimento: la stratificazione per sottogruppi, la standardizzazione, i modelli di regressione multipla, e metodi più sofisticati come ilpropensity score matching. Nessuno di questi elimina completamente il problema, ma tutti cercano di fare la stessa cosa: rendere visibile ciò che i dati aggregati nascondono.

Il paradosso di Simpson è, in fondo, un promemoria permanente. I dati osservazionali raccontano associazioni, non cause. E le associazioni possono essere reali, spurie, o addirittura invertite rispetto alla realtà causale sottostante. Distinguere le une dalle altre è il compito più difficile e al contempo più importante della metodologia della ricerca.

I dati non parlano da soli: hanno bisogno di essere interrogati con la struttura giusta.Il paradosso di Simpson è la dimostrazione più elegante di questo principio. Una tendenza che sembra solida può dissolversi non appena si guarda un livello più in profondità. E una differenza che sembra assente nel totale può essere presente, reale e importante, in ogni singolo sottogruppo. La matematica non mente, ma può raccontare storie molto diverse a seconda di come si decide di guardarla.