Sì, no, forse: il test chi-quadro e l’arte di leggere le categorie

In uno studio clinico su pazienti ipertesi, i ricercatori notano che le donne sembrano rispondere al trattamento con maggiore frequenza rispetto agli uomini. Settanta donne su cento mostrano una risposta positiva, contro cinquanta uomini su cento. La differenza è visibile, chiara, intuitiva. Ma è reale nel senso statistico del termine o è solo una differenza emersa per puro caso dalla naturale variabilità di un campione finito? In questi casi, per valutare se la differenza osservata è significativa, spesso si utilizza il test chi-quadro.

Con variabili continue — come la pressione arteriosa, la concentrazione plasmatica, il peso corporeo — la risposta arriverebbe da untest to da un’ANOVA. Ma qui le variabili non sono continue: sono qualitative. Il sesso è maschio o femmina. La risposta è positiva o negativa. Non hanno una media nel senso tradizionale del termine, non si disperdono intorno a un valore centrale misurabile con una deviazione standard. Servono strumenti diversi, costruiti su una logica diversa.

Il test del chi-quadro — scritto χ², dal nome della lettera greca corrispondente — è lo strumento classico per studiare l’associazione tra variabili qualitative. È uno dei test statistici più usati nella letteratura biomedica, e la sua logica, una volta capita fino in fondo, illumina un modo di pensare ai dati che va ben oltre questo test specifico.

La tabella di contingenza: organizzare i dati qualitativi

Prima di capire il test chi-quadro, bisogna capire come si organizzano i dati qualitativi. Lo strumento è la tabella di contingenza, detta anche tabella di frequenza incrociata. È una matrice in cui le righe rappresentano le categorie di una variabile e le colonne le categorie dell’altra. Ogni cella contiene il numero di osservazioni che appartengono contemporaneamente a quella riga e a quella colonna.

Nel nostro esempio la tabella ha due righe — donne e uomini — e due colonne — risposta positiva e risposta negativa. Ecco come appare:

I totali di riga e di colonna — chiamati totali marginali — completano il quadro: duecento pazienti in tutto, centoventi risposte positive e ottanta negative. Guardando la tabella, la differenza tra i due gruppi è evidente: il settanta per cento delle donne risponde positivamente contro il cinquanta per cento degli uomini. Ma la domanda statistica non è se la differenza esiste nel campione: lì esiste per definizione, basta contare. La domanda è se quella differenza è compatibile con l’ipotesi che nella popolazione i due sessi rispondano con la stessa frequenza e che il campione abbia semplicemente prodotto valori diversi per variabilità casuale.

Frequenze osservate e frequenze attese: il cuore del test

Il test del chi-quadro risponde a questa domanda confrontando le frequenze effettivamente osservate nelle celle della tabella con le frequenze che ci si aspetterebbe se le due variabili fossero completamente indipendenti, se cioè il sesso non avesse alcun effetto sulla risposta al trattamento.

Come si calcolano queste frequenze attese? L’idea è semplice. Se sesso e risposta fossero indipendenti, la proporzione di risposte positive dovrebbe essere la stessa in entrambi i gruppi, uguale alla proporzione complessiva nell’intero campione. Nel nostro esempio, centoventi pazienti su duecento — il sessanta per cento — rispondono positivamente. Se le due variabili fossero indipendenti, ci si aspetterebbe che anche il sessanta per cento delle cento donne rispondesse positivamente: sessanta donne con risposta positiva e quaranta con risposta negativa. E lo stesso per gli uomini: sessanta risposte positive e quaranta negative. Questi sono i valori attesi, riassunti nella tabella qui sotto.

Il confronto tra le due tabelle è il cuore del test. Per ogni cella si misura quanto il valore osservato si discosta da quello atteso. Prendiamo la cella delle donne con risposta positiva: il valore osservato è settanta, quello atteso è sessanta. La differenza è dieci. Per trasformare questa differenza in un contributo alla statistica chi-quadro, si fa così: si eleva al quadrato la differenza — risultato cento — e la si divide per il valore atteso — sessanta. Il risultato è circa 1.67. Si ripete questo calcolo per ciascuna delle quattro celle e si sommano i quattro contributi: il totale è la statistica chi-quadro. Più è grande, più i dati osservati si discostano da quelli che ci si aspetterebbe se non ci fosse alcuna associazione.

I gradi di libertà: quanta libertà ha la tabella

Per ottenere il p-value la statistica chi-quadro si confronta con una distribuzione teorica — chiamata appunto distribuzione chi-quadro. Questa distribuzione dipende da un parametro: i gradi di libertà. Per capire cosa significa, conviene partire da un ragionamento concreto.

Immagina di avere la nostra tabella due per due con i totali marginali già fissati: cento donne, cento uomini, centoventi risposte positive, ottanta negative. Quante celle puoi riempire liberamente prima che le altre siano determinate di conseguenza? Solo una. Se sai che settanta donne hanno risposto positivamente, le altre tre celle si calcolano da sole: trenta donne con risposta negativa, cinquanta uomini con risposta positiva, cinquanta uomini con risposta negativa. C’è un solo grado di libertà.

La regola generale è questa: in una tabella con un certo numero di righe e di colonne, i gradi di libertà si calcolano moltiplicando il numero di righe meno uno per il numero di colonne meno uno, in formule è (numero righe – 1)x(numero colonne -1). Per una tabella due per due: uno per uno, uguale a uno. Per una tabella tre per quattro — tre categorie in una variabile, quattro nell’altra, i gradi di libertà sono pari a due per tre, ossia a sei. Più gradi di libertà significa più possibilità di configurazione compatibili con gli stessi marginali, e quindi una distribuzione chi-quadro di forma diversa.

Nel nostro esempio, la statistica chi-quadro di circa 8-33 con un grado di libertà corrisponde a un p-value di circa 0.004. In altre parole: se sesso e risposta fossero davvero indipendenti nella popolazione, osservare una discrepanza così grande tra frequenze osservate e attese sarebbe un evento molto raro, meno di quattro volte su mille. I dati sono poco compatibili con l’ipotesi di indipendenza.

Il limite delle frequenze attese piccole

Il test del chi-quadro è un test approssimato: funziona bene con campioni grandi, ma diventa inaffidabile quando alcune celle della tabella hanno frequenze attese molto basse. La regola pratica più citata — attribuita allo statistico britannico William Cochran — è che il test è affidabile quando tutte le frequenze attese sono almeno cinque. Se anche una sola cella scende sotto questa soglia, il p-value calcolato non è più attendibile.

In questi casi l’alternativa più usata è il test esatto di Fisher, che non si appoggia all’approssimazione ma calcola direttamente la probabilità esatta di osservare una configurazione almeno altrettanto estrema di quella osservata. Originariamente sviluppato per le tabelle due per due, si generalizza a tabelle più grandi attraverso il test esatto di Fisher-Freeman-Halton. Oggi tutti i software statistici lo calcolano in pochi istanti ed è la scelta raccomandata ogni volta che le frequenze attese sono troppo basse.

Esiste anche la correzione di continuità di Yates, talvolta applicata alle tabelle due per due per tenere conto della natura discreta dei dati. La sua utilità è però dibattuta: molti statistici la considerano eccessivamente conservativa, nel senso che riduce la potenza del test più di quanto necessario. In presenza di frequenze attese basse, il test esatto di Fisher rimane la scelta più solida.

Associazione non significa causalità

Un p-value significativo nel test del chi-quadro dice che c’è un’associazione statistica tra le due variabili qualitative. Non dice che una variabile causa l’altra. Non dice quanto forte è l’associazione. Non dice in quale direzione va. Queste limitazioni sono concrete e vanno comprese prima di interpretare qualsiasi risultato.

La forza dell’associazione si misura con indici specifici, distinti dal p-value. Per le tabelle due per due, la misura più intuitiva è l’odds ratio: il rapporto tra gli odds di un esito nel primo gruppo e gli odds dello stesso esito nel secondo. Nel nostro esempio, gli odds di risposta positiva nelle donne sono settanta diviso trenta, cioè circa 2.33; negli uomini sono cinquanta diviso cinquanta, cioè uno. L’odds ratio è circa 2.33, quindi le donne hanno odds di risposta positiva più che doppi rispetto agli uomini. L’odds ratio non si legge come un aumento percentuale di rischio: è un fattore moltiplicativo sugli odds, una distinzione sottile ma importante.

Per tabelle più grandi, si usano il V di Cramér o il phi, che variano tra zero — nessuna associazione — e uno — associazione perfetta. Queste misure di effetto sono complementari al p-value: mentre il p-value dipende dalla dimensione del campione — con campioni grandi anche associazioni debolissime risultano statisticamente significative — le misure di effetto descrivono la forza intrinseca dell’associazione indipendentemente dalla dimensione del campione. Leggere un chi-quadro significativo senza chiedersi quanto forte sia l’associazione è un errore frequente e facilmente evitabile.

Il test di bontà di adattamento: una seconda applicazione

Il test del chi-quadro che abbiamo descritto è il test per l’indipendenza, il più usato nella ricerca biomedica. Esiste però una seconda applicazione dello stesso strumento, con una logica analoga: il test di bontà di adattamento, noto anche come goodness of fit.

In questo caso si ha una sola variabile qualitativa e si vuole verificare se la distribuzione osservata delle frequenze nelle categorie è compatibile con una distribuzione teorica specificata a priori. I genotipi di un gene con tre alleli seguono la distribuzione di Hardy-Weinberg attesa dalla genetica delle popolazioni? La distribuzione dei gruppi sanguigni in un campione è compatibile con le proporzioni note nella popolazione di riferimento? Il meccanismo è identico — confronto tra frequenze osservate e frequenze attese — ma le frequenze attese derivano da una teoria, invece che dall’ipotesi di indipendenza tra due variabili.

Il test del chi-quadro pone una domanda semplice su strutture dati complesse: le categorie che osserviamo si distribuiscono come ci aspetteremmo se non ci fosse alcuna associazione?Rispondere correttamente richiede di verificare le assunzioni sulle frequenze attese, di affiancare al p-value una misura della forza dell’associazione, e di ricordare sempre che l’associazione statistica e la causalità sono concetti distinti — una distinzione che il test non può fare al posto del ricercatore.