Il test t: confrontare due medie senza perdersi

Immagina di avere i risultati di uno studio clinico. Un gruppo di pazienti ha ricevuto un nuovo trattamento per l’ipertensione, un altro gruppo ha ricevuto il trattamento standard. Alla fine dello studio, la pressione sistolica media del primo gruppo è 128 mmHg, quella del secondo è 133 mmHg. La differenza è di cinque mmHg. La domanda che ogni ricercatore si pone a questo punto è: questa differenza è reale o potrebbe essere emersa per puro caso anche se i due trattamenti fossero identici?

È una domanda che non ha risposta ovvia. Cinque mmHg potrebbero essere una differenza clinicamente importante o potrebbero essere il frutto della variabilità naturale tra i soggetti, dell’errore di misurazione, della distribuzione casuale di caratteristiche irrilevanti tra i due gruppi. Iltest tè lo strumento statistico pensato per rispondere a questa domanda in modo rigoroso. Mette in relazione la differenza osservata tra le medie con lavariabilitàdei dati e produce una misura di quanto quella differenza sia compatibile o incompatibile con l’ipotesi che i due gruppi, nella popolazione, abbiano la stessa media.

La logica del test: segnale e rumore

Il principio su cui si fonda il test t è intuitivo una volta che lo si comprende. Ogni differenza osservata tra due medie campionarie ha due possibili spiegazioni. La prima è che esiste davvero una differenza tra i due gruppi nella popolazione, nel caso in esame il nuovo trattamento abbassa effettivamente la pressione più di quello standard. La seconda è che non esiste alcuna differenza nella popolazione, ma i campioni, per variabilità casuale, hanno prodotto medie diverse. Il test t valuta quale delle due spiegazioni è più compatibile con i dati.

Per farlo, costruisce un rapporto che gli ingegneri chiamerebbero rapporto segnale-rumore. Il segnale è la differenza osservata tra le due medie: più è grande, più suggerisce che ci sia qualcosa di reale da spiegare. Il rumore è la variabilità dei dati, quantificata attraverso le deviazioni standard dei due campioni e le loro dimensioni. Più è grande la variabilità, più è plausibile che la differenza osservata sia casuale. La statistica t è precisamente questo rapporto: differenza tra le medie divisa per una stima dell’errore standard – quanto la media stessa potrebbe variare se si ripetesse il campionamento – di quella differenza.

Una statistica t grande in valore assoluto dice che il segnale è forte rispetto al rumore: la differenza osservata è difficile da spiegare con la sola variabilità casuale. Una statistica t vicina a zero dice che il segnale è debole rispetto al rumore: la differenza potrebbe tranquillamente essere emersa per caso. Dove si trova la soglia tra le due interpretazioni? È qui che entra in gioco la distribuzione t di Student, ossia quella curva con le code più pesanti della normale che dipende dai gradi di libertà, e il p-value che ne deriva.

Tre versioni dello stesso strumento

Il test t non è un unico test ma una famiglia di tre strumenti distinti, ognuno adatto a una struttura di dati specifica. Scegliere la versione sbagliata non è un errore tecnico trascurabile: produce risultati non affidabili e conclusioni potenzialmente fuorvianti.

Test t su un solo campione

Il test t per un campione risponde alla domanda: la media di una certa variabile nella mia popolazione è uguale a un valore di riferimento noto? Per esempio, la concentrazione media di vitamina D in un gruppo di pazienti anziani è uguale al valore considerato normale nella popolazione adulta sana? Si ha un solo campione, una sola media e un valore di confronto che non è stimato dai dati ma è noto a priori. La statistica t misura di quanti errori standard la media campionaria si discosta da quel valore di riferimento.

Test t su due campioni indipendenti

Il test t per due campioni indipendenti è il più usato nella ricerca clinica: confronta le medie di due gruppi distinti e non collegati. I pazienti trattati con il farmaco A non sono gli stessi pazienti trattati con il farmaco B; i soggetti del gruppo esposto non sono gli stessi soggetti del gruppo di controllo. L’indipendenza tra i gruppi è un’assunzione strutturale del test: quando viene violata, i risultati sono distorti. Esistono due varianti di questo test che differiscono per un’assunzione sulle varianze dei due gruppi, su cui torneremo a breve.

Test t su campioni appaiati

Infine, c’è una terza versione del test t: il test t per campioni appaiati. Questo affronta una situazione diversa rispetto ai primi due: le due misurazioni sono collegate perché provengono dagli stessi soggetti o da coppie di informazioni appaiate per caratteristiche rilevanti. La pressione di venti pazienti misurata prima e dopo un trattamento. La concentrazione di un biomarcatore in campioni di tessuto sano e patologico prelevati dallo stesso individuo. In questi casi le due osservazioni non sono indipendenti e trattarle come se lo fossero spreca informazione e riduce la potenza del test. Dunque il test appaiato lavora sulle differenze individuali — calcola per ogni soggetto quanto è cambiata la misurazione — e testa se la media di queste differenze è compatibile con zero.

Il test di Welch: quando le varianze non sono uguali

Quando si applica a due campioni indipendenti il test t ha una versione classica, attribuita a Student, che assume che le varianze dei due gruppi nella popolazione siano uguali. È un’assunzione comoda dal punto di vista matematico, ma non sempre giustificata. In molti studi reali i due gruppi hanno dispersioni diverse ed assumere uguaglianza quando non c’è produce una stima dell’errore standard distorta e un p-value non affidabile.

Bernard Lewis Welch propose negli anni Quaranta una versione modificata del test che non richiede l’uguaglianza delle varianze. Il test di Welch stima separatamente la variabilità di ciascun gruppo e la combina in modo da tener conto della loro eventuale differenza. Il prezzo è una formula per i gradi di libertà più complicata, nota come formula di Welch-Satterthwaite, che produce valori non necessariamente interi. Ma il vantaggio è sostanziale: il test di Welch si comporta bene sia quando le varianze sono uguali sia quando non lo sono, mentre il test classico può produrre risultati seriamente distorti quando le varianze differiscono molto e i campioni hanno dimensioni diverse.

Per questa ragione, nella pratica moderna, il test di Welch è diventato la scelta predefinita nella maggior parte dei software statistici e nelle linee guida metodologiche. La domanda da porsi non è più “le varianze sono uguali?” – domanda che richiederebbe a sua volta un test statistico, con tutti i problemi che questo comporta — ma piuttosto “ho motivi forti per assumere che le varianze siano uguali?”. In assenza di tali motivi, il test di Welch è la scelta più prudente.

Le assunzioni: cosa deve essere vero perché il test t funzioni

Il test t si appoggia su alcune assunzioni che, se violate, possono rendere i risultati inaffidabili. Conoscerle non serve solo a evitare errori: serve a capire quando il test è applicabile e quando invece conviene considerare alternative.

Normalità

La prima assunzione è la normalità. Il test t assume che la variabile di interesse sia distribuita normalmente nella popolazione, o più precisamente che la distribuzione della media campionaria sia approssimativamente normale. Con campioni grandi, il teorema del limite centrale garantisce questa approssimazione indipendentemente dalla distribuzione originale dei dati. Con campioni piccoli, la normalità dei dati diventa un’assunzione da andare a verificare esaminando la distribuzione dei dati — un istogramma, un Q-Q plot — prima di procedere con il test. Il test t è noto per essere ragionevolmente robusto a deviazioni moderate dalla normalità, ma con distribuzioni marcatamente asimmetriche o in presenza di outlier estremi la prudenza è giustificata.

Indipendenza

La seconda assunzione è l’indipendenza delle osservazioni. Ogni osservazione deve essere indipendente dalle altre, ossia il valore misurato su un soggetto non deve influenzare né dipendere dal valore misurato su un altro. Questa assunzione è violata quando i dati hanno una struttura di dipendenza: misurazioni ripetute sullo stesso soggetto, soggetti raggruppati per centro clinico o per famiglia, dati con struttura gerarchica. In questi casi il test t standard non è appropriato e servono modelli che tengano conto della dipendenza — modelli misti, equazioni di stima generalizzate, o semplicemente il test appaiato quando la struttura lo permette.

Omogeneità delle varianze

La terza assunzione, specifica del test a due campioni, riguarda l’uguaglianza – anche nota come omogeneità – delle varianze. Come discusso, il test di Welch risolve questo problema rendendo l’assunzione non necessaria. Rimane però l’assunzione di indipendenza tra i gruppi: i soggetti del primo gruppo non devono essere collegati ai soggetti del secondo. Se lo sono — per disegno o per natura del problema — il test appropriato è quello appaiato.

Leggere l’output: t, gradi di libertà, p-value, intervallo di confidenza

Quando si esegue un test t in qualsiasi software statistico, l’output include tipicamente quattro quantità: la statistica t, i gradi di libertà, il p-value e l’intervallo di confidenza per la differenza tra le medie. Ogni quantità porta informazione specifica e la lettura corretta richiede di considerarle insieme.

Statistica t

La statistica t è il rapporto segnale-rumore di cui abbiamo parlato: la differenza tra le medie divisa per l’errore standard di quella differenza. Il suo segno indica la direzione della differenza — positivo se la prima media è maggiore della seconda, negativo nel caso contrario. Il suo valore assoluto indica la forza dell’evidenza contro l’ipotesi nulla: più è grande, più i dati sono lontani da quello che ci si aspetterebbe se non ci fosse alcuna differenza tra i gruppi.

Gradi di libertà

I gradi di libertà dipendono dalla dimensione dei campioni e, nel caso del test di Welch, anche dalla differenza tra le varianze dei due gruppi. Determinano quale distribuzione t usare per calcolare il p-value: con pochi gradi di libertà le code sono più pesanti e i valori critici sono più elevati per cui serve una statistica t più grande per raggiungere la stessa significatività statistica.

p-value

Ilp-valueè la probabilità di osservare una statistica t almeno altrettanto estrema di quella calcolata, assumendo che l’ipotesi nulla sia vera, cioè che le due medie nella popolazione siano uguali. Un p-value piccolo segnala che i dati osservati sarebbero molto improbabili se non ci fosse alcuna differenza reale tra i gruppi. Non dice che la differenza è grande, non dice che è clinicamente importante, non dice che l’ipotesi alternativa è vera con certezza: dice solo che i dati sono poco compatibili con l’ipotesi nulla.

Intervallo di confidenza

L’intervallo di confidenza per la differenza tra le medie è spesso la quantità più informativa dell’intero output. Un intervallo di confidenza al novantacinque per cento che non contiene lo zero corrisponde a un p-value inferiore a 0,05, ma dice molto di più. Esso mostra l’ampiezza plausibile della differenza reale tra i gruppi. Un intervallo stretto segnala una stima precisa; un intervallo largo segnala incertezza, anche quando il risultato è formalmente significativo. Un intervallo che va da 0.1 a 9.9 mmHg e un intervallo che va da 4.8 a 5.2 mmHg producono entrambi un p-value significativo, ma raccontano storie molto diverse sull’entità e sulla precisione della differenza stimata.

Significatività statistica e rilevanza clinica: la distinzione che conta

Il test t dice se la differenza è statisticamente significativa, ossia se è improbabile che sia emersa per caso. Non dice se la differenza è clinicamente rilevante, ossia se è abbastanza grande da cambiare una decisione terapeutica o da avere importanza per il paziente. Queste sono due domande diverse, e confonderle è uno degli errori più frequenti nella lettura della letteratura biomedica.

Con campioni grandi, il test t ha molta potenza: rileva come statisticamente significative anche differenze molto piccole, che potrebbero essere reali ma clinicamente irrilevanti. Una riduzione media della pressione sistolica di 0.3 mmHg statisticamente significativa su diecimila pazienti non è una ragione per cambiare terapia. Con campioni piccoli, al contrario, anche differenze clinicamente importanti potrebbero non raggiungere la significatività statistica: non perché non esistano, ma perché il campione non è abbastanza grande da rilevarle con sufficiente precisione.

La risposta a questo problema non è ignorare il p-value, ma affiancarlo sempre all’intervallo di confidenza e alla dimensione dell’effetto. La differenza media osservata — in unità clinicamente interpretabili — è grande abbastanza da interessare sul piano clinico? L’intervallo di confidenza esclude effetti così piccoli da essere irrilevanti o include anche valori clinicamente insignificanti? Queste domande richiedono giudizio clinico e conoscenza dell’ambito di indagine, non solo calcolo statistico. Il test t fornisce uno strumento; l’interpretazione rimane una responsabilità umana.

Il test t è uno strumento di traduzione: prende una differenza numerica tra due medie e la traduce in una valutazione di quanto quella differenza sia compatibile con il caso.Usarlo bene significa conoscerne le assunzioni, scegliere la variante giusta, leggere l’intervallo di confidenza insieme al p-value. E soprattuto significa non fermarsi mai alla sola significatività statistica senza chiedersi se la differenza, oltre che reale, è anche importante.