Quanto si disperdono i dati? Le misure di variabilità.

Due distribuzioni possono avere esattamente la stessa media e una dispersione completamente diversa. Immagina due gruppi di pazienti con pressione sistolica media di 120 mmHg: nel primo tutti i valori sono compresi tra 118 e 122 mmHg, nel secondo i valori oscillano tra 90 e 160 mmHg. Il numero in mezzo è identico. La realtà clinica è completamente diversa: nel primo caso i pazienti sono tutti in una situazione normale, mentre nel secondo caso vi sono delle situazione di ipertensione. Le misure di dispersione servono esattamente a catturare questa differenza che la sola media non vede.

Questa è la seconda di tre domande che la statistica descrittiva fa a qualsiasi distribuzione di dati quantitativi. Quanto variano i valori attorno al centro? Ogni misura di dispersione risponde a questa domanda in modo leggermente diverso — con sensibilità diverse agli outlier, in unità di misura diverse, con forza e limiti diversi.

Range

Il range è la misura più semplice di dispersione: la differenza tra il valore massimo e il minimo del campione. È immediato da calcolare, immediato da comunicare, e dà una prima idea dell’ampiezza dei dati. Se la pressione sistolica nel nostro campione va da 105 a 168 mmHg, il range è 63 mmHg — un’informazione rapida che chiunque può interpretare senza conoscere la statistica.

Ha però un difetto strutturale che ne limita l’utilità come misura principale: dipende esclusivamente dai due valori più estremi del campione. Se uno di quei due valori è un outlier — un errore di misurazione, un paziente anomalo, un dato registrato male — il range diventa non rappresentativo della variabilità reale del gruppo. Un campione di cento pazienti con pressione tra 115 e 135 mmHg e un singolo paziente con 210 mmHg ha un range di 95 mmHg che descrive male la realtà di novantanove pazienti su cento. Per questo il range è utile come prima occhiata, ma non come misura definitiva di dispersione.

Varianza e deviazione standard

Per comprendere varianza e deviazione standard dobbiamo fermarci un momento sulla media aritmetica — perché è da lì che nasce il problema che questi strumenti cercano di risolvere.

Quando vogliamo misurare quanto i valori di un campione si allontanano dalla media, l’idea più naturale è calcolare, per ciascun valore, la differenza rispetto alla media — quanto sta sopra o quanto sta sotto — e poi fare la media di queste differenze. Se la pressione sistolica media è 120 mmHg e un paziente ha 130 mmHg, la sua differenza è +10. Se un altro ha 110 mmHg, la sua differenza è −10. Sembra ragionevole. Le differenze così calcolate si chiamano scarti.

Il problema è che questa strada non porta da nessuna parte. I valori sopra la media producono differenze positive, quelli sotto producono differenze negative — e se le sommiamo, il risultato è sempre zero, qualunque siano i dati, qualunque sia il campione. Non è un caso sfortunato: è una conseguenza diretta di cosa significa essere la media di un insieme di numeri. La media aritmetica è esattamente il punto in cui i valori si bilanciano, come il fulcro di un’altalena — ed è proprio per questo che sommare le differenze non funziona. Si annullano per costruzione.

La soluzione è togliere i segni elevando le differenze al quadrato: +10 diventa 100, −10 diventa anch’esso 100. I segni spariscono, le distanze dalla media restano, ed i valori più lontani pesano di più, perché il quadrato cresce velocemente. Uno scarto di 10 mmHg contribuisce con 100, uno scarto di 20 mmHg contribuisce con 400 — quattro volte di più per il doppio della distanza. La media di questi scarti quadratici è la varianza:

Il denominatore è$n-1$e non$n$perché stiamo stimando la varianza della popolazione a partire da un campione. Questa correzione si chiama correzione di Bessel e rende la stima non distorta — senza di essa la varianza campionaria tenderebbe sistematicamente a sottostimare quella della popolazione.

La varianza ha però un difetto pratico che la rende difficile da usare direttamente: è espressa in unità al quadrato. Se i dati sono in mmHg, la varianza è in mmHg² — e mmHg² non significa nulla clinicamente. L’esempio dell’età lo rende ancora più chiaro: se volessimo descrivere la dispersione dell’età in un campione, otterremmo una varianza espressa in anni². Anni al quadrato? Difficile immaginare cosa voglia dire concretamente.

La soluzione è semplice quanto elegante: si fa la radice quadrata della varianza, e si torna alle unità originali. Questo è tutto ciò che è la deviazione standard — la radice quadrata della varianza:

La deviazione standard è la misura di dispersione più usata in statistica, e per capire perché conviene fermarsi un momento su un concetto che tornerà spesso nei miei articoli: la distribuzione normale.

Deviazione standard, media e distribuzione normale

Quando i dati di una variabile quantitativa si distribuiscono in modo simmetrico attorno alla media — con la maggior parte dei valori concentrati al centro e pochi valori molto alti o molto bassi alle estremità — la forma che emerge è quella di unacurva a campana, chiamata distribuzione normale o gaussiana. È la distribuzione più famosa della statistica, e non a caso: moltissimi fenomeni biologici, psicologici e sociali la seguono approssimativamente. L’altezza degli adulti, gli errori di misurazione, molti parametri ematologici — se ne misuri abbastanza, tendono tutti a disporsi attorno a questa forma.

In una distribuzione normale, media e deviazione standard bastano da sole a descrivere completamente la distribuzione — sapendo solo questi due numeri, sai già dove si trova la quasi totalità dei tuoi dati. Vale una regola empirica utile da tenere a mente: circa il 68% dei valori cade entro una deviazione standard dalla media, il 95% entro due, il 99.7% entro tre. Questa regola si chiama regola 68-95-99.7 — il nome non brillerà per fantasia, ma la cosa che descrive è straordinaria: con un solo numero, la deviazione standard, riesci a delimitare nello spazio quasi tutta la tua distribuzione. È il fondamento di molti test statistici e della costruzione degli intervalli di confidenza, di cui parleremo nei prossimi articoli.

Detto in modo concreto: se la pressione sistolica di un campione ha media 120 mmHg e deviazione standard 10 mmHg, in una distribuzione normale circa il 68% dei pazienti avrà una pressione tra 110 e 130 mmHg, il 95% tra 100 e 140 mmHg, e il 99.7% tra 90 e 150 mmHg. La deviazione standard smette di essere un numero astratto e diventa una misura concreta di quanto i dati si allontanano dal centro.

Coefficiente di variazione

Tuttavia, la deviazione standard da sola non dice nulla sulla variabilità relativa. Una deviazione standard di 10 mmHg su una pressione media di 120 mmHg è una cosa molto diversa da una deviazione standard di 10 mg/dL su una glicemia media di 95 mg/dL. Non ci credi? Introduciamo lo strumento adatto e vedrai.

Per confrontare dispersioni su scale diverse serve il coefficiente di variazione. Questo indice — indicato con CV — risolve il problema esprimendo la deviazione standard come percentuale della media, producendo un numero adimensionale, senza unità di misura:

Torniamo ai due esempi di prima. La pressione sistolica con media 120 mmHg e deviazione standard 10 mmHg ha un CV pari a (10 / 120) × 100 = 8.3%. La glicemia con media 95 mg/dL e deviazione standard 10 mg/dL ha un CV pari a (10 / 95) × 100 = 10.5%. Adesso il confronto è possibile: la glicemia è relativamente più variabile della pressione, anche se le deviazioni standard in valore assoluto sono identiche. Senza il CV, quella differenza era invisibile.

Il CV ha però due controindicazioni importanti. Non ha senso quando la media è vicina a zero — perché dividere per un numero piccolo produce valori instabili e difficili da interpretare. E non ha senso quando i dati sono su una scala a intervalli, come le temperature in gradi Celsius, dove lo zero è convenzionale e non assoluto: spostare la scala da Celsius a Fahrenheit cambierebbe il CV senza cambiare la realtà fisica misurata.

Range interquartile

Il range interquartile (IQR) è la distanza tra il terzo quartile (Q3, il 75° percentile) e il primo quartile (Q1, il 25° percentile) — il range del 50% centrale dei dati:

È la misura di dispersione robusta per eccellenza. Non dipende dai valori estremi, non è influenzata dagli outlier e descrive la variabilità della parte più rappresentativa della distribuzione — quella centrale. Nel box plot che vedi qui sotto, l’IQR è esattamente la larghezza della scatola centrale: quanto è larga la scatola dice quanto variano i valori nel 50% centrale del campione.

I tre box plot affiancati rendono immediatamente visibile il gradiente tra i gruppi — mediana, ampiezza interquartile e outlier sono leggibili a colpo d’occhio. I numeri accanto a ogni mediana sono i valori esatti.

La scelta tra deviazione standard e IQR segue la stessa logica della scelta tra media e mediana che abbiamo visto nell’articolo dedicato agli indici di posizione. Per distribuzioni simmetriche senza outlier, la deviazione standard cattura meglio la variabilità dell’intero campione. Per distribuzioni asimmetriche o con outlier, l’IQR è più robusto e più informativo — perché non si lascia trascinare dai valori estremi.

Range, varianza, deviazione standard, CV, IQR:ognuna di queste misure vede la dispersione da un’angolazione diversa. Usarle bene significa sapere quale angolazione è quella giusta per i propri dati — simmetrici o asimmetrici, con outlier o senza, su scala assoluta o relativa. Nel prossimo e ultimo articolo di questa serie affrontiamo la terza domanda: che forma ha la distribuzione?