Distribuzioni di probabilità: quando i dati prendono forma

Iniziamo da un esperimento semplice. Prendi un gruppo di cento adulti sani e misura la loro pressione arteriosa sistolica. Ottieni cento numeri diversi — nessuno uguale all’altro, ma nemmeno completamente caotici. Se li scrivi in ordine crescente e costruisci un grafico, emerge qualcosa di interessante: i valori non si distribuiscono a caso lungo tutta la scala. Si addensano attorno a una zona centrale. Man mano che ci si allontana da quella zona, i valori diventano sempre più rari. I casi estremi — pressioni molto basse o molto alte — esistono, ma sono pochi.

Quello che stai osservando non è un caso. È una struttura con una forma che mostra come i valori si distribuiscono nello spazio di tutti i valori possibili. Questo che stai osservando è ciò che in matematica si chiama distribuzione di probabilità.

Ma da dove viene questa forma? Perché i dati si comportano così? E soprattutto, perché dovrebbe importarci per la nostra elaborazione statistica?

Dal dato osservato al modello teorico

Quando raccogliamo dati, non osserviamo mai la totalità del mondo reale, ma ci limitiamo a una sua piccola porzione. Registriamo le risposte di un campione, lasciando fuori il resto della popolazione. Il risultato è sempre e solo una visione parziale: una finestra aperta su un panorama molto più vasto, che rimane in gran parte nascosto ai nostri occhi.

La distribuzione di frequenza è la fotografia di questo sguardo parziale. Se costruiamo un istogramma — i valori sull’asse orizzontale ed il numero di volte in cui ciascun valore compare sull’asse verticale — otteniamo una rappresentazione visiva di come i dati che abbiamo raccolto si distribuiscono. Seppur molto informativa sul campione, essa resta pur sempre una descrizione empirica: racconta cosa abbiamo osservato, nient’altro.

Tuttavia quando si lavora con la statistica, lo scopo non è osservare il campione, ma è studiare il campione per capire la popolazione da cui questo campione è stato estratto. Per poter fare ciò, la teoria della probabilità introduce uno strumento matematico molto ambizioso: la distribuzione di probabilità.

Questra distribuzione invece di descrivere i dati osservati, propone un modello matematico che mostra come si distribuirebbero i dati i dati si se potessimo osservare l’intera popolazione, infinite volte, senza errori di misura. È il passaggio dal particolare all’universale, dall’osservazione alla teoria.

La distribuzione di frequenza è la mappa del territorio che hai percorso. La distribuzione di probabilità è il modello del territorio che esiste — anche nelle parti che non hai ancora visitato.

Queste due distribuzioni sono collegate tra loro da una delle più note leggi della probabilità:la legge dei grandi numeri. Grazie a questa legge possiamo essere sicuri che a man a mano che raccogliamo più dati, la distribuzione di frequenza si avvicina sempre di più alla distribuzione di probabilità sottostante. Con dieci pazienti, il nostro istogramma sarà grezzo e irregolare. Con mille, la forma diventa più liscia e riconoscibile. Con un milione, converge verso una curva continua e precisa. Quella curva è la distribuzione di probabilità.

Cosa descrive esattamente una distribuzione

Una distribuzione di probabilità risponde a una domanda precisa. Immagina di estrarre a caso un paziente dalla popolazione che hai studiato — non uno dei cento del tuo campione, ma un paziente qualsiasi tra tutti quelli che esistono. Quanto è probabile che la sua pressione sistolica cada tra 115 e 125 mmHg? Quanto è probabile che cada sopra 150? La distribuzione di probabilità è la risposta matematica a queste domande: assegna a ogni possibile intervallo di valori una probabilità precisa, calcolabile, confrontabile.

Per capire come funziona questa risposta, è utile distinguere due tipi di variabili, perché il modo in cui si assegnano le probabilità cambia radicalmente a seconda di quale tipo di variabile stiamo studiando.

Variabili discrete: probabilità ai singoli valori

Alcune variabili possono assumere solo valori separati e numerabili. Il numero di figli in una famiglia può essere 0, 1, 2, 3 — non 1.7. Il numero di pazienti che rispondono a una terapia su venti trattati può essere 0, 1, 2, fino a 20 — nessun valore intermedio. Il risultato di un lancio di dado può essere 1, 2, 3, 4, 5, 6 — non 3.4.

Per queste variabili discrete, ha senso assegnare una probabilità a ciascun valore specifico. La probabilità che esca 4 lanciando un dado equilibrato è esattamente 1/6 ≈ 0.167. La probabilità che un paziente risponda alla terapia, se il tasso di risposta della popolazione è del 70%, è 0.70. Queste probabilità sono numeri definiti, calcolabili, verificabili.

La somma delle probabilità di tutti i valori possibili deve essere esattamente 1. È una condizione logica: qualcosa accadrà sempre — uno dei valori possibili si realizzerà di sicuro. Se le probabilità non sommano a 1, c’è un errore nel modello.

Variabili continue: probabilità agli intervalli

Altre variabili possono assumere qualsiasi valore in un intervallo — non un insieme separato di possibilità, ma una gamma continua e infinita. La pressione arteriosa sistolica può essere 118 mmHg, o 118.3, o 118.37, o qualsiasi altro valore con qualsiasi livello di precisione. Il tempo di sopravvivenza dopo una terapia, la concentrazione di un farmaco nel sangue, il peso corporeo di un paziente: tutte variabili che variano senza interruzioni.

Per queste variabili emerge qualcosa che sembra un paradosso: la probabilità che la pressione sistolica di un paziente sia esattamente 118.37 mmHg — non 118.38, non 118.36, ma esattamente quel valore (118.37) — è zero. I valori possibili sono infiniti, e un numero finito diviso per infinito dà zero e non perché quell’evento sia impossibile, ma perché è uno su infinito.

Non è un problema del modello: è la conseguenza logica del fatto che una misura continua non ha un livello finale di precisione. Quello che possiamo calcolare — e che ha significato pratico — è la probabilità che il valore cada in un intervallo: ad esempio tra 115 e 120 mmHg o tra 120 e 125 mmHg. Per le variabili continue, la probabilità è sempre un’area, non un’altezza.

Questa area si calcola attraverso uno strumento matematico che si chiamafunzione di densità di probabilità— una curva la cui forma descrive dove si concentra la probabilità. Dove la curva è alta, i valori sono frequenti. Dove è bassa, i valori sono rari. L’area totale sotto l’intera curva è sempre 1 — la certezza che il valore cada da qualche parte nello spazio dei possibili.

Per le variabili discrete, la probabilità è un’altezza — si assegna a ciascun valore separato. Per le variabili continue, la probabilità è un’area — si assegna a intervalli. È la stessa idea, geometrie diverse.

Come nasce la forma: dal fenomeno al modello

Fin qui abbiamo parlato di una distribuzione come se ne esistesse una sola. Ma se analizziamo fenomeni diversi, otteniamo forme diverse — e questo non è un caso. La forma di una distribuzione riflette il meccanismo che genera i dati: il processo fisico, biologico o sociale che produce le osservazioni che raccogliamo. Meccanismi diversi producono forme diverse. Non esiste una distribuzione universale valida per tutti i fenomeni: esistono famiglie di distribuzioni, ciascuna nata per descrivere un tipo specifico di processo. Le distribuzioni di probabilità non vengono scelte per convenzione, ma riflettono quella struttura profonda. Capirla è fondamentale, perché è quello che ci permette di scegliere il modello giusto.

Caso 1: pressione arteriosa

Considera ad esempio la pressione arteriosa. Misurando la pressione sistolica su grandi popolazioni di adulti sani, si osserva empiricamente che i valori si distribuiscono in modo approssimativamente simmetrico attorno a una media, con i casi estremi — pressioni molto basse o molto alte — sempre più rari man mano che ci si allontana dal centro. Non è una deduzione teorica: è quello che i dati mostrano, confermato da decenni di studi epidemiologici su milioni di persone. Questa forma — simmetrica, a campana, con le code che si assottigliano regolarmente — è coerente con quello che ci aspettiamo quando molti fattori diversi contribuiscono insieme a determinare un fenomeno. Ed è una delle ragioni per cui la distribuzione normale è un modello utile per molte variabili biologiche: non perché sia matematicamente necessaria, ma perché descrive bene quello che osserviamo nella realtà.

Caso 2: eventi avversi

Considera invece il numero di eventi avversi in un reparto ospedaliero in un mese. Osservando i dati reali, si nota che valori bassi — zero, uno, due eventi — sono molto più frequenti di valori alti. La distribuzione non è simmetrica: ha una coda lunga verso destra, dove i valori grandi esistono ma sono rari. Questo è coerente con il meccanismo che genera questi dati: i valori possibili sono interi, gli eventi sono rari, indipendenti tra loro, e non hanno un momento preferito per accadere. È un tipo di processo che empiricamente produce quasi sempre questa forma asimmetrica.

Caso 3: risposta alla terapia

Considera infine l’esito di una terapia su un gruppo di pazienti. Ogni paziente o risponde o non risponde alla terapia, non esistono valori intermedi. Osservando i dati di molti studi clinici, si nota che la distribuzione del numero di rispondenti è discreta, contenuta tra zero e il numero totale di pazienti trattati, e tende ad essere simmetrica quando la probabilità di risposta è vicina al 50%, diventando progressivamente più asimmetrica man mano che ci si allontana da quel valore. È quello che ci aspettiamo da un meccanismo binario ripetuto su molti individui indipendenti.

Tre fenomeni, tre meccanismi, tre forme diverse. In ciascuno di questi casi la forma della distribuzione non è arbitraria: nasce direttamente dal processo che genera i dati. Riconoscere quel processo — prima ancora di aprire il software — è il primo passo per scegliere il modello matematico corretto.

La distribuzione normale: perché è così fondamentale

Parlando di distribuzioni di probabilità non possiamo non soffermarci sulla distribuzione normale, la famosa curva a campana simmetrica che Carl Friedrich Gauss studiò sistematicamente all’inizio dell’Ottocento. È questa infatti la distribuzione più importante della statistica, e vale la pena capire perché.

Il motivo per cui la distribuzione normale è così centrale nella statistica è duplice. Da un lato, è stato osservato empiricamente che moltissimi fenomeni reali — biologici, fisici, sociali — sono ben descritti da questa forma. Dall’altro, c’è una ragione matematica profonda che ne spiega la diffusione straordinaria: il Teorema del Limite Centrale.

Questo teorema afferma che la media di un campione sufficientemente grande, estratto da qualsiasi popolazione con varianza finita, segue approssimativamente una distribuzione normale, indipendentemente dalla forma della distribuzione originale. Anche se i dati di partenza sono asimmetrici, irregolari o lontani da qualsiasi campana: le medie campionarie tendono alla normalità. Più grande è il campione, più forte è questa tendenza.

Conseguenze pratiche

Le conseguenze pratiche di questo teorema sono enormi. Il Teorema del Limite Centrale è lo strumento che permette agli scienziati di studiare l’intero universo partendo da piccoli pezzi di dati: serve a rendere semplice ciò che è complesso, a prevedere l’ignoto usando la regolarità statistica che emerge dai grandi numeri.

Immagina di voler stimare la pressione arteriosa media di una popolazione. Non puoi misurare tutti: misuri un campione di cento pazienti e calcoli la media di quel campione. Ma quella media è solo una delle infinite medie possibili che avresti potuto ottenere estraendo un campione diverso. Come fai a sapere quanto è lontana dalla vera media della popolazione? Il Teorema del Limite Centrale ti garantisce che tutte queste possibili medie campionarie seguono una distribuzione normale e questo ti permette di calcolare con precisione quanto è probabile che la tua media si discosti dalla verità di una certa quantità.

Una proprietà numerica vale la pena ricordare perché torna continuamente nella pratica: circa il 68% dei valori cade entro una deviazione standard dalla media, circa il 95% entro due, circa il 99.7% entro tre. Questa regola — 68-95-99.7 — permette di ragionare immediatamente sulla rarità di un valore osservato. Se la pressione sistolica ha media 120 mmHg e deviazione standard 10 mmHg, un valore di 150 mmHg si trova a tre deviazioni standard dalla media: accade meno del 3% delle volte. Non impossibile — ma molto insolito.

Perché tutto questo è necessario

Per molti che si affacciano al mondo della statistica, specialmente per chi si trova ad elaborare da solo i propri dati, le distribuzioni di probabilità rappresentano un argomento oscuro, forse un argomento teorico proposto nei manuali prima di arrivare veramente alla parte utile della statistica. Tale visione è errata. Le distribuzioni di probabilità sono proprio la parte utile della statistica. Esse sono infatti lo strumento che permette di rispondere alle domande che contano davvero nella ricerca. Usando un famoso adagio sono come il prezzemolo, ci stanno dappertutto e condizionano tutte le nostre analisi.

Quando calcoliamo ad esempio un intervallo di confidenza, stiamo usando la distribuzione campionaria della media che, per il solito Teorema del Limite Centrale, è approssimativamente normale. Oppure quando conduciamo un test statistico, stiamo calcolando quanto è improbabile il risultato osservato se l’ipotesi nulla fosse vera — e quella probabilità si calcola usando una distribuzione di riferimento. Ed ancora quando costruiamo un modello di regressione logistica, stiamo assumendo che la variabile risposta segua una distribuzione binomiale.

In tutti questi casi, la distribuzione non è un dettaglio tecnico che il software gestisce in automatico. È la scelta concettuale che determina quale domanda si sta effettivamente ponendo ai dati — e quindi quale risposta si può lecitamente ottenere. Chi sceglie la distribuzione sbagliata non sta sbagliando un calcolo: sta facendo la domanda sbagliata.

I dati che raccogliamo non sono mai completamente casuali.Seguono sempre una forma — generata dal meccanismo che li produce, dalla fisica o dalla biologia o dall’economia del fenomeno che stiamo studiando. Le distribuzioni di probabilità sono il modo in cui la matematica cattura quella forma e la rende precisa, manipolabile, utile e dunque comprensibile. Non sono strumenti astratti da memorizzare: sono la risposta alla domanda che ogni ricercatore dovrebbe porsi prima di analizzare qualsiasi dataset: Qual è la struttura del fenomeno che sto osservando? E quella struttura, tradotta in forma matematica, è la distribuzione giusta da usare.