La legge dei piccoli numeri: perché i campioni piccoli ingannano sempre

Nel 1971, i due psicologi Amos Tversky e Daniel Kahneman pubblicarono un articolo destinato a diventare uno dei più citati in tutto il campo delle scienze cognitive. Il titolo era secco:Belief in the Law of Small Numbers. La tesi era provocatoria: le persone, incluse quelle con formazione statistica, tendono a credere che i campioni piccoli rappresentino la popolazione da cui provengono con la stessa fedeltà dei campioni grandi. Si comportano, in altri termini, come se esistesse una legge dei piccoli numeri analoga alla legge dei grandi numeri. Non esiste nessuna legge del genere. E credere che esista produce errori sistematici con conseguenze concrete nella ricerca scientifica, nella pratica clinica e nelle decisioni basate sui dati.

Tversky e Kahneman chiamarono questo fenomeno bias di rappresentatività. Questo bias consiste nella tendenza a giudicare la probabilità di un evento sulla base di quanto esso sembra simile o rappresentativo della distribuzione di provenienza, ignorando la dimensione del campione. Un campione piccolo che mostra una media diversa da quella della popolazione non viene interpretato come un campione con molta variabilità, ma viene interpretato come evidenza che la popolazione ha quella media. È un errore cognitivo profondo e non interessa solo i non esperti.

Cosa succede davvero con i campioni piccoli

Per capire il problema concretamente, partiamo da un esempio. Supponiamo di voler stimare la proporzione di pazienti che risponde positivamente a un trattamento in una certa popolazione. La vera proporzione è il cinquanta per cento: metà dei pazienti risponde, metà no. Se osserviamo un campione di cento pazienti, la proporzione campionaria sarà probabilmente vicina a 0.5: potremmo osservare 47, 53 o 50 risposte positive. La variabilità è contenuta perché il campione è grande.

Se osserviamo invece un campione di dieci pazienti, la situazione cambia radicalmente. Con dieci pazienti, osservare sette risposte positive, quindi una proporzione campionaria di 0.7, è tutt’altro che raro anche quando la vera proporzione è 0.5. La probabilità di osservare sette o più risposte positive su dieci, quando la vera proporzione è 0.5, è circa il 17%: non è un evento estremo, è qualcosa che succede in quasi uno studio su sei. Eppure chi vede questo risultato tende a concludere che il trattamento funziona meglio di quanto non faccia davvero. Il campione piccolo ha prodotto un’immagine distorta della realtà ed il cervello ha interpretato quella distorsione come informazione.

Questo è il cuore del problema. Con campioni piccoli, la variabilità campionaria è grande, molto più grande di quanto si tenda a percepire intuitivamente. La media o la proporzione osservata in un campione piccolo può distare molto dalla media o dalla proporzione vera nella popolazione, non per nessun errore di metodo, ma per pura variabilità casuale. E questa variabilità non diminuisce per effetto di una legge analoga alla legge dei grandi numeri. Diminuisce solo aumentando la dimensione del campione.

L’errore standard e la radice di n

C’è una formula semplice che quantifica esattamente questo problema. L’errore standard della media, ossia la misura di quanto è variabile la media campionaria attorno alla media vera, è uguale alla deviazione standard della distribuzione divisa per la radice quadrata di n, dove n è la dimensione del campione. Questa formula dice una cosa precisa: per dimezzare l’errore standard, bisogna quadruplicare la dimensione del campione.

Le implicazioni sono immediate. Passare da dieci a quaranta pazienti dimezza l’errore standard, ma non lo azzera. Passare da quaranta a centosessanta lo dimezza di nuovo. La convergenza verso la media vera esiste, ma è lenta, molto più lenta di quanto l’intuizione suggerisca. Un campione di venti persone non è “quasi grande quanto” uno di cento. Dal punto di vista dell’errore standard è cinque volte meno preciso. La sensazione che venti osservazioni siano “abbastanza” per avere un’idea del fenomeno è quasi sempre un’illusione statistica.

Questa relazione tra errore standard e radice di n ha un’altra conseguenza importante: i guadagni di precisione sono decrescenti. Passare da uno a quattro pazienti dimezza l’errore standard; passare da cento a quattrocento lo dimezza di nuovo, ma richiede trecento pazienti aggiuntivi invece di tre. Il miglioramento più grande si ottiene nei primissimi aumenti di campione. Ogni ulteriore miglioramento richiede sforzi crescenti. È una legge di rendimenti decrescenti che governa ogni stima statistica.

Cosa dice la letteratura scientifica

Le conseguenze della legge dei piccoli numeri nella pratica della ricerca sono state documentate sistematicamente. Una delle più importanti riguarda la replicabilità. Negli anni duemila, un ampio progetto di replicazione coordinato da Brian Nosek e colleghi — il Reproducibility Project — ha tentato di replicare cento studi pubblicati su riviste di psicologia. Solo il 36% ha prodotto risultati replicabili con la stessa direzione e significatività statistica dell’originale. Uno dei fattori identificati come principali responsabili era la dimensione del campione. Gli studi originali avevano spesso campioni troppo piccoli per produrre stime stabili, e i risultati significativi erano in parte il prodotto della variabilità campionaria piuttosto che di effetti reali.

Il peso dei piccoli campioni

Il meccanismo è stato formalizzato da John Ioannidis nel suo celebre articolo del 2005 su PLOS Medicine,Why Most Published Research Findings Are False. Ioannidis ha mostrato che quando la potenza statistica di uno studio è bassa, cioè quando il campione è troppo piccolo per rilevare affidabilmente un effetto reale, la probabilità che un risultato statisticamente significativo corrisponda a un effetto reale è sorprendentemente bassa. Con una potenza del 20% e una soglia di significatività del 5%, la sua analisi suggerisce che più della metà dei risultati significativi pubblicati potrebbe essere falsa e ciò non per frode, ma per variabilità campionaria e bias di pubblicazione.

Goodman e Greenland (2007) hanno successivamente mostrato un grado di circolarità nel modello formale, sostenendo che esso non costituisce una prova che la maggior parte delle ricerche pubblicate sia falsa, ma riflette piuttosto l’assunzione che nessuno studio possa mai produrre evidenze conclusive: un’affermazione molto più forte e più discutibile della tesi originale. Rimane tuttavia il contributo centrale dell’articolo: aver messo al centro del dibattito scientifico il ruolo della dimensione campionaria e del bias di pubblicazione come fattori strutturali che compromettono l’affidabilità della letteratura pubblicata.

C’è un terzo meccanismo, meno ovvio, che amplifica il problema: il bias di pubblicazione. Se i risultati positivi hanno più probabilità di essere pubblicati rispetto ai risultati nulli, e se i campioni piccoli hanno più variabilità e quindi più probabilità di produrre risultati positivi per caso, allora la letteratura pubblicata è sistematicamente sovrarappresentata da falsi positivi ottenuti su campioni piccoli. È una doppia distorsione — variabilità campionaria e selezione dei risultati — che si alimentano a vicenda.

I cluster di eccellenza e i cluster di malattia

La legge dei piccoli numeri non riguarda solo la ricerca in laboratorio. Ha effetti concreti su come si interpretano i dati nella pratica epidemiologica e nella vita quotidiana.

Un esempio classico è il cluster di malattia, ossia la comparsa di un numero apparentemente elevato di casi di una patologia in una zona geografica limitata. Quando in un piccolo comune si verificano quattro casi di leucemia in dieci anni, i residenti e spesso le autorità sanitarie, tendono a cercare una causa ambientale: un’industria vicina, una fonte d’acqua contaminata, una torre di trasmissione. L’ipotesi è ragionevole da esplorare, ma spesso il cluster non è altro che la variabilità naturale dei piccoli numeri. Con quattro casi in una popolazione piccola, la variabilità casuale è enorme. Quattro casi possono essere perfettamente compatibili con il tasso atteso nella popolazione generale, semplicemente perché con pochi eventi la fluttuazione casuale è grande.

Il fenomeno opposto è altrettanto interessante. Kahneman cita l’esempio delle scuole eccellenti negli Stati Uniti. Quando si analizza quali scuole ottengono i risultati migliori nei test standardizzati, emerge una sorpresa. Le scuole con i risultati più alti sono spesso piccole, molto piccole. Questo ha spinto molti a concludere che le dimensioni ridotte favoriscano l’eccellenza e ha alimentato politiche di riduzione delle dimensioni delle scuole. Ma quando si analizzano le scuole con i risultati peggiori, emerge la stessa cosa: anche queste sono spesso scuole piccole. Le scuole piccole sono sovrarappresentate sia in cima sia in fondo alla classifica e ciò non perché le dimensioni contino, ma perché i campioni piccoli producono stime estreme con maggiore frequenza. La variabilità campionaria, non l’eccellenza didattica, spiegava il fenomeno.

Cosa fare con i campioni piccoli

Riconoscere il problema non significa abbandonare la ricerca con campioni piccoli. In molti contesti — malattie rare, popolazioni difficili da raggiungere, studi pilota, ricerca esplorativa — non è possibile avere campioni grandi. In questi casi rinunciare a studiare il fenomeno sarebbe peggio che studiarlo con i limiti che i dati impongono. Il punto non è evitare i campioni piccoli: è interpretarli correttamente.

Intervalli di confidenza

La prima indicazione è usare intervalli di confidenza ampi e leggerli per quello che sono. Con campioni piccoli, un intervallo di confidenza al 95% può essere molto largo  e questa larghezza non è un difetto dell’analisi, è l’informazione più onesta che i dati possono dare. Un intervallo che va da 0.1 a 0.9 non dice che non sappiamo nulla. Dice che sappiamo che l’effetto esiste probabilmente in quella fascia, ma non possiamo restringerla ulteriormente con quei dati. Leggere solo la stima puntuale e ignorare l’intervallo è uno degli errori più comuni nell’interpretazione dei risultati con campioni piccoli.

No interpretazione causale

La seconda indicazione è resistere alla tentazione di interpretare causalmente risultati ottenuti su campioni piccoli. Un effetto statisticamente significativo su venti pazienti non è evidenza che l’effetto esiste nella popolazione. È un’ipotesi da verificare su campioni più grandi. Gli studi pilota e le analisi esplorative hanno un ruolo prezioso nella ricerca per generare ipotesi, stimare la fattibilità, calibrare i parametri per studi futuri, ma non sono progettati per rispondere definitivamente a domande causali.

Analisi bayesiana

La terza indicazione è considerare l’analisi bayesiana come complemento all’inferenza frequentista. In un contesto bayesiano, la piccola dimensione del campione si traduce in una distribuzione a posteriori ampia che riflette l’incertezza residua e che può essere aggiornata in modo formale e coerente man mano che arrivano nuovi dati. L’approccio bayesiano rende esplicita l’incertezza invece di nasconderla dietro una soglia di significatività e questo lo rende particolarmente adatto ai contesti in cui i campioni sono piccoli per necessità.

La legge dei piccoli numeri non esiste, ma il cervello umano la applica comunque, e la letteratura scientifica ne porta le tracce. Riconoscere che un campione piccolo produce stime instabili, che la variabilità campionaria non è un errore ma una proprietà strutturale dei dati, e che la significatività statistica su pochi soggetti va interpretata con cautela non sono avvertenze per i non esperti. Sono le condizioni minime per leggere la ricerca in modo onesto.