Errori di tipo I e tipo II: le due facce del rischio statistico

Hai mai ricevuto un risultato medico che si è rivelato sbagliato? O sentito parlare di uno studio che “dimostrava” qualcosa, salvo poi essere smentito? Dietro questi casi c’è quasi sempre la stessa storia: un test statistico che ha ingannato chi lo ha interpretato. La statistica non garantisce la verità — ti offre una scelta tra due tipi di errore. E quella scelta ha conseguenze reali.

Quando uno scienziato analizza dei dati, prima o poi deve rispondere a una domanda semplice nella forma ma complicata nella sostanza: quello che vedo è reale, o è solo rumore? La risposta non arriva mai con certezza assoluta. Arriva con una probabilità e un rischio di sbagliare.

La statistica ha dato a questi rischi nomi precisi: errore di tipo I ed errore di tipo II. Non sono concetti riservati agli esperti. Sono le due forme fondamentali in cui un’analisi può ingannarci. Conoscere questi errori aiuta a leggere i risultati scientifici con occhi completamente diversi.

Il primo errore: vedere qualcosa che non c’è

Il primo tipo di errore è quello di vedere qualcosa che non c’è. In statistica si chiamafalso positivo. Immagina di lanciare una moneta dieci volte e di ottenere sette teste. Potresti concludere che la moneta è truccata, ma forse è solo stata fortunata. Se concludi che è truccata quando non lo è, hai commesso un errore di tipo I. Tradotto in un contesto medico: hai dichiarato efficace un farmaco che in realtà non funziona, perché i dati, per pura casualità, sembravano promettenti.

Questo rischio ha un nome tecnico —livello di significatività, indicato con la lettera α (alfa) — e un valore convenzionale che probabilmente hai già incontrato: 0.05, cioè il 5%. Quando un articolo scientifico scrive “p < 0.05”, sta dicendo che il ricercatore ha accettato un rischio del 5% di aver visto qualcosa che non esiste. Non è una soglia magica: è una scelta, storica e discutibile, su quanto margine di errore considerare accettabile.

Il secondo errore: non vedere qualcosa che c’è

Il secondo tipo di errore è l’opposto: non vedere qualcosa che c’è. Si chiamafalso negativo. Tornando alla moneta significa che la moneta è davvero truccata, ma i dieci lanci non lo mostrano chiaramente. Dai i risultati concludi che è normale e la bugia della moneta rimane nascosta. In un trial clinico, questo significa non rilevare l’efficacia di un farmaco che funziona davvero, magari perché lo studio coinvolgeva troppo poche persone, o il fenomeno era difficile da misurare.

Questo rischio si indica con β (beta). Il suo opposto — la probabilità di rilevare un effetto reale quando esiste — si chiamapotenza statistica. Uno studio con potenza dell’80%, ha l’80% di probabilità di trovare quello che cerca, se c’è davvero qualcosa da trovare.

La tensione permanente

Fin qui le definizioni. Ma la parte che vale la pena fermarsi a capire è la seguente. I due errori sono in tensione permanente. Ridurre uno significa aumentare l’altro, a parità di dati. Se alzi il livello di guardia contro i falsi positivi — pretendendo prove sempre più forti prima di dichiarare un risultato reale — diventa più difficile rilevare effetti sottili ma genuini. Se abbassi la guardia per non perdere nulla, rischi di raccogliere anche ciò che non esiste.

Non c’è una soluzione perfetta. C’è solo una scelta consapevole, che dipende da quanto costa sbagliare in un senso piuttosto che nell’altro. È una questione di priorità prima ancora che di calcolo.

La storia della soglia 0.05

La soglia del 5% non è nata da una dimostrazione matematica. È nata da una frase di Ronald Fisher, statistico britannico che negli anni Venti del Novecento stava cercando un modo pratico per decidere quando un risultato sperimentale meritasse attenzione. Nel suo manuale del 1925,Statistical Methods for Research Workers, scrisse che è conveniente considerare significativo un risultato quando la probabilità di osservarlo per puro caso è inferiore a 0.05. Non era una legge. Era un’euristica, ossia una regola del pollice pensata per i ricercatori in agraria che lavoravano su piccoli campi sperimentali con dati limitati.

Nel giro di qualche decennio, quella soglia era diventata il passaporto universale per la pubblicazione scientifica(leggi anche articolo su valore del p-value). Non perché qualcuno avesse dimostrato che 0.05 fosse il valore giusto, ma perché era comodo avere un numero unico e condiviso. Il problema è che una soglia unica ignora il contesto: α = 0.05 ha un significato molto diverso in uno studio preliminare su venti soggetti e in uno studio clinico su diecimila pazienti. Eppure per decenni è stata applicata con la stessa rigidità in entrambi i casi.

Oggi la comunità statistica è divisa. Nel 2019, oltre ottocento ricercatori hanno firmato un articolo suNaturechiedendo di abbandonare il concetto stesso di “significatività statistica” come soglia binaria. Non perché α non abbia senso, ma perché trattarlo come una porta — dentro o fuori, significativo o non significativo — ha prodotto distorsioni sistematiche nella letteratura scientifica. La soglia di Fisher era uno strumento. È diventata un giudice.

Lo stesso errore, contesti diversi

Gli errori di tipo I e tipo II non vivono solo nei laboratori. Sono presenti ovunque si prenda una decisione basata su dati incompleti. Un classico esempio da manuale si ha nel sistema giudiziario. In questo caso la struttura di errore di tipo I e tipo II è esplicita, anche se il linguaggio è diverso.

Un imputato è innocente fino a prova contraria: l’ipotesi nulla è l’innocenza. Condannare un innocente è un errore di tipo I — il sistema ha visto qualcosa che non c’era. Assolvere un colpevole è un errore di tipo II — il sistema non ha visto qualcosa che c’era. Le garanzie processuali — onere della prova o standard “oltre ogni ragionevole dubbio” — sono esattamente un modo per tenere α molto basso: si preferisce rischiare di lasciare libero qualche colpevole piuttosto che condannare un innocente. È una scelta di valore prima ancora che statistica.

Nel controllo qualità industriale la logica è speculare. Un’azienda che produce farmaci deve decidere se un lotto supera gli standard di purezza. Rifiutare un lotto conforme è un errore di tipo I: costa denaro, spreca produzione. Approvare un lotto contaminato è un errore di tipo II: può costare vite umane. La soglia di accettazione non è scelta da un manuale di statistica: è negoziata tra ingegneri, regolatori e responsabili della sicurezza, tenendo conto di quanto pesa ciascuno dei due errori in termini economici e sanitari.

Nella politica pubblica il problema si complica ulteriormente perché i dati arrivano tardi, le decisioni devono essere prese in anticipo e le conseguenze si distribuiscono su popolazioni intere. Durante una pandemia, aspettare prove sufficientemente solide per dichiarare un’emergenza — abbassare α per evitare falsi allarmi — può significare settimane di diffusione non contrastata. Intervenire troppo presto — accettare un α più alto — può provocare reazioni sproporzionate su una minaccia sopravvalutata. Non esiste la risposta corretta in astratto: esiste la risposta corretta dato il costo relativo dei due errori in quel contesto specifico.

Quando i falsi positivi si accumulano: la crisi di replicabilità

A partire dal 2011, la psicologia sperimentale ha vissuto quello che i suoi stessi protagonisti hanno chiamato una crisi. Decine di studi classici — risultati che avevano fondato teorie, alimentato libri di divulgazione, ispirato politiche pubbliche — non riuscivano a essere replicati. Ricercatori indipendenti ripetevano gli esperimenti con campioni più grandi, metodologie più rigorose, e i risultati svanivano.

La causa principale, emersa dall’analisi sistematica della letteratura, era una forma cronica di errore di tipo I. Non per malafede, nella maggior parte dei casi, ma per una combinazione di pressioni strutturali. Le riviste pubblicavano quasi esclusivamente risultati significativi, i ricercatori erano incentivati a produrre risultati pubblicabili, e la soglia α = 0.05 era abbastanza permissiva da essere attraversata per caso con una certa regolarità, specialmente con campioni piccoli e molte variabili misurate contemporaneamente.

Il meccanismo prende il nome dip-hacking, anche se il termine è fuorviante perché evoca manipolazione intenzionale. Nella maggior parte dei casi è più sottile: un ricercatore analizza i dati in modi leggermente diversi e riporta quello che ha prodotto p < 0.05, senza necessariamente rendersi conto di aver moltiplicato le sue probabilità di trovare un falso positivo. Se si misurano venti variabili indipendenti su un dataset casuale, è statisticamente atteso che almeno una mostri p < 0.05. E ciò non perché esista un effetto reale, ma per pura aritmetica delle probabilità.

La crisi di replicabilità non ha riguardato solo la psicologia. Studi simili hanno rilevato problemi analoghi in medicina, economia, neuroscienze. La risposta della comunità scientifica è stata graduale ma significativa: pre-registrazione degli studi prima della raccolta dei dati, maggiore attenzione alla potenza statistica, pubblicazione dei risultati nulli, adozione di soglie α più stringenti in certi campi. Non una soluzione definitiva, ma una presa di coscienza collettiva che la gestione degli errori di tipo I non è un dettaglio tecnico secondario: è una questione di integrità del metodo scientifico.

Capire quale tipo di errore si sta cercando di evitare è la prima domanda da farsi di fronte a qualsiasi risultato statistico.Non “il p-value è sotto 0.05?”, ma “questo studio era progettato per ridurre i falsi positivi, i falsi negativi, o ha trovato un compromesso ragionevole tra i due?” È una domanda che cambia il modo in cui si legge la scienza. E forse anche il modo in cui ci si fida di essa.