C’è un errore che quasi tutti commettono quando interpretano il risultato di un test diagnostico. Non è un errore di distrazione o di incompetenza. È un errore strutturale, radicato nel modo in cui il cervello umano elabora le probabilità. E ciò che più sorprende è che tale errore viene indotto anche in chi lavora ogni giorno con i test diagnostici. È un errore diffuso tra specialisti e ricercatori e finanche tra persone che hanno studiato statistica per anni e che, messe davanti a un problema formulato nel modo giusto, sbagliano con una sicurezza che non lascia spazio al dubbio.
L’errore ha un nome:base rate neglect. Si tratta della tendenza sistematica a ignorare la prevalenza di una condizione — il cosiddetto tasso di base — quando si valuta il significato di un risultato positivo a un test. Questo, sebbene possa apparire come una curiosità da laboratorio di psicologia cognitiva, è un problema che si presenta ogni giorno, in ogni reparto, in ogni ambulatorio, ogni volta che un clinico guarda un referto e si chiede: questo paziente è davvero malato?
Il problema dei taxi
Prima di entrare nella clinica, vale la pena partire dall’esperimento che ha reso celebre questo fenomeno. Lo proposero Daniel Kahneman e Amos Tversky alla fine degli anni Settanta e da allora è diventato uno dei problemi più citati nella letteratura sulla cognizione umana1.
La formulazione è questa. In una città circolano due compagnie di taxi: l’85 per cento dei taxi è verde e il 15 per cento è blu. Di notte, un testimone assiste a un incidente con fuga. Il testimone identifica il taxi come blu. Test indipendenti hanno dimostrato che, in condizioni notturne, il testimone identifica correttamente il colore dei taxi l’80 per cento delle volte. Domanda: qual è la probabilità che il taxi coinvolto nell’incidente fosse effettivamente blu?
La risposta istintiva della maggior parte delle persone è 80 per cento. Il testimone ha ragione: nell’80 per cento delle volte ha indicato blu, quindi il taxi è blu con probabilità dell’80 per cento. Sembra logico. Ma è sbagliato.
La risposta corretta è circa il 41 per cento, non l’80 per cento. Dunque la probabilità che il taxi sia blu è meno della metà. Questo significa che, nonostante il testimone dica blu e nonostante sia affidabile l’80 per cento delle volte, è più probabile che il taxi fosse verde.
Ma com’è possibile? Ragionamoci. Nella città i taxi verdi sono la stragrande maggioranza (85 per cento). Questo significa che anche in presenza di un testimone ragionevolmente affidabile, il numero assoluto di volte in cui il testimone sbaglia identificando un taxi verde come blu è superiore al numero di volte in cui identifica correttamente un taxi blu. I taxi verdi sono talmente tanti che anche un errore raro, ad esempio il 20 per cento delle volte, produce un numero elevato di false identificazioni blu. La prevalenza dei taxi verdi schiaccia l’accuratezza del testimone.
Ed è esattamente qui che scatta ilbase rate neglect. La mente si aggrappa al dato più vivido — il testimone dice blu, il testimone è affidabile — e ignora il dato di fondo: quanto sono rari i taxi blu in quella città. Non lo ignora per pigrizia. Lo ignora perché il cervello non è fatto per integrare spontaneamente le probabilità a priori con le evidenze contingenti. È un difetto di fabbrica, non un difetto di formazione.
Dalla strada al reparto
Adesso spostiamoci in un contesto dove l’errore ha conseguenze molto più gravi. Un ospedale decide di sottoporre a screening tutti i dipendenti per una malattia rara. La malattia ha una prevalenza dello 0.1 per cento, dunque un caso ogni mille persone. Il test utilizzato ha una sensibilità del 99 per cento (i.e., identifica correttamente il 99 per cento dei malati, e una specificità del 99 per cento (i.e., identifica correttamente il 99 per cento dei sani). È un test eccellente: sulla carta è quasi perfetto.
Un dipendente risulta positivo. Il medico del lavoro gli comunica il risultato. Il dipendente chiede: “Dottore, allora sono malato?”. Il medico, ragionevolmente, pensa: “Il test ha una specificità del 99 per cento, quindi l’errore è minimo. È quasi certo che sia malato”.
Ma facciamo i conti. Su 100.000 dipendenti, un caso ogni mille significa 100 malati e 99.900 sani. Il test identifica correttamente 99 dei 100 malati: 99 veri positivi. Ma il test non sbaglia solo sui malati, sbaglia anche sull’1 per cento dei 99.900 sani; dunque ci sono 999 falsi positivi. Totale dei positivi: 99 + 999 = 1.098. Di questi 1.098 positivi, solo 99 sono realmente malati. Questo fa sì che la probabilità di essere davvero malati dato un risultato positivo, valore conosciuto anche come valore predittivo positivo, è 99 su 1.098, ossia circa il 9 per cento.
Significa che su dieci dipendenti che ricevono un risultato positivo, più di nove non hanno la malattia. Un test con sensibilità e specificità del 99 per cento, applicato a una malattia con prevalenza dello 0.1 per cento, produce un valore predittivo positivo di appena il 9 per cento. E il medico che comunica il risultato come una quasi certezza sta commettendo esattamente ilbase rate neglect: sta ignorando la prevalenza e si sta fidando del test.
La matematica dietro l’intuizione sbagliata
Il teorema che governa tutto questo ragionamento si chiamateorema di Bayes, dal nome del reverendo Thomas Bayes che lo formulò nel Settecento. Non è una formula complicata, ma è una formula profondamente controintuitiva, perché costringe a fare qualcosa che il cervello rifiuta di fare spontaneamente: aggiornare una credenza alla luce di un’evidenza tenendo conto di quanto quella credenza fosse plausibile prima dell’evidenza.
Il teorema afferma che la probabilità di avere la malattia dopo un test positivo non dipende solo dall’accuratezza del test. Dipende dal prodotto tra l’accuratezza del test e la probabilità a priori di avere la malattia, diviso per la probabilità complessiva di risultare positivi,probabilità quest’ultima che include sia i veri positivi sia i falsi positivi. Quando la malattia è rara, la probabilità a priori è molto bassa, e questo termine al numeratore schiaccia tutto il resto. L’accuratezza del test, per quanto alta, non riesce a compensare la rarità della condizione.
Questo significa che un test accurato è utile quanto la condizione che cerca è frequente. Quando la condizione è rara, anche un test eccellente produce più falsi positivi che veri positivi in termini assoluti e ciò non perché il test sia cattivo, ma perché il gruppo dei sani è enormemente più grande del gruppo dei malati e dunque, anche un errore piccolo su un gruppo grande genera un numero elevato di falsi allarmi.
Le conseguenze nella pratica clinica
Ilbase rate neglectnon è un problema astratto. Ha conseguenze cliniche misurabili. Ogni falso positivo è un paziente che riceve una comunicazione angosciante, che viene sottoposto a esami di approfondimento — a volte invasivi, costosi e a loro volta portatori di rischi — e che vive settimane o mesi di incertezza prima di scoprire che non ha nulla. In oncologia, i programmi di screening su popolazioni a basso rischio producono sistematicamente un eccesso di falsi positivi che genera cascate diagnostiche: biopsie, interventi chirurgici, trattamenti su lesioni che non sarebbero mai diventate clinicamente rilevanti. Il fenomeno è noto come sovradiagnosi ed ilbase rate neglectè una delle sue radici cognitive.
Ma le conseguenze non si limitano allo screening. Ogni volta che un clinico ordina un test senza avere una ragione clinica forte per sospettare la malattia — un test «tanto per escludere», un test «di routine», un test richiesto per completezza — sta applicando il test a una popolazione a bassa prevalenza ed il valore predittivo positivo crolla. È il motivo per cui la medicina basata sull’evidenza insiste sulla probabilità pre-test: prima di ordinare un esame, bisogna chiedersi quanto è plausibile che il paziente abbia la condizione cercata. Se la risposta è «molto poco», il test non serve quasi a nulla non perché sia inaccurato, ma perché anche la sua accuratezza non basta a vincere la matematica della prevalenza.
Dalla progettazione alla pubblicazione, supporto metodologico completo, rigoroso e firmato.
Perché i medici a volte sbagliano
L’aspetto più studiato delbase rate neglectè la sua persistenza tra i professionisti sanitari. Diversi studi — a partire dai lavori pioneristici di David Eddy negli anni Ottanta2e proseguendo con le ricerche di Gerd Gigerenzer negli anni Duemila3— hanno documentato che la maggioranza dei medici sovrastima drammaticamente il valore predittivo positivo quando viene chiesto di interpretare un risultato di screening. In uno studio del 2007, Gigerenzer e colleghi sottoposero a 160 ginecologi tedeschi un problema con dati realistici sulla mammografia: prevalenza dell’1 per cento, sensibilità del 90 per cento, tasso di falsi positivi del 9 per cento. La stima più frequente tra i medici era intorno al 90 per cento, con risposte che variavano dall’1 al 90 per cento. Circa l’80 per cento dei ginecologi non comprendeva il valore predittivo positivo. Il valore corretto era circa il 9 per cento.
La ragione non è che i medici non conoscano il teorema di Bayes. Molti lo conoscono, almeno nella forma scolastica. Il problema è che la presentazione standard delle informazioni — sensibilità e specificità espresse come percentuali — non è il formato in cui il cervello umano elabora bene le probabilità. Gigerenzer ha dimostrato che quando le stesse informazioni vengono presentate in frequenze naturali del tipo “su 1.000 donne sottoposte a mammografia, 10 hanno il cancro, di queste 10 il test ne trova 9, delle 990 sane il test ne classifica erroneamente circa 89 come positive”4, la percentuale di risposte corrette sale drasticamente. Non perché il problema sia diventato più facile. Ma perché il formato rende visibile ciò che le percentuali nascondono: il rapporto tra il numero assoluto di veri positivi e il numero assoluto di falsi positivi.
La lezione metodologica
Ilbase rate neglectinsegna qualcosa che va oltre la diagnostica. Insegna che la performance di uno strumento — qualsiasi strumento, non solo un test clinico — non si valuta in astratto ma nel contesto in cui viene applicato. Un test con sensibilità del 99 per cento è uno strumento diverso quando viene usato in un reparto di malattie infettive durante un’epidemia e quando viene usato come screening su una popolazione generale sana. I numeri del test sono gli stessi. La prevalenza è diversa. E la prevalenza cambia tutto.
Questo principio si applica identicamente ai modelli predittivi, agli algoritmi di machine learning, ai biomarcatori. Un modello che classifica correttamente il 95 per cento dei casi in un dataset bilanciato avrà un valore predittivo positivo molto diverso quando viene applicato a una popolazione in cui l’evento è raro. La tentazione di valutare un classificatore solo sulla base di sensibilità e specificità, o delle loro controparti nel machine learning, recall e precision sul dataset di sviluppo, è esattamente la stessa trappola cognitiva delbase rate neglectapplicata alla valutazione dei modelli.
Il base rate neglect non è un errore che si corregge con l’esperienza. È un errore che si corregge con la consapevolezza.Sapere che esiste non basta a evitarlo — Kahneman ha scritto in più occasioni che conoscere un bias cognitivo non protegge dal commetterlo — ma sapere che esiste permette di costruire procedure che lo prevengano: calcolare il valore predittivo positivo prima di comunicare un risultato, presentare le informazioni in frequenze naturali anziché in percentuali, valutare sempre la probabilità pre-test prima di ordinare un esame. Sono abitudini semplici. Ma richiedono di accettare qualcosa che il cervello non accetta volentieri: che un test quasi perfetto, applicato a una condizione sufficientemente rara, sbaglia quasi sempre.
Riferimenti
- Tversky A, Kahneman D. Evidential impact of base rates. In: Kahneman D, Slovic P, Tversky A, editors.Judgment Under Uncertainty: Heuristics and Biases. Cambridge: Cambridge University Press; 1982. p. 153–160.↩︎
- Eddy DM. Probabilistic reasoning in clinical medicine: Problems and opportunities. In: Kahneman D, Slovic P, Tversky A, editors.Judgment Under Uncertainty: Heuristics and Biases. Cambridge: Cambridge University Press; 1982. p. 249–267. doi:10.1017/CBO9780511809477.019↩︎
- Gigerenzer G, Gaissmaier W, Kurz-Milcke E, Schwartz LM, Woloshin S. Helping doctors and patients make sense of health statistics.Psychological Science in the Public Interest. 2007;8(2):53–96. doi:10.1111/j.1539-6053.2008.00033.x↩︎
- Gigerenzer G, Hoffrage U. How to improve Bayesian reasoning without instruction: Frequency formats.Psychological Review. 1995;102(4):684–704. doi:10.1037/0033-295x.102.4.684↩︎
Nota editoriale
Questo articolo ha finalità divulgative e informative. I contenuti non costituiscono consulenza professionale e non sostituiscono una valutazione specifica del tuo studio o progetto di ricerca. Mathsly Research declina ogni responsabilità per decisioni metodologiche o analitiche adottate sulla base dei soli contenuti del magazine senza consulenza professionale dedicata. Per supporto specifico:mathsly.it.