Validare un agente AI non è come validare un modello AI

Nel giugno 2026, Nature pubblica un paper destinato a diventare un punto di riferimento per chi lavora all’intersezione tra AI e medicina clinica. Si intitola “Towards autonomous medical artificial intelligence agents”¹. Al centro c’è MIRA (Medical Intelligence for Reasoning and Action): un agente AI autonomo che gestisce pazienti in pronto soccorso dall’anamnesi alla dimissione, ordinando esami, interpretando risultati, prescrivendo farmaci, decidendo ricoveri.

I risultati sono impressionanti. MIRA supera i medici in accuratezza diagnostica. Aderisce alle linee guida meglio dei clinici di confronto. Non produce interazioni farmacologiche gravi. E lo fa navigando più di 85.000 opzioni cliniche in un ambiente EHR reale costruito su standard HL7 FHIR.

Ma quello che rende questo paper particolarmente importante non sono solo i risultati. È la dichiarazione di intenti degli autori stessi. Scrivono esplicitamente di sperare che il loro benchmark e il framework di MIRA possano fornire una base di confronto e miglioramento iterativo per gli agenti AI in medicina. Non un sistema pronto al deployment. Un punto di partenza. Un’infrastruttura su cui costruire.

Quest’ambizione degli autori — bellissima e sintomo di saggezza di chi ha condotto lo studio — è uno degli esempi più lungimiranti di come si debba fare ricerca e merita un’attenzione particolare. Ritengo infatti che sia uno spunto per riflettere su come la ricerca debba realmente orientarsi alla luce di questa nuova e travolgente tecnologia. Per poter raccogliere appieno questo invito, è opportuno interrogarsi su cosa manca al campo metodologico che dovrebbe accompagnare lo sviluppo della medicina nel contesto AI.

Da strumento a agente: perché il salto è importante

Per capire la portata del cambiamento introdotto da MIRA e dunque la riflessione che ne deriva, bisogna comprendere come l’AI è cambiata nel tempo e quali sono le diverse applicazioni che possono trovare spazio in ambito medico.

Fino a qualche anno fa, quando parlavamo di AI in medicina parlavamo quasi esclusivamente di modelli predittivi: sistemi che ricevono un input — una TAC, un valore di laboratorio, una sequenza genomica — e producono un output discreto. Una probabilità. Una classe. Un flag. Sistemi che, dato lo stesso input, producono sempre lo stesso output.

Su questo tipo di oggetto i framework di validazione esistenti funzionano bene. TRIPOD+AI ti dice cosa riportare. Il C-statistic misura la discriminazione. La calibration curve controlla se le probabilità sono credibili. Si divide il dataset in training e test, si calcolano le metriche, si pubblicano i risultati. Il sistema è statico, l’unità di analisi è il paziente, il gold standard è definito a priori.

Un agente AI è qualcosa di radicalmente diverso. Non produce un output singolo. Produce una sequenza di decisioni: ordina questo esame, poi interpreta il risultato, poi chiede un’altra cosa al paziente, poi rivaluta, poi prescrive. Ogni decisione dipende da tutte le precedenti. Il “risultato” non è un numero: è un percorso clinico intero, con ramificazioni, loop, revisioni.

Questo non è un dettaglio tecnico. È una rottura epistemologica che evidenzia come i framework sviluppati per i modelli predittivi non siano semplicemente incompleti per gli agenti, ma siano stati progettati per misurare qualcosa di strutturalmente diverso da ciò che un agente AI fa.

Cinque dimensioni che il campo metodologico deve ancora affrontare

Osservando gli strumenti attualmente a disposizione per valutare qualsiasi agente AI in ambito clinico, ci si rende conto che vi sono lacune metodologiche importanti da colmare, lacune che oggi impediscono di pervenire a una valutazione robusta e, di conseguenza, a una validazione affidabile dell’utilizzabilità di tali agenti.

1. Gli agenti AI non hanno un endpoint primario

Nell’attuale metodologia di ricerca, i trial clinici sono caratterizzati da una chiara e rigorosa pre-specificazione dell’endpoint primario: è questo infatti uno dei pilastri metodologici fondamentali. La loro pre-specificazione ha senso perché il sistema valutato produce un tipo di output specifico. Tutto il resto è secondario. La gerarchia funziona perché l’oggetto è semplice abbastanza da avere un obiettivo singolo e misurabile.

Al contrario, un agente AI fa cose fondamentalmente diverse contemporaneamente. Riprendendo proprio il caso di MIRA è possibile vedere che esso diagnostica, prescrive, riconcilia i farmaci pre-ricovero, raccomanda procedure chirurgiche, decide il ricovero. Nel paper, l’accuratezza diagnostica è calcolata su 574 pazienti, la sicurezza farmacologica su un sottoinsieme di 56, l’aderenza alle linee guida su 112 pazienti con 256 metriche di prescrizione, le decisioni di ricovero su 80 casi sintetici costruiti ad hoc, le procedure chirurgiche su un sottoinsieme condizionato alla diagnosi corretta. Ogni dimensione ha la sua unità di analisi, il suo campione, il suo metodo statistico. Nessuna è sbagliata. Ma non esiste una logica esplicita che le colleghi: che dica cosa succede quando vanno in direzioni diverse e come si forma un giudizio complessivo sul sistema.

E’ chiaro che chiedere quale sia l’endpoint primario di un agente AI è come chiedere quale sia l’endpoint primario di un medico di pronto soccorso. La domanda stessa è mal posta. Ma questo non significa che il problema non esista, significa che serve un concetto diverso, non una copia di quello che già abbiamo.

Una possibile soluzione

Il parallelo più utile non è il trial clinico ma il dossier di performance dei dispositivi medici complessi: sistemi robotici chirurgici, dispositivi impiantabili con componenti software. Lì non si definisce un endpoint primario unico. Si costruisce un profilo di validazione con dimensioni predefinite, soglie minime accettabili per ciascuna e una logica di integrazione esplicita. Se il sistema non raggiunge la soglia su una dimensione critica per la sicurezza, le altre non compensano, indipendentemente da quanto siano eccellenti.

Per gli agenti AI serve qualcosa di analogo. Non un endpoint primario, ma un profilo di validazione dichiarato prima della raccolta dati, con le dimensioni obbligatorie, le rispettive unità di analisi, le soglie minime, e una gerarchia che privilegi esplicitamente la sicurezza rispetto alla performance diagnostica. Questo non è ancora uno standard. Nessun documento regolatorio lo definisce in forma operativa. MIRA dimostra che ne abbiamo bisogno.

2. Il comparator umano è un campione, non una distribuzione

Nei trial clinici il comparator è definito con precisione: placebo, dose standard, chirurgia convenzionale. Il confronto ha senso perché le alternative sono sufficientemente omogenee da rappresentare una categoria, non un individuo.

Nel paper su MIRA i medici di confronto sono quattro specialisti board-certified tedeschi con 7-11 anni di esperienza, e una coorte mista di sei medici: quattro residenti con zero-cinque anni di pratica, un radiologo board-certified e un emato-oncologo board-certified con rispettivamente 12 e 15 anni di esperienza clinica. La scelta riflette lo staffing tipico dei pronto soccorso tedeschi, in un sistema sanitario che — come gli autori stessi spiegano nella Discussion — non prevede specializzazione in medicina d’emergenza. È una spiegazione onesta e metodologicamente rilevante. Ma il fatto che arrivi nella Discussion, e non come criterio dichiarato nel protocollo, è già di per sé sintomatico: la giustificazione del comparator è costruita a posteriori, non pre-specificata. Ed è esattamente questo il vuoto che il campo deve colmare.

Il problema non è la scelta degli autori. È che non esiste ancora uno standard per descrivere il comparator umano in modo da permettere la comparabilità tra studi diversi. Quando il prossimo paper valuterà un agente AI simile usando medici americani di pronto soccorso con specializzazione in emergency medicine, o medici italiani di medicina interna, i risultati non saranno comparabili con quelli di MIRA e ciò non perché uno studio sia migliore dell’altro, ma perché il comparator è una variabile non standardizzata.

Quello che manca è un framework per definire il comparator umano come distribuzione rappresentativa: quale contesto clinico si vuole rappresentare, quale livello di esperienza, quale sistema sanitario, quale case mix. Senza questo, ogni studio produce un dato locale che non si accumula in conoscenza generalizzabile. Ed è la conoscenza generalizzabile quella che serve per le decisioni.

3. Il leakage nel training data richiede un protocollo che ancora non esiste

I modelli statistici tradizionali vengono addestrati su dati specifici, validati su dati separati ed il confine è tracciato e controllato. Il problema del data leakage esiste, ma è gestibile: si usa un hold-out set, si applica una temporal split, si verifica che i dati di validazione non siano stati visti durante il training. Sono procedure consolidate con linee guida chiare.

Gli LLM alla base di agenti AI sono stati pre-addestrati su corpus enormi la cui composizione non è completamente nota nemmeno ai ricercatori che li usano. MIMIC-IV — il dataset su cui viene valutato MIRA, nella versione 2.2 usata nel paper — è pubblicamente accessibile a ricercatori credenziali su PhysioNet. È possibile che parti di esso siano finite nel training set di GPT-4o o o1-preview. Gli autori lo riconoscono esplicitamente e con onestà metodologica: le performance riportate potrebbero rappresentare un limite superiore e sovrastimare la generalizzabilità ad altri contesti.

Questa trasparenza è encomiabile. Ma il punto è che non abbiamo ancora strumenti standardizzati per andare oltre la dichiarazione. Non sappiamo come quantificare l’entità del leakage potenziale, come correggerlo statisticamente, se e quanto le performance cambino su un dataset che con certezza non è mai stato visto dal modello durante il training. TRIPOD+AI non copre questo scenario perché non esisteva quando è stato scritto.

Quello che serve è un protocollo specifico per la validazione di agenti basati su LLM: dataset di validazione riservati e non pubblici, test su dati raccolti dopo la data di training documentata del modello o metodi per quantificare e comunicare l’incertezza da leakage in modo standardizzato. Non è un problema irrisolvibile: è un problema che il campo non ha ancora affrontato collettivamente.

4. La non-stazionarietà della pipeline

Un modello statistico validato rimane quello che è. Lo si addestra, lo si valida, lo si deploya, e — salvo retraining esplicito e documentato — le sue performance sono stabili nel tempo. Questa stazionarietà è il presupposto implicito di qualsiasi framework di validazione: che l’oggetto valutato oggi sia lo stesso che verrà usato domani.

Gli agenti AI si poggiano su modelli distinti. Riprendendo proprio il caso MIRA esso si appoggia a GPT-4o per la conversazione con il paziente e la generazione delle risposte cliniche, e o1-preview per il reasoning, uno strumento quest’ultimo di pianificazione intermedio che genera piani multi-step prima di produrre l’output finale. Il paper specifica che GPT-4o è usato con temperatura 0.01, una scelta precisa per ridurre la variabilità delle risposte all’interno della stessa versione del modello. Ma anche con temperatura fissa: un aggiornamento del modello sottostante cambia il comportamento del sistema indipendentemente dalla temperatura impostata. Entrambi i modelli vengono aggiornati continuamente dai rispettivi vendor, in modo non completamente documentato e non controllato da chi li usa. Queste versioni esatte non sono riproducibili da terzi e non lo saranno nemmeno tra sei mesi.

Ne risulta un problema strutturale. Non stiamo validando un sistema stabile, ma una pipeline in cui due componenti possono cambiare in modo indipendente e non coordinato. Un aggiornamento di GPT-4o potrebbe migliorare la conversazione ma degradare la coerenza clinica. Un aggiornamento di o1-preview potrebbe cambiare il modo in cui vengono costruiti i piani diagnostici. Nessuno dei due cambiamenti sarebbe rilevabile senza una ri-validazione esplicita.

Il framework regolatorio MDR/IVDR prevede procedure di post-market surveillance per i dispositivi medici software, ma sono state disegnate per sistemi che cambiano in modo prevedibile e controllato, non per pipeline in cui il comportamento dipende da aggiornamenti decisi autonomamente da vendor esterni. L’AI Act classifica sistemi come quelli che usano agenti AI, come sistemi ad alto rischio, ma non specifica come gestire la non-stazionarietà dei modelli sottostanti in forma operativa. Serve un piano esplicito che valuti ad esempio quali sono i trigger che richiedono una ri-validazione, chi ha la responsabilità di attivarla e come si documenta la continuità tra versioni diverse del sistema.

5. La fedeltà della simulazione deve essere misurata, non assunta

MIRA interagisce con un paziente AI costruito su HPI estratti da note di dimissione retrospettive. È una scelta metodologicamente necessaria e intelligente: permette di condurre centinaia di simulazioni in parallelo, su casi reali, con una riproducibilità che nessuno studio con pazienti reali potrebbe garantire. Gli autori ne riconoscono apertamente i limiti: le risposte del paziente simulato potrebbero essere più strutturate del parlato reale in pronto soccorso. E vanno oltre la semplice dichiarazione, fornendo un’analisi esplicita della coerenza del parlato del paziente simulato, che esamina il contenuto diagnostico versus non-diagnostico nel corso della conversazione, cercando di quantificare in che misura il simulatore fornisce informazioni rilevanti in modo lineare o meno. È un tentativo serio.

Ma restano comunque due gap che il campo deve colmare. Il primo è strutturale. Le note di dimissione sono testo professionale: coerente, strutturato, completo. Un paziente reale in pronto soccorso racconta la sua storia in modo disordinato, omette informazioni cruciali, contraddice quello che ha detto cinque minuti prima, non ricorda i nomi dei farmaci che prende, aggiunge dettagli irrilevanti. Il paper testa la robustezza dell’agente attraverso perturbazioni predefinite — sesso diverso, ansia, bias linguistico — e i risultati sono rassicuranti. Ma queste perturbazioni sono costruite e uniformi: non catturano l’eterogeneità strutturale e imprevedibile del parlato reale che è qualitativa oltre che quantitativa.

Il secondo gap è di comparabilità. L’approccio di MIRA è replicabile e probabilmente diventerà uno standard de facto per questo tipo di studi. Proprio per questo il campo ha bisogno di definire metriche di fedeltà della simulazione: indici che misurino la distanza tra il comportamento del paziente simulato e quello di un paziente reale e che permettano di stimare e comunicare l’impatto di questa distanza sulle performance misurate. Senza questi strumenti, ogni studio che usa un paziente simulato produrrà risultati non comparabili con gli altri, e la letteratura si frammenterà in dati locali che non si accumulano.

Raccogliere l’invito degli autori

Gli autori di MIRA chiudono il loro paper con una frase precisa: la validazione prospettica sarà essenziale per confermare se questo potenziale possa essere pienamente realizzato in contesti clinici reali. È un invito esplicito a continuare il lavoro, a costruire su quello che hanno costruito loro.

Raccogliere quell’invito significa fare due cose in parallelo. La prima è continuare a sviluppare agenti sempre più capaci. La seconda — ed è quella di cui secondo me si parla ancora poco — è costruire il framework metodologico che permetta di valutarli in modo che i risultati abbiano il significato che pensiamo abbiano.

Quello che manca non è la volontà di farlo. Manca il consenso su come farlo: su come costruire un profilo di validazione multidimensionale che sostituisca la logica dell’endpoint primario, su come definire il comparator umano in modo generalizzabile tra studi e sistemi sanitari diversi, su come gestire l’incertezza da leakage nel training data, su come monitorare un sistema che cambia perché i suoi componenti vengono aggiornati da vendor esterni, su come misurare la fedeltà di una simulazione e comunicarne i limiti in modo standardizzato.

Sono domande aperte. Il fatto che MIRA le renda così visibili è uno dei contributi più importanti di questo paper, forse più importante dei numeri stessi. Altrimenti continuiamo a misurare la velocità di un’automobile con un termometro. Lo strumento è preciso. Misura la cosa sbagliata.

Reference

1. Ferber, D., Hilgers, L., Höper, C. et al. Towards autonomous medical artificial intelligence agents. Nature (2026). https://doi.org/10.1038/s41586-026-10675-5↩︎