Agenti autonomi in medicina: siamo pronti a valutarli?

Negli ultimi anni, le applicazioni di intelligenza artificiale in sanità hanno attraversato una trasformazione strutturale silenziosa ma profonda. Per quasi un decennio, il paradigma dominante è stato quello del modello predittivo: un sistema addestrato su dati retrospettivi per produrre un singolo output probabilistico — uno score di rischio, una classificazione diagnostica, un alert di deterioramento — che un clinico poteva accettare, rifiutare o ignorare. Attorno a questo paradigma è stata costruita un’infrastruttura metodologica sofisticata: linee guida per il reporting, strumenti di valutazione della qualità, framework per i trial clinici. Questa infrastruttura funziona per la classe di sistemi per cui è stata progettata.

Quella classe di sistemi non è più la frontiera.

I sistemi di nuova generazione non producono raccomandazioni per il clinico. Eseguono azioni. E questa differenza non è di grado, ma categorica.

Una nuova generazione di sistemi di IA clinica esegue sequenze di azioni cliniche — raccogliendo l’anamnesi del paziente, ordinando ed interpretando esami diagnostici, generando diagnosi differenziali, prescrivendo farmaci, raccomandando il ricovero o la dimissione — all’interno di un singolo incontro clinico, utilizzando interfacce strutturate con i sistemi di cartella clinica elettronica (EHR) e operando con un intervento umano minimo o nullo a livello di singola azione. Quello che Zou e Topol hanno definito “agentic AI teammates in medicine” — compagni di squadra autonomi in medicina¹.

L’evidenza empirica di questo cambiamento è ormai sostanziale. Un agente autonomo operante in un ambiente EHR controllato ha navigato oltre 85.000 opzioni decisionali cliniche attraverso otto categorie diagnostiche, raggiungendo un’accuratezza diagnostica equivalente o superiore a quella di medici certificati per tutte le diagnosi valutate, incluso il carcinoma pancreatico². Benchmark indipendenti con architettura multi-agente in ambienti simulati hanno replicato e ampliato questi risultati in contesti oncologici³e multimodali⁴. Un benchmark EHR virtuale con 300 task clinici derivati — recupero di informazioni, ordine di esami, esecuzione di ordini farmacologici attraverso interfacce FHIR — ha rilevato che anche il modello migliore raggiunge meno del 70% di successo⁵.

La frontiera empirica si è spostata. Quella metodologica no.

Tre problemi strutturali

Il divario non è incidentale. Esso riflette un disallineamento strutturale tra la classe di sistemi per cui i framework esistenti sono progettati e la classe di sistemi che viene ora valutata. Questo disallineamento ha tre dimensioni specifiche.

Il problema dello standard di riferimento

La validazione dei modelli predittivi richiede uno standard di riferimento — una diagnosi istologica, un esito confermato in laboratorio, un’etichetta clinica condivisa — rispetto al quale confrontare le previsioni. Per gli agenti autonomi, nessun equivalente esiste. La sequenza di azioni che un agente dovrebbe produrre non ha una risposta corretta univoca: esistono molteplici percorsi diagnostici e terapeutici validi per la stessa presentazione clinica, e i medici variano sostanzialmente nelle loro scelte di esami, diagnosi differenziali e trattamenti, raggiungendo comunque esiti equivalenti per il paziente.

Confrontare le sequenze di azioni degli agenti con i dati EHR storici — come fanno diversi benchmark attuali — misura la fedeltà alla pratica passata, non l’appropriatezza clinica. Non è un problema tecnico che dati migliori possono risolvere; è un problema concettuale che richiede nuovi approcci alla definizione di cosa significhi performance corretta per un sistema di decision-making sequenziale.

Il problema dei failure mode

La tassonomia di errore dei modelli predittivi — falsi positivi, falsi negativi, miscalibrazione, distributional shift — non cattura i modi in cui gli agenti autonomi falliscono. Tre categorie di errore sono specifiche dei sistemi agentici e sono state documentate empiricamente⁶:

• Action hallucination:la generazione di azioni strutturalmente valide ma clinicamente controindicate, che possono essere eseguite prima che avvenga una revisione umana.
• Compounding error cascades:un errore iniziale plausibile che si propaga attraverso i passi successivi, ciascuno localmente coerente ma collettivamente dannoso — un pattern invisibile alle metriche di accuratezza finale.
• Action-policy drift:cambiamenti nella strategia decisionale dell’agente quando il modello sottostante viene aggiornato, producendo variazioni comportamentali rilevabili solo attraverso la revisione delle trace individuali, non attraverso il monitoraggio aggregato delle performance.

Nessuno di questi failure mode è catturato da AUROC, calibration slope o Brier score. Nessuno è affrontato dalle linee guida di valutazione esistenti per i modelli predittivi, tra cui TRIPOD+AI⁷e DECIDE-AI⁸.

Il problema della supervisione umana

I framework regolatori esistenti — incluso il Regolamento (UE) 2024/1689 — AI Act, Art. 14⁹— richiedono supervisione umana per i sistemi AI ad alto rischio. Per i sistemi di supporto decisionale che producono raccomandazioni, questo requisito ha un’interpretazione operativa chiara: il clinico rivede l’output prima di agire. Per gli agenti autonomi che eseguono sequenze di azioni negli ambienti EHR, l’interpretazione operativa non è né ovvia né standardizzata. A che livello di granularità opera la supervisione attraverso un workflow clinico multifase? Quali categorie di azioni richiedono autorizzazione in tempo reale versus revisione post-hoc? La letteratura empirica ha affrontato queste domande in modo inconsistente, senza alcuna base per il confronto tra studi.

ARIA: una proposta metodologica

Una rassegna sistematica di 43 studi sugli agenti AI in sanità ha concluso che l’innovazione tecnica sta superando l’istituzione di framework di governance, senza metriche di valutazione standardizzate tra i diversi deployment¹⁰. Una seconda rassegna indipendente ha confermato che la maggior parte delle valutazioni di IA agentica rimane esplorativa e priva di validazione clinica robusta¹¹. La necessità di nuovi framework specifici per gli agenti autonomi è stata identificata ripetutamente ma non affrontata.

ARIA — Agentic Reasoning and Integrity Assessment — è una proposta metodologica strutturata in sei domini per la valutazione clinica prospettica degli agenti AI autonomi. Non è un documento regolatorio né uno standard definitivo: è un’architettura metodologica che rende i requisiti di valutazione abbastanza concreti da essere implementati, testati, criticati e raffinati. Ogni dominio risponde direttamente a una delle discontinuità strutturali identificate sopra.

ARIA non è un’autorizzazione al deployment. È il prerequisito per poterlo giustificare con l’evidenza.

Dominio 1. Caratterizzazione dello Spazio di Azione (ASC)

Nessuna valutazione rigorosa di un agente autonomo può essere progettata senza una specifica preventiva e completa di cosa l’agente può fare. ASC richiede la documentazione di ogni strumento che l’agente può invocare, di ogni sistema di codifica a cui i suoi output devono conformarsi (ICD, LOINC, SNOMED-CT, RxNorm, versione FHIR), e del meccanismo tecnico attraverso cui vengono prevenuti gli output invalidi. A differenza dei modelli predittivi, dove la specifica dei predittori è statica, lo spazio di azione agentico è dinamico: le opzioni valide a ciascun passo dipendono dai risultati dei passi precedenti.

Dominio 2. Valutazione della Performance Sequenziale (SPE)

SPE richiede la pre-registrazione delle metriche di valutazione prima della raccolta dei dati — importando il principio dei trial clinici degli endpoint pre-specificati in un campo dove ogni pubblicazione attualmente definisce le proprie metriche post-hoc. Le metriche devono catturare il comportamento dell’agente lungo almeno quattro dimensioni: appropriatezza della traiettoria (sequenza clinicamente coerente dall’inizio alla fine), efficienza delle azioni (selezione necessaria senza over- o under-ordering), rilevamento degli errori a cascata, e accuratezza dello stato finale. Quest’ultima, da sola, è necessaria ma insufficiente: mascherera pattern di errore strutturalmente distinti e non fornisce alcuna base per la correzione mirata.

Dominio 3.Tassonomia dei Failure Mode e Safety Screening (FTS)

FTS operazionalizza la tassonomia di errore specifica degli agenti e richiede tre componenti prima dell’inizio della valutazione clinica: documentazione del meccanismo di prevenzione dell’action hallucination con evidenza della sua efficacia; testing di robustezza a cascata tramite valutazione avversariale con errori impiantati nelle fasi iniziali; e screening sistematico della sicurezza per gli agenti con capacità prescrittiva, inclusa la valutazione delle interazioni farmacologiche, della dosificazione renale, dei conflitti con allergie e della prescrizione a rischio QT.

Dominio 4. Specifica dell’Architettura di Supervisione Umana (HOA)

HOA richiede la documentazione prospettica di cinque elementi: il livello di supervisione (piena, parziale, o post-hoc); quali categorie di azioni richiedono autorizzazione in tempo reale versus esecuzione autonoma; il meccanismo con cui i clinici possono interrompere, sovrascrivere o interrogare l’agente; i requisiti di formazione per i clinici valutatori; e la mappatura esplicita tra il livello di supervisione in valutazione e quello previsto per il deployment. Una valutazione condotta sotto supervisione piena non valida un deployment sotto supervisione parziale.

Dominio 5. Valutazione della Compatibilità con l’Ambiente di Deployment (DEFA)

DEFA è la controparte agentica della valutazione della rappresentatività della popolazione nella validazione dei modelli predittivi, ma strutturalmente più ampia. Richiede la valutazione lungo quattro dimensioni: allineamento della popolazione di pazienti, pattern di pratica istituzionale, compatibilità dell’infrastruttura EHR (standard di codifica, versione FHIR, architettura API), e allineamento dello scope di azione (se alcune categorie di azioni dell’agente ricadono al di fuori dello scope pratico del deployer previsto).

Dominio 6. Protocollo di Sorveglianza Comportamentale Prospettica (PBS)

PBS trasforma il monitoraggio post-deployment da quality assurance reattiva in un protocollo di sorveglianza pre-specificato progettato prima dell’inizio del deployment. A differenza del calibration drift nei modelli predittivi — rilevabile attraverso metriche scalari aggregate — l’action-policy drift negli agenti autonomi richiede la revisione a livello di trace delle singole encounter cliniche. PBS deve specificare: frequenza e metodologia di campionamento per la revisione delle action trace; soglie quantitative per la sospensione del deployment; meccanismi di rilevamento del drift per gli aggiornamenti del modello; e cattura sistematica delle sovrascritture dei clinici come segnale di sorveglianza prospettica. Approcci per la simulazione di ambienti clinici dinamici a supporto di questo monitoraggio sono stati proposti in letteratura^12,13.

Nota importante

ARIA è un framework per la valutazione, non un’autorizzazione al deployment. Soddisfare i suoi domini è una condizione necessaria per comprendere se un sistema è sicuro da deployare, non una condizione sufficiente per deployarlo. La supervisione umana rimane un requisito non negoziabile a ogni fase della valutazione, indipendentemente dal livello di performance che un agente dimostra.

Ad oggi, nessun agente AI clinico autonomo è stato deployato in un contesto clinico regolamentato senza supervisione umana. ARIA non è una risposta a una crisi già in corso: è una preparazione metodologica per una transizione che la letteratura empirica indica come imminente, e per cui il campo non è ancora attrezzato.

Conclusioni

Gli agenti AI clinici autonomi non sono modelli predittivi migliori. Sono una classe categoricamente diversa di sistemi — non perché usino algoritmi diversi, ma perché fanno cose diverse: eseguono sequenze di azioni anziché produrre singoli output, interagiscono con ambienti EHR reali anziché elaborare dataset strutturati, e falliscono in modi che non hanno analogia nella modellazione predittiva.

L’infrastruttura metodologica disponibile per la loro valutazione non è stata progettata per loro. Il compito non è estendere i framework esistenti in modo incrementale, perché le incompatibilità strutturali sono fondamentali. È costruire, dalle fondamenta, un’architettura metodologica calibrata sulle proprietà specifiche dei sistemi AI sequenziali, multistep, integrati con gli EHR.

La frontiera empirica si è spostata. Quella metodologica no. Questo lavoro inizia a colmare il divario. Questo lavoro è necessario adesso — prima che il gap tra capability dimostrata e sicurezza dimostrata diventi una condizione accettata per il deployment clinico.

Reference

1. Zou J, Topol EJ. The rise of agentic AI teammates in medicine. Lancet. 2025;405:457.↩︎
2. Ferber D, et al. Towards autonomous medical artificial intelligence agents. Nature. 2026. doi:10.1038/s41586-026-10675-5↩︎
3. Ferber D, et al. Development and validation of an autonomous AI agent for clinical decision-making in oncology. Nature Cancer. 2025;6:1337–1349.↩︎
4. Schmidgall S, et al. AgentClinic: a multimodal benchmark for tool-using clinical AI agents. npj Digital Medicine. 2026;9:499.↩︎
5. Jiang Y, et al. MedAgentBench: a virtual EHR environment to benchmark medical LLM agents. NEJM AI. 2025;2:AIdbp2500144.↩︎
6. Qiu J, et al. LLM-based agentic systems in medicine and healthcare. Nature Machine Intelligence. 2024;6:1418–1420.↩︎
7. Collins GS, et al. TRIPOD+AI statement. BMJ. 2024;385:e078378.↩︎
8. Vasey B, et al. DECIDE-AI reporting guideline. Nature Medicine. 2022;28(5):924–933.↩︎
9. Regolamento (UE) 2024/1689 — AI Act. Gazzetta ufficiale dell’Unione europea.↩︎
10. Njei B, et al. Artificial intelligence agents in healthcare research: a scoping review. PLoS One. 2026;21(2):e0342182.↩︎
11. Collaco BG, et al. The role of agentic AI in healthcare: a scoping review. npj Digital Medicine. 2026;9:345.↩︎
12. Luo L, et al. A clinical environment simulator for dynamic AI evaluation. Nat Med. 2026;32:820–827.↩︎
13. Nori H, et al. Sequential diagnosis with language models. arXiv:2506.22405. 2025.↩︎