Watermark AI e ricerca scientifica

Giorno 2 agosto 2026 è entrato in vigore ilTransparency Code dell’AI Act, una norma che impone alle aziende produttrici di modelli AI di marcare i contenuti generati o modificati tramite AI in modo tale che questi siano identificabili da sistemi terzi. Anthropic ha risposto all’obbligo annunciando che tutti i modelli Claude già in essere e quelli ancora in fase di sviluppo saranno dotati entro dicembre 2026 di un watermark invisibile in grado di marcare tutti i testi generati tramite AI.

La notizia, rilanciata dai media, ha immediatamente scatenato un’ondata crescente di entusiasmo. Applausi, titoli sensazionalistici “Fine dell’era del copia-incolla”, sospiri di sollievo. La filigrana introdotta da Anthropic viene presentata come uno strumento in grado di garantire l’autenticità dei testi.

Sebbene lo strumento non sia stato ancora visto in azione, la percezione comune che sembra emergere da più parti è quella di aver trovato l’equazione perfetta – permettetemi di parlare la mia lingua di matematico: presenza watermark uguale prova che un testo è AI, assenza watermark uguale garanzia che un testo è umano. Un’equazione così perfetta da far presupporre l’esistenza di una condizione necessaria e sufficiente.

Chiarisco subito un particolare. Il meccanismo che Anthropic utilizzerà effettivamente per il suo watermark non è ancora stato reso pubblico nei dettagli tecnici. Ad oggi non sappiamo quanto funziona, come e quali sono i casi su in cui può fallire. Abbiamo dei riferimenti generici, ma ancora troppo poco dettagliati per poter capire. In letteratura tuttavia si parla da tempo di questi “blu di metilene” che sfruttando approcci statistici, sarebbero in grado di tracciare testi (ma anche immagini e video) passati su intelligenza artificiale. L’annuncio di Anthropic offre lo spunto per cominciare ad affrontare questo tema cercando di capire come funzionano alcuni di questi watermark (non quello di Anthropic) con una speciale attenzione ai testi scientifici.

Fatta questa premessa, a leggere così la notizia e le ipotesi di funzionamento che accompagnano questi strumenti si ha l’impressione che tra ciò che la tecnologia sembra promettere e ciò che effettivamente può offrire esista un divario che presenta parecchie insidie che potrebbero rendere lo strumento quanto meno discutibile per chiunque pubblichi, riveda o valuti testi in un contesto scientifico.

Il watermark statistico

Ma cominciamo dal principio. Quando si sente parlare di “watermark invisibile nel testo”, si immaginano una serie di caratteri nascosti e sparsi nel documento come formiche. Ma i watermark che potrebbero trovare applicazione sono watermark statistici, qualcosa di completamente diverso e la cui autorevolezza è basata sull’uso del calcolo delle probabilità e della statistica.

Se hai avuto a che fare con la statistica, probabilmente ricorderai che i manuali ed i professori introducendo il classico esempio della moneta hanno sempre precisato che la moneta non deve essere truccata affinché i conti tornino. Bene, il sistema del watermark statistico funziona in modo analogo: “trucca” il testo.

Sappiamo da tempo che l’AI, sebbene presenti risposte apparentemente naturali e dal sapore tipicamente umano, è governata da algoritmi matematici di straordinaria complessità. Il testo che genera non viene “scritto” nel senso in cui lo intendiamo noi. Il testo che noi leggiamo è il risultato di un calcolo in cui la parola successiva è determinata dalla vicinanza semantica — matematicamente calcolata — con quelle precedenti. Se l’AI scrive “intervallo” e siamo in ambito statistico, la parola successiva sarà quasi certamente “di confidenza”.

Dunque il sistema funziona in modo che a fronte di un determinato contesto, il modello assegna una probabilità a ogni possibile parola (cosiddetto token) successiva e sceglie dall’elenco delle possibili parole disponibili, quella che meglio si inserisce nella frase, badando a sceglierne una che non alteri né il significato (anche se ricordiamo, l’AI non comprende il significato nel senso umano) né la correttezza grammaticale. Il risultato di questo processo è un contenuto apparentemente coerente, come fosse scritto da un essere umano, ed in alcuni casi più logico e più lineare di quello di un essere umano.

Perché ebbene sì dobbiamo riconoscerlo: l’AI ama la logica matematica. A furia di frequentare algoritmi, ha appreso che l’unico modo di rispondere ad una domanda è quello matematico, ossia con ragionamenti perfettamente concatenati, come fossero teoremi con tanto di ipotesi, tesi e dimostrazione che porta da A a B secondo passaggi strettamente controllati. Questo la rende straordinariamente e pericolosamente convincente (a volte questa sequenza la porta fuori strada, ma lì è tutt’altra storia).

Ora succede che alcuni watermark statistici finora presentati sembra funzionino come il gioco “Indovina chi”. Dato un argomento e trovandosi l’algoritmo a costruire il suo consueto discorsetto umano, i watermark fanno sì che prima che il sistema scelga il termine successivo — in una procedura che si chiama campionamento, sì, proprio quel campionamento statistico che si fa negli studi clinici — il vocabolario disponibile del modello AI verrebbe suddiviso in due sottoinsiemi:green listered list.

Il modello non scegliere in modo rigido le parole, ma viene orientato con una maggiore preferenza verso quelli dellagreen listsecondo un peso matematico che fa sì che le parole dellagreen listsiano più probabili di quelle dellared list. In questo modo si viene ad introdurre una distorsione (i.e., bias) che seppur potrebbe essere trascurabile in testi corti (anche se ricordo che la rilevabilità del segnale dipende dalla combinazione lunghezza del testo, intensità del bias e l’entropia), diventa altamente misurabile sui testi medio-lunghi. Esattamente come la moneta truccata: su soli 10 lanci non si vede che la moneta non è perfettamente bilanciata, ma se aumentiamo i numeri dei lanci, le preferenze verso un determinato esito, emergono chiaramente. Fin qui tutto perfetto.

A questo punto, inizia il gioco statistico. La rilevazione è affidata ad uno score – z-score per l’appunto con tanto di p-value al seguito – che misura quanto la proporzione osservata di token dellagreen listnel testo si discosti da quella attesa in assenza di watermark. Se questo valore supera una certa soglia, allora il rilevamento segnala la presenza del watermark.  

Dunque, riprendendo volutamente lo stile tipico di AI, ricapitolo: il sistema usa la matematica per determinare la parola più vicina alla precedente, non sceglie in modo indipendente come ha fatto finora seppur sempre servendosi di una qualche forma di campionamento matematico, ma pilota seppur in modo non rigido, la risposta verso le parole dellagreen list. Un rilevatore, le cui istruzioni derivano sempre dallo stesso produttore dello strumento, pone un test statistico per dire se c’è o non c’è il watermark. A seconda del risultato, noi inferiamo se il testo è proveniente da AI o meno.   

I problemi metodologici

Meccanismo elegante, vero? Quasi bello nella sua semplicità. Ma guardandolo con l’occhio del metodologista e dello statistico, qualcosa non torna.

Nell’ambito della ricerca non si è abituati a lavorare con strumenti che misurano in modo errato. Ogni bias di strumento è un problema perché distorce la misura che si intende misurare. Ma caratteristica importante, la distorsione è sempre un evento che incide sulla misura dall’esterno e che il ricercatore riconosce, stima e corregge. Nel caso del watermark statistico la situazione è diversa. Siamo sì di fronte ad uno strumento distorto, ma il bias non disturba la misura: è la misura stessa. Il sistema crea deliberatamente un segnale nel testo e poi usa la statistica per cercarlo. Se il segnale c’è, il testo è AI. Se non c’è, il testo è umano. Lo strumento produce ciò che il test misura e il test non sa misurare nient’altro che l’errore che lo strumento produce, sapendo che può trovarlo, non che è un evento straordinario.

Sì, lo so, sembra la famosa storia del gatto che si morde la coda. Ma quanto appena descritto ha in metodologia di ricerca un nome preciso: circolarità (circular validation). Il watermark crea il bias nel testo AI usando una chiave segreta che conosce solo il produttore del modello AI. Poi il rilevatore costruito sulle istruzioni del produttore va a cercare esattamente quel bias, usando la stessa chiave. Questo fa sì che il test statistico non rileva una proprietà indipendente del testo, ma va a rendere evidente una proprietà che il produttore ha introdotto appositamente nel testo usando e che solo lui conosce. Sembrerebbe tutto indipendente, vero? Ma non lo è. I due momenti – introduzione del bias e sua rilevazione – sono logicamente e tecnicamente legati dalla stessa chiave, dunque si ha circolarità.

La circolarità non è di per sé un difetto ingegneristico. Un sistema crittografico che usa la stessa chiave per firmare e verificare funziona esattamente così, ed è uno strumento perfettamente valido per quello che fa. Tuttavia in questo caso, se l’algoritmo di rilevazione non è pubblico, allora il sistema presenta un problema strutturale perché solo il produttore può verificare il segnale o la sua assenza, il che rende qualsiasi giudizio basato sul watermark dipendente dalla fiducia assoluta in chi lo produce. Se invece l’algoritmo è pubblico il problema strutturale si sposta ma non scompare del tutto. Chiunque può eseguire il test, ma solo chi detiene la chiave segreta può produrre il watermark e solo chi la detiene può confermare che il test stia cercando la cosa giusta. La chiave rimane nelle mani del produttore in entrambi i casi.

Ma c’è un punto nodale ancora più rilevante, che riguarda cosa il sistema può effettivamente affermare. Rilevare la propria firma non è rilevare l’intelligenza artificiale. È rilevare la propria firma. Il watermark dice che quel testo è passato per quel modello, con quella chiave, in quel momento. Non dice che il testo è privo di pensiero umano, né che un testo senza watermark è privo di contributo AI. Pretendere che questo strumento possa pronunciarsi sull’origine di un testo in senso generale significa attribuirgli una capacità che non ha e che, per costruzione, non può avere.

Gli aspetti statistici

Già la presenza di dubbi metodologici potrebbe bastare a sostenere che il sistema non possa essere adoperato così come dichiarato finora. Ma vi è un di più che riguarda la parte statistica. Per come è ideato lo strumento, il test statistico non può essere usatosic et simpliciter. Il sistema funziona in modo perfetto quando lavora dentro le proprie ipotesi, ossia quando il watermark segna il testo e niente lo disturba e dunque il test statistico agisce in modo superbo nell’identificare la presenza del watermark. Ma qui si ferma il sistema. Il test non dice che il testo è prodotto da AI. Esso attiva solo una sorta diwarningche dice che quel watermark è presente. Di converso, l’assenza del watermark non dice nulla sull’autenticità del testo. Tanti fattori potrebbero far saltare il sistema.

Il rilevatore funziona confrontando la proporzione di token dellagreen listosservata nel testo con quella attesa sotto l’ipotesi nulla, ossia quella di un testo senza watermark. Ma l’ipotesi nulla assume che, in assenza di watermark, i token siano distribuiti in modo sostanzialmente uniforme rispetto alla partizionegreenvs.red. Questa assunzione potrebbe regge in molti contesti generali, ma non è valida nei contesti scientifici. Il risultato è che il test potrebbe segnalare la presenza di un segnale che non c’è, oppure non rilevarne uno presente perché la distribuzione di base del testo ne maschera la traccia. Questo si chiama problema di validità del modello nullo secondo cui il test misura uno scarto rispetto a un riferimento, ma se il riferimento è mal specificato, quello scarto non ha l’interpretazione che gli si attribuisce.

Inoltre il test statistico, come ogni test statistico, può anche fallire nelle solite due direzioni note: falso negativo — il test non riconosce un testo AI — o falso positivo — il test sostiene che il testo è AI quando non lo è. Se i testi valutati arrivano da una popolazione generale, il sistema può funzionare. Ma i testi scientifici non vengono da una popolazione generale. Essi provengono, parlando proprio in termini statistici, da una distribuzione il cui vocabolario è fortemente vincolato. Prendete una sezione “Materiali e metodi” di un articolo in ambito medico. Frasi come “criteri di inclusione,” “studio clinico randomizzato a doppio cieco,” “odds ratio aggiustato,” “intervallo di confidenza,” “analisi intention-to-treat” non sono scelte stilistiche. Sono gli unici termini corretti e la loro sequenza è vincolante per  chiunque voglia parlare in modo scientificamente valido.

Per non parlare del fatto che i termini scientifici ed anche un certo parafrasare (tipothe aim of this work was…) non sono una scelta del ricercatore, un lancio di moneta che possiamo truccare o meno. Sono caratteristiche proprie del parlare scientifico e non esistono molte alternative. Se lagreen listnel suo sistema include questi termini o questo modo di scrivere, allora qualsiasi testo scientifico prodotto da un essere umano competente potrebbe essere classificato come testo AI e probabilmente anche testi scientifici di qualche anno fa che sono stati schematizzati secondo le linee guida di reporting (vedi CONSORT e PRISMA in testa), potrebbero subire la stessa sorte.

Distribuzioni convergenti

Tutto qui? Elenco dubbi risolto? No, ancora no. C’è un ultimo e ancora più sottile problema. Qualunque sistema di watermark pone alla base del funzionamento un’assunzione fortissima, ossia che i testi AI e i testi umani abbiano distribuzioni lessicali significativamente diverse. Insomma partono dal pressupposto che noi umani scriviamo in modo diverso dall’intelligenza artificiale.

Tralasciando ogni aspetto etico, ritengo che questa assunzione sia poco sostenibile. Perché i modelli AI sono addestrati su testo umano prediligendo per di più libri, articoli accademici, paper scientifici, documenti giuridici, linee guida, poesie, saggi, insomma la nostra produzione scritta, tutta umana, accumulata nel corso dei secoli. Questo fa sì che le parole scelte dal modello, indipendentemente che stiano nella listagreeno in quellared, sono parole che derivano da frasi del nostro del modo di esprimerci.

Da questo si potrebbe obiettare che per quanto le distribuzioni siano simili, la probabilità che un essere umano riproduca accidentalmente il pattern specifico dellagreen list, ossia che scelga in modo naturale e sistematico proprio quelle parole, nella proporzione sufficiente ad attivare il rilevatore, sia comunque molto bassa.

Sebbene questa sia un’obiezione ragionevole, va considerato che, primo, l’AI è usata da milioni di persone con miliardi di interazioni in ogni istante, per cui replicare un pattern in modo indipendente dall’AI, per quanto con bassa probabilità, è comunque possibile. Secondo, il modello AI non ha semplicemente una distribuzione umana, ma è una distribuzione derivata da quella umana. Il modello ha assorbito le nostre parole, le nostre strutture sintattiche, le nostre preferenze lessicali, i nostri modi di dire, secondo alcuni mostra anche di comprendere il significato dei testi che scrive, seppur sembra non ancora nel senso umano. Come sperimentiamo tutti interagendo con la nostra AI, questa, a seconda dell’utente, adatta il registro e lo stile, ne conosce le preferenze e gli interessi, e nulla vieta di pensare che possa copiare lo stile del singolo e quindi mettere i watermark proprio su quelle caratteristiche uniche dello specifico utente.  

La domanda sbagliata: expertise simulata e realtà fabbricata

A mio avviso la domanda che ci stiamo ponendo sull’AI è sbagliata. Non voglio dire che sia giusto generare testi con AI e spacciarli per proprio ingegno, anzi. Ritengo che ciò che stia accadendo anche in ambito scientifico (si pensi al problema paper mill che l’AI sta aumentando) sia assolutamente da contenere. Ma ritengo che il watermark non risolva alcuno di questi gravi problemi che l’AI sta generando e che il mondo della ricerca scientifica sta subendo.

Usare l’AI per correggere una bozza, migliorare il flusso sintattico, tradurre un passaggio, ristrutturare un argomento, non siano il problema. L’AI è uno strumento e, se usato come gli strumenti sono sempre stati usati, può aiutare ad estendere la capacità umana senza sostituire il pensiero umano.

Il punto focale del problema è che l’AI sta spingendo a creare una realtà distorta, fabbricataad hoce poi passata per verità. Proprio in ambito scientifico sono in tanti che si affidano all’AI non per sistemare un testo in una lingua non propria, ad esempio, ma per scriverne uno di sana pianta, senza conoscenza reale del contenuto. E questo il watermark non lo risolve. Perché proprio chi vuole falsare le carte sarà il primo a trovare lo stratagemma per bypassare il problema watermark.

L’AI può simulare una capacità professionale che non esiste. Può produrre raccomandazioni cliniche senza conoscenza clinica, fabbricare revisioni della letteratura senza verifica delle fonti, o generare risultati statistici da dati che non sono mai stati raccolti. Cattive pratiche queste che ci fanno capire che la domanda vera non è se un testo è passato attraverso l’AI. Ciò di cui la ricerca scientifica ha bisogno è sapere se dietro ogni testo scientifico su cui si basano decisioni cliniche, strategiche, economiche e sociali, esistono menti reali, con conoscenze reali e responsabilità reali. Insomma se c’è effettivamente e concretamente una mente che ha studiato, pensato, ragionato, valutato e bilanciato ciò che presenta.

Dunque la trasparenza per ciò che riguarda la scienza non è da dove viene un testo, ma da chi ne assume le responsabilità e da chi ne garantisce l’autenticità. Mi piacciono quei journal scientifici che nelle loro linee guida per gli autori ammettono sì la possibilità che il testo sia stato scritto con l’aiuto dell’AI, ma precisano subito dopo che la responsabilità resta in capo agli autori. Credo che sia la forma più bella di trasparenza.

Un paper firmato da un autore che non sa difenderne i metodi è problematico. lo era prima dell’AI, lo è a maggior ragione adesso che l’AI ha reso tutto più facile senza bisogno di aprire un libro. Un paper firmato da un esperto che ha usato l’assistenza AI e ha revisionato criticamente ogni riga è solido, indipendentemente dal suo stato di watermark. Lo strumento di trasparenza che conta in scienza non è un segnale statistico incorporato nelle distribuzioni dei token. È un autore nominato, un processo di revisione tra pari solido e giusto e l’obbligo etico — prima ancora che professionale — di stare dietro ogni affermazione che si presenta.

Tornando al watermark statistico

In conclusione, credo che sarebbe scorretto liquidare il sistema watermark come interamente inefficace. Così come sarebbe ingiusto non affermare che abbiamo bisogno di chiarezza sull’AI e su ciò che essa può produrre. È una tecnologia che si è diffusa così rapidamente e così su larga scala che non usarla significa non stare al passo con i tempi. Ma utilizzarla senza chiarezza è una macchina lanciata a velocità su una strada buia di notte e a fari spenti.

Un watermark applicato in modo coerente su tutti gli output del modello può fornire un audit trail utile in contesti dove non ci si aspetta manipolazione. Per questi scopi, lo strumento è adeguato. Ma il suo compito termina qui. Quello che non può fare è fornire una base affidabile per decisioni individuali ad alto rischio come rifiutare una pubblicazione scientifica, invalidare un dossier regolatorio, accusare un autore di disonestà accademica. I tassi di falsi positivi e falsi negativi di questi sistemi in sottopopolazioni specifiche sono poco conosciuti. La convergenza delle distribuzioni è una tendenza strutturale, non un problema di calibrazione risolvibile. E il segnale può essere rimosso da chiunque sia disposto a dedicare un pò di tempo a parafrasare.

Questo non significa che il problema sia irrisolvibile. Significa che la soluzione richiede un passaggio che finora non è stato fatto: testare lo strumento nelle condizioni in cui deve operare davvero. Quali sono i tassi di falso positivo su testi scientifici? Come si comporta il sistema su sezioni metodologiche altamente standardizzate? Quanto è stabile il segnale dopo una revisione editoriale? Sono domande a cui solo chi ha accesso al sistema può rispondere. Se i produttori di modelli AI sono disposti a condividere queste valutazioni, o meglio ancora, a svilupparle in collaborazione con chi lavora quotidianamente con testi scientifici, avremmo finalmente la base per capire dove questi strumenti funzionano e dove no. Dato l’alto valore della ricerca scientifica e della sua produzione, credo che valga la pena aprire questa conversazione.

Nota finale, per onestà intellettuale: questo articolo, che mette in discussione l’affidabilità del watermark AI, è stato revisionato da un sistema AI per controllare che non ci fossero errori di battitura, ripetizioni ed eventuali incongruenze. Cercate pure il watermark. Il rilevatore, quando arriverà, è avvisato. La responsabilità, come sempre, è mia.