Oltre il vero e il falso: riconoscere contenuti sintetici nell’era dell’IA

Stefano Tubaro: Ho studiato al Politecnico di Milano e, dopo un primo periodo al CNR, ho svolto qui tutta la mia carriera. Mi sono sempre occupato di analisi ed elaborazione dei segnali audio e visivi, inizialmente per applicazioni industriali e per la codifica di immagini e video.

Da circa vent’anni ci occupiamo anche di ricostruire la storia di un contenuto multimediale: se è originale, quali elaborazioni ha subito e in che modo è stato modificato. Poiché i metadati possono essere stati cancellati o alterati, è necessario osservare ed analizzare direttamente immagini, video e tracce audio.

Negli ultimi quattro o cinque anni lo scenario è cambiato ulteriormente. Con la possibilità di generare contenuti da zero a partire da testi o esempi, la ricerca si è progressivamente spostata verso il riconoscimento dei contenuti sintetici.

Paolo Bestagini: Anche il mio percorso si è sviluppato interamente all’interno del Politecnico di Milano: laurea triennale e magistrale in Ingegneria delle Telecomunicazioni, dottorato in Information Technology, alcuni anni di ricerca post-dottorato e poi le diverse fasi della carriera accademica, fino al ruolo di professore associato.

Lavoro sugli stessi temi descritti da Stefano, con un’attenzione particolare allo sviluppo e all’implementazione software degli algoritmi, che nel tempo sono diventati sempre più sofisticati.

Stefano Tubaro: Abbiamo partecipato a due sottoprogetti del PNRR: FunMedia, parte di RESTART, dedicato soprattutto al riconoscimento di audio sintetico; e FF4All, all’interno di SERICS, concentrato principalmente su immagini e video.

I risultati ci permettono di distinguere con probabilità molto elevate i contenuti naturali da quelli sintetici, anche quando l’alterazione riguarda solo una parte del file: per esempio poche parole in una registrazione o una porzione di un’immagine o di un video, modificata per cambiarne il significato semantico.

Paolo Bestagini: È una domanda sempre più complessa. Nei primi deepfake alcune incongruenze erano visibili anche a occhio nudo, come l’assenza dello sbattere delle palpebre o la mancata sincronizzazione tra labbra e parlato. Oggi, però, i risultati sono molto più realistici e questi indizi non sono più sufficienti.

Per questo si cerca spesso di rispondere all’intelligenza artificiale con l’intelligenza artificiale, analizzando grandi quantità di contenuti naturali e sintetici per individuare differenze impercettibili. 

Nelle immagini e nei video, per esempio, un sistema generativo può lasciare particolari pattern di rumore oppure, al contrario, in una fotografia acquisita da una macchina fotografica possiamo cercare le tracce caratteristiche del dispositivo, che sono difficili da ritrovare in un’immagini sintetica. Nell’audio si analizzano invece le frequenze e il loro andamento nel tempo.

In alcuni lavori abbiamo affrontato anche un problema più specifico: le voci clonate. 
In questi casi abbiamo costruito una sorta di profilo della persona, raccogliendo i fonemi pronunciati nei suoi diversi discorsi. La traccia da analizzare veniva poi scomposta e confrontata con questo insieme di riferimenti, alla ricerca di deviazioni che potessero indicare una sintesi artificiale.

Stefano Tubaro: All’inizio si cercavano soprattutto incongruenze semantiche, come una voce troppo metallica o un’ombra non coerente con la luce. Oggi, poiché i modelli commettono meno errori evidenti, ci concentriamo su tracce infinitesime e invisibili all’occhio umano: piccoli pattern di rumore, simili a quelli che emergono in una fotografia scattata con poca luce, che possono essere caratteristici del sistema generativo utilizzato.

Stefano Tubaro: Procediamo per fasi: prima verifichiamo se il contenuto è naturale, manipolato o sintetico; poi cerchiamo di capire con quale tecnica o modello è stato prodotto. In passato potevano bastare errori evidenti: in un video di un elefante che camminava in Piazza Duomo, per esempio, in alcuni fotogrammi comparivano cinque zampe, segnale immediato della natura sintetica del contenuto.

Oggi anomalie simili sono molto meno frequenti. Per questo separiamo il contenuto visibile dell’immagine da tracce impercettibili, come piccoli pattern di rumore caratteristici dei diversi sistemi generativi. In alcuni casi, queste tracce permettono non solo di riconoscere che un contenuto è sintetico, ma anche di individuare il modello che lo ha generato.

Paolo Bestagini: Il nostro lavoro parte dalla ricerca e dalla proposta di nuovi algoritmi. Su questi algoritmi sviluppiamo poi un software: prendiamo l’immagine, il video o la traccia audio, li analizziamo attraverso il programma e cerchiamo di estrarre le caratteristiche utili alla valutazione.

Stefano Tubaro: Esistono realtà industriali che offrono servizi per analizzare un file e indicare, con un determinato livello di probabilità, se sia naturale o sintetico.

In ambito audio e video è particolarmente utile poterlo fare in tempo reale, per esempio durante una telefonata sospetta o una videoconferenza in cui voce e immagine potrebbero essere generate artificialmente. Verificare se dall’altra parte ci sia una persona reale ha quindi applicazioni molto concrete.

Paolo Bestagini: Dipende dalla tecnica utilizzata. Alcuni sistemi funzionano molto bene in ambiti circoscritti: riconoscono un determinato artefatto con grande affidabilità, ma non necessariamente sono in grado di interpretare tutto ciò che non appartiene a quella casistica.

Il problema è che possono comparire continuamente nuove tecnologie di generazione. Un detector efficace oggi rischia quindi di diventare obsoleto. Bisogna raccogliere nuovi esempi, aggiornare i dati e addestrare nuovamente il software, oppure sviluppare nuove versioni da utilizzare insieme a quelle precedenti.

Il paragone più immediato è quello con un antivirus. Un antivirus installato oggi protegge da determinate minacce e può individuare anche alcune anomalie future, ma, se non viene aggiornato per un anno, probabilmente sarà molto meno efficace contro virus completamente nuovi.

Stefano Tubaro: Adottiamo un approccio conservativo: dichiariamo autentico un contenuto solo quando troviamo molte tracce che ne attestano la veridicità. In caso contrario segnaliamo l’incertezza, anche se non possiamo identificare il modello che lo ha generato o affermare con certezza che sia sintetico, e si possono avviare ulteriori verifiche.

Stefano Tubaro: La separazione è molto meno netta di quanto sembri. Un sistema di intelligenza artificiale può rigenerare un’immagine in modo apparentemente identico e anche uno smartphone applica numerose elaborazioni prima di mostrarci una fotografia. Stabilire che cosa sia “vero” o “falso” non è quindi sempre semplice.

È però importante essere consapevoli che fotografie, video e registrazioni audio possono essere sintetici o manipolati. Non possiamo più considerarli automaticamente una rappresentazione diretta della realtà: dobbiamo evitare di accettarli in modo acritico.

Stefano Tubaro: Possiamo cercare altre fonti per verificare se l’evento rappresentato sia realmente avvenuto e controllare la coerenza tra l’immagine e il testo che la accompagna. Sono verifiche semplici, ma aiutano a osservare più consapevolmente ciò che abbiamo davanti.

Paolo Bestagini: Nel caso delle telefonate, uno dei primi elementi a cui prestare attenzione è la fretta. Chi vuole ingannare una persona spesso cerca di non lasciarle il tempo di riflettere e la spinge a prendere una decisione immediata. Quando qualcuno ci mette sotto pressione, il primo passo dovrebbe essere fermarsi e fare un passo indietro.

Un’altra possibilità è invertire la comunicazione: interrompere la telefonata e richiamare direttamente la persona attraverso il numero che già conosciamo. In questo modo possiamo verificare se stavamo davvero parlando con lei.

Si possono anche porre domande molto personali, relative a informazioni che soltanto il vero interlocutore dovrebbe conoscere. Sono accorgimenti semplici, che non richiedono strumenti tecnologici, ma possono aiutare a sventare una truffa.

Molti tentativi funzionano non perché siano perfetti, ma perché possono essere prodotti in grandi quantità e con costi molto bassi. È sufficiente che una percentuale minima delle persone contattate cada nell’inganno. Fermarsi per qualche secondo e prestare attenzione alle incongruenze può quindi essere già molto utile.

Stefano Tubaro: Quando sono comparsi i primi sistemi capaci di generare immagini e audio, la qualità era ancora ridotta ma il ritmo di miglioramento faceva prevedere che presto avrebbero prodotto contenuti indistinguibili, almeno per una persona, da quelli naturali.

Anche alcuni colleghi statunitensi con cui collaboravamo in progetti finanziati dalla DARPA, l’agenzia di ricerca del Dipartimento della Difesa degli Stati Uniti, ci hanno spinto in questa direzione: già tra il 2019 e il 2020 consideravano i contenuti sintetici un problema destinato a diventare centrale.

Un fattore decisivo è stato l’aumento della potenza di calcolo. Principi formulati già negli anni Sessanta e Settanta sono diventati applicabili grazie a dispositivi più potenti e all’uso delle schede grafiche per eseguire grandi quantità di calcoli, anche se con consumi energetici ancora elevati.

Paolo Bestagini: Il falso, in realtà, non è un fenomeno nuovo. Esistono fotografie manipolate fin dagli inizi della fotografia: immagini storiche in cui un volto veniva sovrapposto al corpo di un’altra persona oppure in cui soggetti e sfondi provenivano da scatti differenti.

Successivamente sono arrivati Photoshop, i servizi online e le applicazioni per smartphone. Oggi l’intelligenza artificiale rende la creazione di falsi accessibile a un numero molto più ampio di persone. La vera novità non è tanto l’esistenza del falso, quanto la sua diffusione.

Paolo Bestagini: Esistono già tecniche che inseriscono una sorta di firma nella fotografia nel momento in cui viene scattata. La firma può essere verificata da un’autorità e permette di attestare che l’immagine proviene da un determinato dispositivo e che non è stata modificata successivamente.

Soluzioni simili vengono adottate anche da alcuni strumenti che producono immagini sintetiche in modo non malevolo. Il file può contenere un certificato che segnala che l’immagine è stata generata da quel sistema.

Non è però una soluzione definitiva. Se faccio uno screenshot dell’immagine oppure la fotografo nuovamente, il certificato incorporato nel file originale può andare perduto. Anche in questo caso è possibile aggirare il sistema, ma la certificazione dell’origine rappresenta comunque una delle direzioni su cui si sta lavorando.

Paolo Bestagini: Dobbiamo entrare nell’ottica che quasi tutti i contenuti, prima o poi, saranno in qualche modo elaborati. Anche la fotografia prodotta da uno smartphone non è una rappresentazione completamente neutra della scena: contiene moltissimo processing.

La domanda, quindi, potrebbe non essere più soltanto se un contenuto sia vero o falso, ma se sia stato modificato per influenzare una decisione o cambiare il significato di ciò che rappresenta. Dovremo distinguere tra elaborazioni che non alterano il senso della scena e interventi che producono invece un impatto semantico.

Sarà inoltre necessario analizzare congiuntamente tutte le informazioni relative a un evento: le immagini, il testo che le accompagna, le registrazioni audio e gli altri contenuti associati. Solo mettendo questi elementi in relazione possiamo capire se una notizia viene presentata correttamente oppure se è costruita per indurre una determinata interpretazione.

Questo richiederà uno sguardo più ampio e probabilmente anche nuove collaborazioni. Alle competenze ingegneristiche dovranno affiancarsi competenze umanistiche, per esempio nell’ambito della semiotica e dello studio degli impatti sociali.

Stefano Tubaro: Una fotografia autentica può accompagnare una notizia che riguarda tutt’altro e contribuire così a una falsa informazione: in questo caso è il contesto, non il singolo contenuto, a modificarne il significato.

Se la maggior parte delle immagini viene elaborata, limitarsi a stabilire se siano vere o false rischia di diventare poco utile. All’inizio potevamo pensare di fermare i falsi prima della pubblicazione; oggi è difficile bloccare preventivamente l’intero fenomeno. Occorre quindi analizzare ciò che circola e ricostruirne il contesto, sapendo che un’immagine falsa può produrre un effetto anche dopo che ne è stata dimostrata la falsità.

La ricerca dovrà quindi continuare a sviluppare strumenti tecnici, ma anche interrogarsi sulle trasformazioni culturali e sociali prodotte da queste tecnologie.

Riconoscere un falso non significa più inseguire un confine immobile tra ciò che è naturale e ciò che è sintetico. Significa aggiornare continuamente i sistemi di analisi, incrociare fonti e linguaggi e comprendere il ruolo che un contenuto assume nel contesto in cui viene utilizzato. Perché un’immagine può essere modificata senza voler ingannare, mentre una fotografia tecnicamente autentica può essere impiegata per raccontare qualcosa che non è mai accaduto. La prossima frontiera della ricerca sarà capire non soltanto come un contenuto è stato prodotto, ma anche come può influenzare il nostro modo di interpretare la realtà.