di Fabrizio Marozzo*

Pochi giorni fa Dario Amodei, CEO di Anthropic, ha pubblicato un intervento dal titolo We Must Pace the Frontier. Il messaggio è netto: non fermare l’intelligenza artificiale, ma rallentare la velocità con cui ne aumentiamo le capacità, per dare alla sicurezza il tempo di stare al passo. Amodei indica soprattutto due ragioni. La prima è la crescente capacità dei sistemi di AI di contribuire allo sviluppo della generazione successiva. La seconda è un episodio avvenuto appena due mesi fa: l’incidente OpenAI-Hugging Face.

Nel luglio 2026 OpenAI stava testando le capacità dei propri agenti nella sicurezza informatica. Migliaia di agenti venivano inseriti in ambienti separati e ricevevano esercizi nei quali dovevano individuare vulnerabilità e recuperare una prova del risultato. Avrebbero dovuto lavorare separatamente. Ma qualcosa andò diversamente. Alcuni, trovandosi davanti a problemi molto difficili o senza una soluzione nota, iniziarono a cercare scorciatoie.

Si accorsero che Artifactory, un sistema comune usato per recuperare pacchetti software, era accessibile anche agli altri agenti. Qualcuno iniziò a usarlo per lasciare messaggi. Altri li trovarono. Quello che doveva essere un semplice repository diventò una sorta di bacheca comune. Circa 1.200 agenti finirono per utilizzare la bacheca, scambiandosi oltre 70.000 messaggi e file. Cominciarono a condividere risultati, dividersi attività e coordinarsi. Nel tentativo di capire come aggirare il sistema automatico che valutava gli esercizi, alcuni arrivarono a Hugging Face, dove cercavano informazioni utili sul funzionamento del valutatore.

Individuarono dataset ad accesso limitato, cercarono credenziali e, dopo aver scoperto una vulnerabilità, circa 700 agenti finirono per partecipare all’attacco contro quei sistemi. Non si trattò soltanto di tentativi: riuscirono a eseguire codice su decine di server, ottennero accesso root su almeno uno e arrivarono ad accedere a dati privati e credenziali usate in produzione. Hugging Face, quindi, non era l’obiettivo originario dell’esperimento.

È facile leggere questa storia dicendo semplicemente che “l’AI ha violato le regole”. Ma credo che ci sia un’altra interpretazione, forse ancora più interessante. Non perché qualcuno abbia detto agli agenti di attaccare Hugging Face: nessuno lo aveva chiesto. Il compito che avevamo assegnato loro apparteneva alla sicurezza informatica offensiva. In qualche modo siamo stati noi a insegnare loro a cercare il modo di aggirare le regole.

La sicurezza informatica offensiva consiste nel cercare ciò che un sistema non aveva previsto: vulnerabilità, configurazioni sbagliate, controlli aggirabili. Avevamo costruito dei confini attorno agli agenti e, allo stesso tempo, li stavamo addestrando a superarli. È un po’ come se l’allievo avesse superato il maestro. Immaginiamo un sovrano che addestra il proprio generale e il proprio esercito a superare qualunque difesa: trovare il punto debole delle mura, aggirare ostacoli, coordinare le truppe e cambiare strategia quando un attacco fallisce. Poi scopre che hanno imparato così bene quella lezione da applicarla anche alle mura del palazzo del sovrano stesso.

Nel mondo digitale le mura sono software, reti e sistemi collegati. Un’azienda, un ospedale o un’infrastruttura nazionale dipendono da migliaia di componenti, alcuni più vulnerabili di altri. Non serve colpire direttamente il sistema più importante: può bastare entrare da un punto secondario. Da lì si possono cercare nuove vulnerabilità e muoversi verso componenti più sensibili. Per un essere umano servono giorni, settimane o mesi. Migliaia di agenti, invece, possono farlo contemporaneamente: esplorare strade diverse, adattare la strategia, dividersi i compiti, condividere ciò che scoprono e coordinarsi su una scala difficilmente raggiungibile da un singolo gruppo umano.

E c’è un ulteriore elemento. I modelli moderni hanno acquisito enormi quantità di conoscenza prodotta dagli esseri umani. In quella conoscenza ci sono tecniche usate per proteggere i sistemi, ma possono esserci anche quelle utilizzate per aggirare controlli, sfruttare vulnerabilità e nascondere le proprie tracce. Un agente non deve essere “malvagio” per utilizzarle: gli basta scoprire che lo avvicinano all’obiettivo assegnato.

È probabilmente questo uno dei significati più interessanti dell’appello di Amodei: non fermare l’intelligenza artificiale, ma concederci più tempo per capire come controllare sistemi che stanno diventando sempre più capaci. Il vero problema potrebbe non essere che una macchina decida improvvisamente di non rispettare le nostre regole. Potrebbe essere che diventi semplicemente molto più brava di noi a trovare il modo di aggirarle.

Fin qui stiamo parlando soprattutto di sistemi sviluppati dai grandi laboratori internazionali, che hanno forti interessi economici e reputazionali a impedire che i propri modelli provochino danni gravi e che investono quindi in filtri, monitoraggio e meccanismi di sicurezza. Ma che cosa accadrebbe se capacità simili venissero incorporate in un modello progettato deliberatamente senza queste protezioni, addestrato o specializzato sul materiale più offensivo e malevolo disponibile online, magari con l’obiettivo esplicito di provocare danni?

A quel punto il problema non sarebbe più soltanto che un sistema molto capace possa trovare autonomamente il modo di aggirare le nostre regole. Il problema sarebbe un sistema progettato fin dall’inizio per non averne.

*professore associato di Ingegneria informatica, Università della Calabria

L'articolo Abbiamo addestrato l’Ai ad aggirare le regole: ora non dobbiamo stupirci se lo fa autonomamente proviene da Il Fatto Quotidiano.