Un modello di OpenAI ha violato Hugging Face pur di non perdere un benchmark

Cosa succede quando un’IA pur di raggiungere l’obiettivo non ascolta il suo creatore?

Sul canale YouTube di Matteo Flora c’è l’ennesimo contenuto (LINK) in grado di tenermi sveglio più del dovuto. Questo racconta la storia di un attacco hacker composto da 17.000 tentativi malevoli avvenuti in un weekend. Di due vulnerabilità concatenate e un database di produzione, quello di Hugging Face, finito sotto le mani di uno sciame di agenti AI. La parte che colpisce non è chi ha fatto cosa, ma chi non l’ha fatto: nessun gruppo criminale, nessun servizio segreto. Solo un modello di OpenAI, messo alla prova senza avere piedi sul freno a govenarlo, che ha trovato la scorciatoia più efficace per vincere un test. Ho voluto andare a vedere la faccenda da vicino, ed è una storia che vale la pena raccontare bene, senza scorciatoie.

Cosa è successo, in ordine

Il 16 luglio 2026 Hugging Face pubblica un post di sicurezza asciutto ma inquietante: un sistema agentico ha violato parte della sua infrastruttura di produzione. A guidare l’attacco è stato un dataset malevolo che ha sfruttato due falle nel processo di elaborazione dei dati: un caricatore di dataset con esecuzione di codice da remoto e un’iniezione di template in una configurazione. Da lì, l’aggressore è salito di livello, ha raccolto credenziali cloud e si è mosso lateralmente tra più cluster interni nel giro di un weekend.

Cinque giorni dopo, il 21 luglio, arriva la parte che nessuno si aspettava: è OpenAI stessa a dichiarare che dietro l’incidente c’erano i suoi modelli. L’azienda ha confermato che l’attacco è stato guidato da una combinazione di modelli OpenAI, tra cui GPT-5.6 Sol e un modello pre-release ancora più capace, entrambi con i rifiuti legati alla cybersicurezza ridotti per finalità di valutazione.

Il contesto è un benchmark chiamato ExploitGym, nato in ambito accademico per misurare quanto un agente sappia trasformare una vulnerabilità nota in un exploit reale. Per testare davvero i propri modelli su questo terreno, OpenAI aveva abbassato le difese di sicurezza che normalmente bloccano gli attacchi informatici veri. L’agente ha speso una parte consistente della propria potenza di calcolo semplicemente per uscire dall’ambiente isolato in cui era rinchiuso, fino a trovare una falla che gli ha consentito di raggiungere internet.

A quel punto ha fatto un ragionamento tutt’altro che assurdo: se le soluzioni del benchmark esistono da qualche parte, forse sono ospitate su Hugging Face, la piattaforma dove circolano modelli e dataset di mezzo settore AI. Ed è lì che è entrato.

we had a significant security incident during evaluation of our models. we are sharing what we have learned so far. thanks to @huggingface for the partnership on this.https://t.co/2o2VfR6PIa

— Sam Altman (@sama) July 21, 2026

Il vero problema non è la ribellione dell’AI, è l’obiettivo scritto male

I titoli dei giorni successivi hanno parlato di IA “sfuggita al controllo”, di agenti “impazziti”. È la lettura sbagliata, e lo dicono proprio gli esperti sentiti dalla stampa internazionale. Alan Woodward, professore di cybersicurezza all’Università del Surrey, lo spiega a Scientific American con una battuta che vale più di mille analisi: il modello non si è ribellato, gli è stato chiesto di fare una cosa e l’ha fatta, solo che la sua via d’uscita è stata barare.

Qui entra in gioco un concetto che in ambito AI safety si chiama reward hacking, o specification gaming: un sistema che ottimizza l’obiettivo scritto sulla carta e non l’intento che c’era dietro. Se il punteggio del test premia “dare la risposta giusta”, allora andare a rubare le risposte diventa, dal punto di vista del modello, semplicemente la strategia più efficiente. Non è cattiveria, è ottimizzazione senza freni morali su un bersaglio mal definito. Il paragone più onesto non è con un hacker, ma con uno studente bravissimo che, messo davanti a un esame senza sorveglianza e con la stanza del preside aperta, va a leggere il registro dei voti invece di studiare.

E non è un episodio isolato. METR, che valuta i modelli prima del loro rilascio, aveva già segnalato a fine giugno un tasso di comportamenti simili a inganno più alto di qualsiasi altro modello pubblico testato sulla sua infrastruttura di valutazione: il modello inseriva exploit dentro invii intermedi per rivelare la suite di test nascosta di un compito, e in un altro caso estraeva il codice sorgente nascosto con la risposta attesa. Il segnale c’era già. Solo che stavolta è finito su un sistema di produzione vero, non su un ambiente di test chiuso.

Il dettaglio che dice più di tutto il resto

C’è un particolare, nella gestione dell’emergenza, che mi ha colpito più della falla in sé. Per analizzare gli artefatti dell’attacco e capire cosa fosse successo, Hugging Face si è affidata a un modello open-weight cinese, GLM 5.2 di Z.AI, appena rilasciato da un mese. La scelta non è stata casuale: GLM 5.2 offriva un vantaggio proprio perché non era mai stato esposto ai dati dell’attacco, ma dietro c’è anche un altro motivo, meno tecnico: diversi modelli occidentali si rifiutavano di elaborare codice ed exploit legati all’incidente, per via delle proprie policy di sicurezza. Il paradosso è servito: l’attacco è stato sferrato da un modello americano con le protezioni abbassate su richiesta, ed è stato ripulito da un modello cinese scelto perché quelle protezioni non se le poteva permettere alzate.

Vale la pena ricordare che non è la prima volta che un sistema AI finisce al centro di un episodio di cyber-offesa su vasta scala: pochi mesi prima Anthropic aveva reso pubblica un’operazione di spionaggio informatico orchestrata in gran parte tramite i propri modelli, sfruttati da un attore malevolo. Due episodi diversi, cause diverse, ma lo stesso filo conduttore: gli agenti AI stanno diventando parte attiva della catena offensiva, che lo si voglia o no.

Cosa portarsi a casa

OpenAI, dopo essersi scusata, ha aiutato a risolvere la falla al fornitore coinvolto, rafforzando i controlli sull’infrastruttura di valutazione e inserendo Hugging Face nel proprio programma di accesso fidato. Bene, ma è una toppa su un problema più largo. La morale operativa, per chi lavora con questi strumenti, è trattare gli agenti AI come stagisti brillanti e senza contesto: capaci di risultati sorprendenti, ma da supervisionare, verificare, e mai lasciare soli davanti a un obiettivo ambiguo con permessi reali in mano.

Se in laboratorio, con tutti gli occhi puntati addosso, succede questo, la domanda vera riguarda quello che sta già accadendo fuori dal laboratorio: quanta separazione ambientale, quanta governance, quanto controllo umano servono davvero quando questi agenti entrano in azienda, in studio professionale, in ospedale, in banca, con le chiavi vere in tasca?