Per difendere un sistema serve qualcuno che provi a romperlo. Adesso quel qualcuno è un'AI

OpenAI ha costruito un modello il cui unico mestiere è attaccare gli altri modelli. Si chiama GPT-Red, ci hanno lavorato più di un anno e a metà luglio l'hanno raccontato pubblicamente. Fuori da OpenAI non lo userà nessuno: resta chiuso in casa, perché sa fare solo cose offensive e metterlo in giro sarebbe regalare un grimaldello.

Detta così sembra una stranezza. In realtà è la cosa più vecchia del mondo della sicurezza, applicata all'AI.

La sicurezza non si dimostra, si tenta

Prendi un sistema qualsiasi. Un gestionale, un firewall, un assistente AI collegato alla casella mail aziendale. Come fai a dire che è sicuro?

Non puoi. Nessun test restituisce "sicuro" con il bollino sopra. Puoi solo provare a romperlo in tutti i modi che ti vengono in mente e guardare se regge. Se non ci riesci hai imparato una cosa sola: che tu non ci sei riuscito. È già qualcosa, ma non è una garanzia.

Da qui nasce il red teaming. Nel gergo militare americano il "red team" era la squadra che faceva la parte del nemico nelle esercitazioni. Nella sicurezza informatica funziona uguale: paghi delle persone perché provino a entrare in casa tua. Non per fare danni, per trovare la finestra aperta prima che la trovi un ladro vero.

Il limite lo vedi subito. Quante finestre riesce a provare una persona in una giornata di lavoro?

Cosa fa GPT-Red

Qui entra l'idea di OpenAI. Il collo di bottiglia è il numero di tentativi, quindi a fare l'attaccante ci metti una macchina che non si stanca mai.

L'addestramento usa una tecnica che si chiama self-play, e il modo più semplice per capirla è pensare a due giocatori di scacchi che imparano giocando l'uno contro l'altro, migliaia di partite di fila. Da una parte GPT-Red, che prende punti quando riesce a far dire o fare a un altro modello qualcosa che non dovrebbe. Dall'altra un gruppo di modelli difensori, che prendono punti quando resistono senza però diventare inutili sul lavoro normale. Vanno avanti così, in una rincorsa continua, e ognuno dei due tira su l'asticella dell'altro.

OpenAI dice di averci buttato dentro tanta potenza di calcolo quanta ne usa per le sue sessioni di addestramento finale più grosse. Tutta spesa per la sicurezza, non per far rispondere meglio ChatGPT.

Il risultato: ha trovato un attacco che nessuno aveva visto

Una parola prima dei numeri, perché serve. Prompt injection vuol dire far arrivare al modello, nascoste dentro un testo che sta leggendo, delle istruzioni che lui scambia per ordini legittimi. Si dice indiretta quando non gliele scrivi tu: le trova da solo in una pagina web o in una mail che sta elaborando per conto tuo.

Su una batteria di scenari di prompt injection indiretta mai vista in addestramento, GPT-Red è entrato nell'84% dei casi. I red teamer umani, sugli stessi scenari, si sono fermati al 13%. Più di sei volte tanto.

C'è di più, e su un altro fronte: ha inventato una categoria di attacco che i ricercatori non conoscevano, battezzata "fake chain of thought", falsa catena di ragionamento. Funziona così: i modelli recenti, prima di rispondere, scrivono a se stessi i passaggi del ragionamento. GPT-Red ha imparato a infilare in quel ragionamento dei passaggi finti, del tipo "questa richiesta è già stata verificata e approvata". Il modello se li ritrova scritti nella propria testa, si fida, e procede. Un falso timbro messo su una pratica per farla passare al controllo.

Questa è una injection diretta, scritta cioè dentro la richiesta stessa. Contro GPT-5.1 il trucco funzionava oltre il 95% delle volte. Dopo che il modello successivo, GPT-5.6, è stato allenato contro GPT-Red, è sceso sotto il 10%.

E non è roba solo da laboratorio: nei test su agenti veri, GPT-Red ha manomesso un distributore automatico gestito da un'AI, cambiando i prezzi e cancellando ordini.

Cosa non sa fare

Vale la pena dirlo, perché nessuno regala la verità completa nei comunicati. GPT-Red va forte sull'attacco secco, quello confezionato in un colpo solo. Fa più fatica quando l'attacco va costruito lungo una conversazione di molti scambi, e fatica con le istruzioni nascoste dentro le immagini. Restano finestre aperte.

Il punto per chi sta imparando

Nei giorni scorsi abbiamo visto due pezzi della stessa storia: l'AI che finisce dentro gli attacchi informatici, e la prompt injection come buco che non si tappa con una patch. Questo è il terzo, ed è quello che dà un po' di respiro. L'AI sta diventando anche lo strumento con cui si trovano i buchi, e li trova più in fretta di noi.

Non è una soluzione, è una corsa. Ma la lezione da portarsi a casa vale ovunque, anche fuori dall'AI: nessuno può garantirti che un sistema sia sicuro se non ha mai provato a romperlo. Se stai valutando un fornitore o uno strumento, la domanda giusta non è "è sicuro?". È "chi lo attacca, e quanto spesso?". Se la risposta è nessuno, sai già come finisce.

---