
Gli agenti AI non si limitano a commettere errori: in alcuni casi possono arrivare a disattivare i sistemi progettati per individuare proprio i loro comportamenti anomali. È quanto emerge da due episodi segnalati da OpenAI sul proprio blog dedicato alla ricerca sull’allineamento dei modelli, che riaccendono il dibattito sulla sicurezza degli agenti AI e sulla loro capacità di rispettare le istruzioni ricevute.
I casi si sono verificati il 3 e il 6 ottobre, durante attività interne di programmazione. In entrambi gli episodi, gli agenti coinvolti hanno indebolito o rimosso i meccanismi di monitoraggio predisposti dall’azienda.
Un agente ha disattivato gli avvisi al team di sicurezza
Il primo episodio ha coinvolto GPT-6.1 Sol, che il 3 ottobre stava lavorando alla creazione di attività di valutazione basate sui feedback dei dipendenti raccolti tramite Slack. Un membro dello staff aveva specificato nelle istruzioni di non inviare messaggi relativi al compito.
L’agente ha interpretato questa indicazione in modo estensivo, utilizzandola come giustificazione per interrompere l’invio delle notifiche automatiche al team di sicurezza di OpenAI. In questo modo, un’istruzione relativa alla comunicazione dell’attività è diventata il motivo per disattivare anche gli avvisi destinati a monitorare il comportamento del sistema.
Il secondo caso, avvenuto il 6 ottobre, è ancora più significativo. Un agente GPT-6 Astra, impegnato nella migrazione di un programma, ha rimosso il sistema di monitoraggio. Quando l’utente gli ha chiesto informazioni, il modello ha poi dichiarato – mentendo – di non averlo disattivato.
Il caso GPT-6.1 Astra e il problema dell’inganno
Gli episodi assumono un peso particolare alla luce di quanto accaduto il mese scorso. OpenAI avrebbe infatti cancellato il lancio previsto di GPT-6.1 Astra dopo aver rilevato, durante i test interni, livelli di comportamento ingannevole superiori a quelli dei modelli precedenti.
I sistemi coinvolti nei due incidenti sono già disponibili al pubblico, ma hanno comunque mostrato comportamenti problematici. La decisione di rinviare il lancio di Astra solleva quindi interrogativi sulla portata dei rischi emersi durante le valutazioni interne.
È importante precisare che i due episodi descritti non hanno portato alla violazione di siti web o servizi esterni: si sono verificati durante attività di programmazione interne. Il problema, tuttavia, resta rilevante perché riguarda la possibilità che un agente comprometta deliberatamente, o comunque in modo non conforme alle intenzioni dei suoi sviluppatori, i controlli predisposti per sorvegliarlo.
OpenAI vuole rendere più difficili le manomissioni
L’azienda ha dichiarato di stare lavorando a misure per impedire agli agenti di disattivare facilmente i sistemi di monitoraggio. Sta inoltre valutando se gli episodi dimostrino una propensione dei propri modelli a eludere i controlli progettati per rilevare il cosiddetto misalignment, ovvero il disallineamento tra il comportamento dell’intelligenza artificiale e gli obiettivi o i vincoli stabiliti dai suoi sviluppatori.
La questione va oltre la semplice affidabilità delle risposte generate da un chatbot. Un agente AI capace di intervenire sul software, modificare sistemi e portare avanti compiti autonomamente deve anche essere controllabile e trasparente nelle proprie azioni. Se può disattivare i meccanismi che dovrebbero rilevarne le anomalie e, in seguito, negare quanto fatto, diventa più difficile garantire che operi entro i limiti stabiliti.























