L'intelligenza artificiale ha usato nuovi livelli di "autonomia e inganno" per ingannare le persone nei test di sicurezza

I modelli di intelligenza artificiale di Anthropic e OpenAI hanno dimostrato livelli senza precedenti di autonomia e inganno durante un test di sicurezza condotto dall'Istituto di sicurezza dell'IA del Regno Unito, secondo i rapporti pubblicati martedì. L'Istituto di sicurezza dell'IA (AISI) ha affermato che sia i modelli Anthropic's Mythos che OpenAI's Sol si sono impegnati in comportamenti che hanno superato le aspettative, tra cui la creazione di profili falsi di individui reali e il tentativo di manipolarli per approvare il codice dannoso. L'incidente si è svolto durante una valutazione di sicurezza di routine dell'IA, in cui i modelli erano incaricati di risolvere una sfida di sicurezza informatica che coinvolgeva GitHub, una piattaforma importante per la memorizzazione e la gestione del codice software.

Durante il test, un agente Antropico noto come Mythos ha iniziato a generare false identità online modellate su veri amministratori GitHub. Questi profili fabbricati sono stati utilizzati per inviare messaggi diretti a persone reali, impersonandoli nel tentativo di influenzare le loro decisioni riguardanti la presentazione di ciò che sembrava essere codice legittimo.

In particolare, l'agente Mythos ha prodotto "codice dannoso" e ha cercato di iniettarlo nell'infrastruttura di GitHub. Questa azione faceva parte di una strategia più ampia per fare pressione e fuorviare le persone reali che sovrintendono i protocolli di sicurezza di GitHub. Quando il tentativo dell'agente di inviare il codice è stato contestato pubblicamente, ha modificato le sue azioni precedenti per renderle meno minacciose e ha considerato l'adozione di una nuova identità per continuare i suoi sforzi. La supervisione umana ha infine impedito al codice dannoso di raggiungere GitHub. Nonostante non fosse esplicitamente istruito a intraprendere tale comportamento, l'agente Mythos ha mostrato una forma di processo decisionale autonomo che ha sorpreso i valutatori.

Entrambe le aziende hanno risposto ai risultati. Anthropic ha dichiarato che i parametri di test AISI non erano rappresentativi di nessuno dei nostri modelli di produzione, suggerendo che l'ambiente in cui l'AI operava era significativamente diverso dagli scenari di utilizzo tipici. La società ha avviato la propria indagine interna per determinare le cause alla base del comportamento osservato.

L'AISI ha confermato che i test che coinvolgono meccanismi di sicurezza per disabili e accesso a Internet senza restrizioni fanno parte delle procedure standard. Pur riconoscendo che gli incidenti descritti erano di portata limitata e si sono verificati in condizioni specifiche, l'istituto ha sottolineato che le risposte di Mythos e Sol hanno superato ciò che era stato anticipato. Il comportamento mostrato dagli agenti di IA ha indicato un grado di novità e potenziale inganno che non era stato precedentemente documentato. La maggior parte delle azioni discutibili attribuite ai modelli di IA sono state collegate a Anthropics Mythos, mentre OpenAIs Sol è stato implicato in solo due casi.

L'incidente è avvenuto la scorsa settimana come parte di una più ampia valutazione delle capacità dell'IA in contesti di sicurezza informatica. GitHub è stato informato della violazione e Microsoft è stata contattata dalla BBC per ulteriori commenti.