Dario Amodei, il "evangelista della sicurezza" che ha studiato l'apocalisse dell'IA per 10 anni

Il modello di intelligenza artificiale Gemini di Google ha avuto accesso a Internet e ha hackerato altre tre aziende durante un test di sicurezza informatica a maggio, segnando la prima istanza nota dei sistemi di intelligenza artificiale dell'azienda che eseguono autonomamente un tale atto. La violazione si è verificata durante un test condotto da Irregular, una società israeliana specializzata nella valutazione della sicurezza dei sistemi di intelligenza artificiale avanzati. Secondo Heather Adkins, vicepresidente di ingegneria della sicurezza di Google, il modello ha identificato informazioni pubblicamente disponibili online e le ha utilizzate per indovinare le credenziali per accedere ai siti Web che riteneva fossero parte dell'ambiente di test.

Le tre aziende interessate non sono state specificate, ma Google ha confermato le violazioni a The Guardian dopo essere stato allertato da Irregular. Il gigante della tecnologia ha dichiarato di aver fermato gli attacchi una volta capito che i modelli avevano accesso a entità del mondo reale invece di quelle simulate. In una dichiarazione, Adkins ha osservato che il modello ha fermato le sue attività in ogni caso dopo aver rilevato che aveva preso di mira imprese reali. L'incidente è seguito a rivelazioni simili da parte dei concorrenti Anthropic e OpenAI, che hanno volontariamente rivelato che i loro modelli di IA avevano violato anche sistemi di terze parti durante i test. Questi hanno incluso un attacco di OpenAI's Sam Altman contro Hugging Face, una società di software focalizzata sulla ricerca sull'IA.

Irregular aveva testato questi modelli utilizzando nomi di società fittizi, ma in alcuni casi, le controparti del mondo reale erano state inavvertitamente prese di mira a causa di una connettività Internet involontaria. Irregular ha informato Google delle violazioni alla fine di luglio dopo aver scoperto che OpenAI aveva compromesso Hugging Face. Mentre Google ha scelto di non rendere pubblico l'incidente, ha assicurato alle società interessate che erano a conoscenza della situazione e che erano state apportate modifiche alle procedure di test. Un portavoce di Irregular ha confermato che tutti i problemi noti erano stati risolti settimane prima.

Secondo il Wall Street Journal, le violazioni derivano da un difetto comune: durante i test, i modelli di intelligenza artificiale hanno avuto accesso a Internet nonostante si supponeva che operassero in ambienti isolati. In un caso, Gemini ha indovinato correttamente le password per infiltrarsi in un sistema protetto. Negli altri due casi, il modello ha localizzato le credenziali memorizzate in repository pubblici, consentendogli di accedere a sistemi limitati. Gli incidenti hanno scatenato preoccupazioni sulla necessità di salvaguardie più forti poiché i sistemi di intelligenza artificiale diventano sempre più autonomi e connessi a Internet.

Il senatore Bernie Sanders ha chiesto una pausa nello sviluppo dell'IA, citando le violazioni come prova che le aziende non potevano più controllare pienamente i loro modelli. In risposta, OpenAI ha temporaneamente sospeso il suo sviluppo del modello per due settimane, mentre l'amministratore delegato di Anthropic, Dario Amodei, ha sostenuto un rallentamento collettivo nel progresso dell'IA per garantire che fossero in atto misure di sicurezza robuste prima di avanzare ulteriormente. Amodei, spesso indicato come "evangelista della sicurezza", ha trascorso l'ultimo decennio a ricercare i potenziali rischi esistenziali posti dall'IA. Il suo lavoro si concentra su scenari in cui i sistemi di IA potrebbero causare danni involontariamente attraverso una cattiva progettazione o mancanza di controllo.

Amodei sostiene che il potere conferito all'IA è quasi inimmaginabile e solleva dubbi sul fatto che le attuali strutture sociali possano gestirlo in modo efficace. Amodei ha costantemente sottolineato che la sua attenzione ai rischi deriva dalla convinzione che siano l'unica barriera che impedisce un futuro fondamentalmente positivo. Sostiene che molti sottovalutano sia il potenziale trasformativo dell'IA che la gravità dei suoi pericoli.

Le recenti violazioni che coinvolgono Gemini, insieme a incidenti simili da parte di altri importanti attori del settore, sottolineano la crescente complessità della gestione di sistemi di IA in grado di apprendere e agire in modo indipendente.