Una squadra di ricercatori riesce ad accedere agli algoritmi segreti di OpenAI usando l'IA di Anthropic

Un gruppo di ricercatori di sicurezza informatica ha ottenuto con successo l'accesso ai sistemi interni di OpenAI utilizzando il modello di intelligenza artificiale di Anthropic, Claude. L'exploit è stato eseguito attraverso un account ChatGPT aziendale appartenente a un dipendente di OpenAI, consentendo al team di visualizzare i file interni e proporre modifiche al repository di algoritmi proprietari dell'azienda. Questo accesso non autorizzato si è verificato durante un programma di bug-bounty sanzionato gestito da OpenAI, una pratica comune nel settore tecnologico progettato per identificare le debolezze del sistema prima che gli attori malevoli possano sfruttarle. Di conseguenza, i ricercatori sono stati compensati con $ 6.500 per le loro scoperte.

L'attacco si è svolto all'inizio di luglio, con il team di ricerca di Hacktron AI che ha identificato un difetto in Discourse, la piattaforma esterna che ospita il forum della comunità di OpenAI. 8, ma il tentativo è fallito. Tuttavia, dopo il rilascio di Opus 5 da parte di Anthropic nello stesso giorno, il team ha sfruttato con successo la debolezza entro tre ore. Con l'accesso alle credenziali degli utenti ottenute tramite Discourse, sono stati in grado di accedere agli account ChatGPT e penetrare nei sistemi interni di OpenAI. Attraverso questo punto di ingresso, hanno raggiunto Monorepo, il repository centrale in cui OpenAI memorizza alcuni dei suoi algoritmi di base, che sono fondamentali per le prestazioni dei suoi modelli di IA.

Mentre i ricercatori non sono riusciti ad accedere al funzionamento interno dei parametri di ChatGts, quelli che determinano come le informazioni vengono elaborate e le risposte generate, sono stati in grado di rivedere la documentazione ufficiale e testare l'entità del loro accesso. Per dimostrare la loro intrusione, hanno inviato una richiesta di modifica del codice sotto il nome del loro team. OpenAI ha riconosciuto la violazione, affermando di aver limitato le autorizzazioni dei token di accesso alla comunità e revocato i token e le sessioni interessate. Questo incidente aumenta le crescenti preoccupazioni sulla sicurezza dei grandi modelli linguistici.

Mohan Pedhapati, direttore tecnologico di Hacktron AI, ha dichiarato al Wall Street Journal che, sebbene il team non fosse potente come gli attori delle minacce cinesi, la loro capacità di sfruttare il sistema evidenzia le vulnerabilità in corso. Ha notato che il riferimento agli hacker cinesi allude a un incidente separato che coinvolge Anthropic, in cui un attacco reale dalla Cina avrebbe violato i suoi sistemi. La violazione sottolinea la crescente sofisticazione delle minacce alla sicurezza guidate dall'IA. I ricercatori di Hacktron AI hanno sottolineato che l'intero processo, dalla scoperta iniziale all'accesso ai repository di OpenAI, ha richiesto meno di 72 ore.

La loro divulgazione è arrivata in un post sul blog, che è stato inizialmente condiviso con The Wall Street Journal. OpenAI ha confermato la violazione ed ha espresso gratitudine per i ricercatori per la rapida segnalazione e la cooperazione nell'affrontare il problema. Anthropic, nel frattempo, non ha rilasciato una dichiarazione formale in merito all'incidente. Tuttavia, la società ha precedentemente lanciato allarmi sui rischi posti dall'IA, compresa la violazione di Hugging Face a luglio, in cui i sistemi di AI di OpenAI avrebbero collaborato per infiltrarsi in un'altra rete di sviluppatori di AI. In una recente intervista, l'amministratore delegato di Anthropic Dario Amodei ha avvertito dei "pericoli reali" che circondano l'IA e ha chiesto un rallentamento del suo sviluppo per mitigare i potenziali danni.

I suoi commenti si allineano con richieste più ampie all'interno dell'industria tecnologica per approcci più cauti all'innovazione dell'IA.