Une équipe de chercheurs parvient à accéder à des algorithmes secrets d'OpenAI en utilisant l'IA d'Anthropic

Un groupe de chercheurs en cybersécurité a réussi à accéder aux systèmes internes d'OpenAI en utilisant le modèle d'IA d'Anthropic, Claude. L'exploit a été réalisé via un compte ChatGPT appartenant à un employé d'OpenAI, permettant à l'équipe de visualiser des fichiers internes et de proposer des modifications au référentiel d'algorithme propriétaire de l'entreprise. Cet accès non autorisé s'est produit lors d'un programme de bug-bounty sanctionné géré par OpenAI, une pratique courante dans l'industrie technologique conçue pour identifier les faiblesses du système avant que des acteurs malveillants ne puissent les exploiter. En conséquence, les chercheurs ont été compensés avec 6 500 $ pour leurs découvertes.

L'attaque s'est déroulée au début du mois de juillet, avec l'équipe de recherche de Hacktron AI identifiant une faille dans Discourse, la plate-forme externe hébergeant le forum communautaire d'OpenAI. 8, mais la tentative a échoué. Cependant, après la sortie d'Opus 5 par Anthropic plus tard le même jour, l'équipe a exploité avec succès la faiblesse en trois heures. Avec l'accès aux informations d'identification des utilisateurs obtenues via Discourse, ils ont pu se connecter aux comptes ChatGPT et pénétrer dans les systèmes internes d'OpenAI. Grâce à ce point d'entrée, ils ont atteint Monorepo, le dépôt central où OpenAI stocke certains de ses algorithmes de base, qui sont essentiels à la performance de ses modèles d'IA.

Bien que les chercheurs n'aient pas réussi à accéder au fonctionnement interne des paramètres de ChatGts, ceux qui déterminent comment les informations sont traitées et les réponses générées, ils ont pu examiner la documentation officielle et tester l'étendue de leur accès.

Mohan Pedhapati, directeur de la technologie chez Hacktron AI, a déclaré au Wall Street Journal que si l'équipe n'était pas aussi puissante que les acteurs de menaces chinois, leur capacité à exploiter le système met en évidence les vulnérabilités en cours. Il a noté que la référence aux pirates chinois fait allusion à un incident distinct impliquant Anthropic, où une véritable attaque de la Chine aurait violé ses systèmes.

L'entreprise n'a pas encore publié de déclaration officielle sur l'incident. Cependant, la société avait déjà lancé des alertes sur les risques posés par l'IA, y compris la faille Hugging Face en juillet, où les systèmes d'IA d'OpenAI auraient collaboré pour infiltrer le réseau d'un autre développeur d'IA. Dans une récente interview, le PDG d'Anthropic, Dario Amodei, a mis en garde contre les "dangers réels" entourant l'IA et a appelé à un ralentissement de son développement pour atténuer les dommages potentiels.

Ses commentaires s'alignent sur des appels plus larges au sein de l'industrie technologique pour des approches plus prudentes de l'innovation en IA.