Une faille d'architecture détectée chez GPT-5, Claude et Gemini

Une vulnérabilité critique a été découverte dans l'architecture des principaux modèles de langage, dont GPT-5, Claude et Gemini, permettant aux attaquants d'extraire des processus de pensée internes cryptés sous forme de texte clair.

Les systèmes d'IA modernes génèrent des étapes de raisonnement interne avant de produire une réponse finale, connue sous le nom de chaîne de pensée. Pour protéger ces calculs, les opérateurs chiffrent les monologues internes et les transmettent sous forme de blocs de raisonnement chiffrés au client. Lorsque des questions de suivi sont posées, l'application renvoie ce bloc au serveur pour maintenir le contexte. Cependant, cette pratique s'est avérée être une faiblesse majeure. Les chercheurs ont découvert que des entreprises telles qu'OpenAI (ChatGPT), Anthropic avec Claude et Google (Gemini) semblent utiliser des clés de chiffrement universelles pour leurs familles de modèles.

Cela signifie qu'un bloc de pensée crypté n'est pas lié à un utilisateur, une session ou un modèle spécifique. Exploitant cette compatibilité, les chercheurs ont utilisé des variantes plus petites de ces modèles, telles que Claude Haiku ou des dérivés GPT plus petits, comme aides de déchiffrement. Ils ont inséré un bloc de pensée crypté d'un modèle phare dans une requête dirigée vers un modèle moins puissant, lui demandant de lire le contenu à haute voix. Le modèle plus faible a agi comme un oracle de déchiffrement inconscient, révélant l'ensemble du processus de pensée en texte brut. Selon l'étude, les attaquants peuvent contourner entièrement les restrictions des modèles de premier niveau en transmettant un bloc de pensée crypté.

Ils exploitent le modèle plus faible simplement comme un oracle de déchiffrement inconscient. Les implications vont au-delà des préoccupations théoriques. L'équipe de recherche a démontré la faisabilité de la vulnérabilité par l'analyse de données du monde réel. En examinant les référentiels de code source et les fichiers journaux accessibles au public, ils ont trouvé un total de 315 320 blocs de pensée cryptés que les développeurs avaient partagés par inadvertance. Beaucoup d'entre eux étaient perçus comme des chaînes de caractères incompréhensibles, donnant aux utilisateurs un faux sentiment de sécurité. Le déchiffrement a révélé des quantités alarmantes d'informations sensibles.

Parmi les découvertes, 367 identifiants personnels, 182 identifiants de connexion, 62 clés API, 33 mots de passe en texte clair et 30 adresses électroniques privées. Dans de nombreux cas, les processus de pensée cachés contenaient des informations encore plus sensibles que la réponse finale générée par le système d'IA lui-même. La portée du problème va au-delà de l'exposition des informations d'accès. Grâce à des blocs de pensée préparés, les attaquants pourraient également effectuer des injections rapides cachées, intégrer du code malveillant de manière invisible dans le contexte de l'IA ou cloner des capacités de modèle sans autorisation. Les chercheurs ont informé les entreprises affectées de leurs découvertes au préalable, permettant aux fournisseurs de mettre en œuvre des contre-mesures initiales.

Néanmoins, l'incident souligne que tant que le cryptage n'est pas strictement lié à une session spécifique, la simple illégalité pour les utilisateurs finaux n'offre aucune véritable protection.