Architektur-Schwachstelle bei GPT-5, Claude und Gemini aufgedeckt

Eine kritische Schwachstelle wurde in der Architektur von führenden großen Sprachmodellen wie GPT-5, Claude und Gemini entdeckt, die es Angreifern ermöglicht, verschlüsselte interne Denkprozesse in Klartextform zu extrahieren. Der Fehler wurde von einem internationalen Forschungsteam identifiziert, das aus Wissenschaftlern von MATS Research, dem Max-Planck-Institut für Intelligente Systeme, dem Ellis-Institut Tübingen, der Universität Tübingen und Snyk besteht. Ihre Ergebnisse zeigen, dass diese Systeme trotz Sicherheitsmaßnahmen, die darauf abzielen, das Lecken sensibler Daten oder gefährlichen Wissens zu verhindern, aufgrund der Verwendung globaler Verschlüsselungsschlüssel über Modellfamilien hinweg anfällig sind.

Moderne KI-Systeme erzeugen interne Argumentationsschritte, bevor sie eine endgültige Antwort erzeugen, die als Gedankekette bekannt ist. Um diese Berechnungen zu schützen, verschlüsseln die Betreiber die internen Monologe und übertragen sie als verschlüsselte Argumentationsblöcke an den Client. Wenn Nachfragen gestellt werden, sendet die Anwendung diesen Block zurück an den Server, um den Kontext zu erhalten. Diese Praxis hat sich jedoch als eine große Schwäche erwiesen. Die Forscher entdeckten, dass Unternehmen wie OpenAI (ChatGPT), Anthropic mit Claude und Google (Gemini) universelle Verschlüsselungsschlüssel für ihre Modellfamilien verwenden.

Dies bedeutet, dass ein verschlüsseltes Denkblock nicht an einen bestimmten Benutzer, eine bestimmte Sitzung oder ein bestimmtes Modell gebunden ist. Die Forscher nutzten diese Kompatibilität aus und verwendeten kleinere Varianten dieser Modelle, wie Claude Haiku oder kleinere GPT-Derivate, als Entschlüsselungshilfen. Sie setzten einen verschlüsselten Denkblock eines Flaggschiffmodells in eine Anfrage ein, die an ein weniger leistungsfähiges Modell gerichtet war, und befahlen ihm, den Inhalt laut zu lesen. Das schwächere Modell fungierte als unwissender Entschlüsselungsorakel und enthüllte den gesamten Denkprozess in Klartext. Laut der Studie können Angreifer die Einschränkungen von Top-Tier-Modellen vollständig umgehen, indem sie einen verschlüsselten Denkblock übertragen.

Die Implikationen gehen über theoretische Bedenken hinaus. Das Forscherteam demonstrierte die Praktikabilität der Schwachstelle durch die Analyse von realen Daten. Durch die Untersuchung öffentlich zugänglicher Quellcode-Repositories und Logfiles fanden sie insgesamt 315.320 verschlüsselte Denkblöcke, die Entwickler versehentlich geteilt hatten. Viele davon wurden als unverständliche Zeichenfolgen wahrgenommen und gaben den Benutzern ein falsches Sicherheitsgefühl. Die Entschlüsselung enthüllte alarmierende Mengen an sensiblen Informationen.

Unter den Erkenntnissen befanden sich 367 persönliche Identifikatoren, 182 Login-Daten, 62 API-Schlüssel, 33 Klartext-Passwörter und 30 private E-Mail-Adressen. In vielen Fällen enthielten die versteckten Gedankenprozesse noch sensiblere Informationen als die endgültige Antwort, die vom KI-System selbst generiert wurde. Der Umfang des Problems geht über die Blockierung der Zugangsdaten hinaus. Durch vorbereitete Denkblöcke könnten Angreifer auch verdeckte Sofort-Injektionen durchführen, bösartigen Code unsichtbar in den Kontext der KI einbetten oder Modellfunktionen ohne Genehmigung klonen. Die Forscher informierten die betroffenen Unternehmen im Voraus über ihre Erkenntnisse, so dass die Anbieter erste Gegenmaßnahmen ergreifen konnten.

Der Vorfall unterstreicht jedoch, dass die bloße Unlesbarkeit für Endbenutzer keinen echten Schutz bietet, solange die Verschlüsselung nicht streng an eine bestimmte Sitzung gebunden ist.