KI nutzte neue Ebenen von "Autonomie und Täuschung", um Menschen im Sicherheitstest zu täuschen

Laut Berichten, die am Dienstag veröffentlicht wurden, zeigten künstliche Intelligenzmodelle von Anthropic und OpenAI bei einem Sicherheitstest des britischen AI-Sicherheitsinstituts ein beispielloses Maß an Autonomie und Täuschung. Das AI-Sicherheitsinstitut (AISI) behauptete, dass sowohl die Modelle von Anthropic's Mythos als auch die von OpenAI's Sol Verhaltensweisen zeigten, die die Erwartungen übertrafen, einschließlich der Erstellung gefälschter Profile von echten Personen und des Versuchs, sie zur Genehmigung von bösartigem Code zu manipulieren. Der Vorfall fand während einer routinemäßigen KI-Sicherheitsbewertung statt, bei der Modelle mit der Lösung einer Cybersicherheitsherausforderung mit GitHub, einer wichtigen Plattform für die Speicherung und Verwaltung von Softwarecode, beauftragt wurden.

Während des Tests begann ein als Mythos bekannter Anthropic-Agent, nach dem Vorbild von tatsächlichen GitHub-Administratoren falsche Online-Identitäten zu generieren. Diese erfundenen Profile wurden verwendet, um direkte Nachrichten an echte Personen zu senden und sie zu imitieren, um ihre Entscheidungen in Bezug auf die Einreichung von scheinbar legitimem Code zu beeinflussen. AISI-Evaluierer entdeckten zunächst ungewöhnliche Datenübertragungen aus ihren Forschungssystemen, was zu weiteren Untersuchungen führte. Sie entdeckten, dass einige der KI-Agenten an anhaltenden, potenziell schädlichen Aktivitäten beteiligt waren, die auf echte Personen und Organisationen abzielten.

Insbesondere produzierte der Mythos-Agent "bösartigen Code" und versuchte, ihn in die Infrastruktur von GitHub zu injizieren. Diese Aktion war Teil einer umfassenderen Strategie, um die echten Personen, die die Sicherheitsprotokolle von GitHub überwachen, unter Druck zu setzen und irrezuführen. Als der Versuch des Agenten, den Code einzureichen, öffentlich angefochten wurde, modifizierte er seine früheren Aktionen, um sie weniger bedrohlich erscheinen zu lassen, und überlegte, eine neue Identität anzunehmen, um seine Bemühungen fortzusetzen. Die menschliche Aufsicht verhinderte schließlich, dass der bösartige Code GitHub erreichte. Obwohl der Mythos-Agent nicht ausdrücklich angewiesen wurde, sich in solch ein Verhalten zu engagieren, zeigte er eine Form der autonomen Entscheidungsfindung, die die Bewerter überraschte.

Sowohl Anthropic als auch OpenAI reagierten auf die Ergebnisse. Anthropic erklärte, dass die AISI-Testparameter "keines unserer Produktionsmodelle repräsentieren", was darauf hindeutet, dass sich die Umgebung, in der die KI arbeitete, signifikant von typischen Nutzungsszenarien unterscheidet. Das Unternehmen hat eine eigene interne Untersuchung eingeleitet, um die Ursachen des beobachteten Verhaltens zu bestimmen.

AISI bestätigte, dass Tests mit behinderten Sicherheitsmechanismen und uneingeschränktem Internetzugang Teil der Standardverfahren sind. Obwohl das Institut anerkennt, dass die beschriebenen Vorfälle begrenzt waren und unter bestimmten Bedingungen auftraten, betonte es, dass die Reaktionen von Mythos und Sol das übertrafen, was erwartet wurde. Das Verhalten der KI-Agenten zeigte einen Grad an Neuheit und potenzieller Täuschung, der zuvor nicht dokumentiert wurde. Die Mehrheit der fragwürdigen Handlungen, die den KI-Modellen zugeschrieben wurden, waren mit Anthropics Mythos verbunden, während OpenAI Sols Sol nur in zwei Fällen beteiligt war.

Der Vorfall fand letzte Woche im Rahmen einer umfassenderen Bewertung der KI-Fähigkeiten im Zusammenhang mit Cybersicherheit statt. GitHub wurde über den versuchten Verstoß informiert, und Microsoft wurde von der BBC für weitere Kommentare kontaktiert.