Im Frühjahr kursierte ein Screenshot in den Nachrichten-Feeds. Zero GPT, eines der meistgenutzten KI-Detektionsprogramme, hatte einen Absatz von Mary Shelleys „Frankenstein“ analysiert und sein Urteil gefällt: „100 % AI generated“. Ein Roman aus dem Jahr 1818, von einer Frau geschrieben, die noch nicht einmal zwanzig Jahre alt war. Jedem war in diesem Moment klar, dass das Programm nicht hielt, was es versprach. Es eignete sich nicht, um Texte zu erkennen, die KI-generiert sind. Ein Programm, das zuverlässig menschliche von maschinellen Texten unterscheide, gebe es nicht, hieß es damals.
Doch die Entwicklung auf dem KI-Markt ist rasant. Und die neue Generation der KI-Detektoren kann, wovon die Hersteller vor wenigen Monaten nicht zu träumen wagten. Angeführt wird das Feld zurzeit von Pangram. Das Unternehmen dahinter, Pangram Labs, hat mit der Version 3.0 seines Detektors eine Zahl in die Welt gesetzt: 99,98 Prozent Treffsicherheit. Die Zahl beruht auf Tests, bei denen Forscher der University of Chicago und der University of Maryland mehr als sechs Millionen maschinell erzeugte Texte auf ihre Erkennbarkeit hin geprüft haben.
Redaktionen und Hochschulen greifen zunehmend zu diesem Werkzeug, um Texte zu prüfen, und sie liegen damit nicht komplett falsch. Den Beginn von „Frankenstein“ ermittelt Pangram zuverlässig als menschengemacht. Und Pangram half, die wohl KI-generierten Gastbeiträge von Mario Voigt zu entlarven. Das Portal „Frag den Staat“ erklärte, das Programm habe einen KI-Anteil von 100 Prozent in seinen Texten ermittelt. Hinzu kommen drei in seinem Gastbeitrag in der F.A.Z. nicht verifizierbare wörtliche Zitate.
Die Jagd auf maschinelle Texte
Aber was misst Pangram eigentlich? Erkennt das Programm tatsächlich, ob ein Text von einem Menschen oder einer Maschine kommt? Und was heißt, ein Text sei „100 % Human Written“, wie Pangram angibt, wenn es einen Menschen hinter einem Text vermutet? Pangram ist darauf trainiert, stilistische Regelmäßigkeiten zu erkennen, die für Sprachmodelle charakteristisch sind. Es sucht nach Mustern an der Sprachoberfläche. Dazu zählen eine auffällige Häufung von Antithesen, ein gleichmäßiges Subjekt-Prädikat-Objekt-Gefüge sowie Stilmittel in einer Dichte, die menschlichem Schreiben nicht entspricht. Treten diese oder andere Muster gehäuft auf, schlägt Pangram Alarm.
„100 % Human Written“ attestiert Pangram den ersten zwei Absätzen von „Frankenstein“. Screenshot Pangram
Mittlerweile ist Pangram überall. Auf der Plattform X können es Nutzer einfach markieren, um Beiträge anderer auf ihren KI-Anteil checken zu lassen. KI-Jäger nutzen das Programm, um Politiker oder Journalisten zu überführen. Den prominentesten Fall lieferte der Vorstandschef von Pangram: Max Spero, der sich auf X als „slop janitor“ (Müllmann) bezeichnet, jagte 871 Artikel des „ Guardian “-Sportredakteurs Bryan Armen Graham durch sein Programm und postete das Ergebnis: neun Texte in zwei Wochen, sie seien vollständig KI-generiert. Der „Guardian“ wies den Vorwurf zurück. Graham schreibe seit elf Jahren in exakt diesem Stil, lange vor der Existenz von Sprachmodellen. Folgen hatte die Anklage für Graham, zumindest soweit öffentlich bekannt, nicht.
Auf einen anderen Fall verwies der Journalist Matthias Meisner jüngst bei der von Holger Friedrich gegründeten „Ostdeutschen Allgemeinen Zeitung“ (OAZ). Der Bluesky-Nutzer „Hoywoj“ schickte Dutzende OAZ-Texte durch Pangram. Das Ergebnis: Rund zwei Drittel davon kamen als ganz oder teilweise KI-generiert zurück, darunter Texte des Geschäftsführers Dirk Jehmlich. Der hatte noch vor einem halben Jahr auf Linkedin gewarnt, KI sei „nicht die Lösung“. Der Nutzer „Hoywoj“ hat seinen Post mit den Anschuldigungen gegen die OAZ auf Bluesky indes gelöscht.
Bei dieser Art der „Überführung“ ist in der Tat Vorsicht geboten. Pangram erkennt nicht, ob hinter einem Artikel ein denkender Mensch steht, sondern liefert ein Stilprofil. Schlägt das Programm Alarm, ist das ein stichhaltiger Hinweis darauf, dass sich jemand vollständig oder teilweise dabei hat helfen lassen, einem Text Form zu geben. Doch wer sich beim Formulieren helfen lässt, hat deshalb noch lange keine KI-generierte Idee verwendet. Das ist gut möglich, kann das Programm aber schlicht nicht nachweisen.
Möglich wäre auch, dass jemand seinem KI-Assistenten seine Ideen und Argumente einspricht und die Maschine diese ausformuliert. So etwas machen Politiker bekanntermaßen nicht erst seit der Existenz von KI-Programmen. Zuvor wurden menschlichen Assistenten Stichpunkte hingeworfen, um daraus einen Text oder eine Rede zu formulieren. Diese waren zwar von einem Menschen geschrieben, aber der Politiker selbst war nicht der ausführende Schreiber. Wir halten es zudem für völlig normal, dass Journalisten als Ghostwriter für Bücher von Prominenten fungieren. Oder schwache Artikel werden mitunter so umfassend redigiert, dass am Ende kein Satz mehr stehen bleibt, wie der Autor ihn geschrieben hat.
Emil Eichinger
Wir haben uns daran…
Read the full article at Frankfurter Allgemeine (FAZ) →
Germany