Dass Claude Fable beziehungsweise Mythos das teuerste KI-Modell ist – daran gibt es keinen Zweifel. Aber ist es auch das Beste? c’t 3003 hat’s getestet.
Den ausführlichen c’t-Test gibt es hier (kostenpflichtig).
Claude 5 Fable ist abgeschaltet , angeordnet von der US-Regierung. Ein c’t-3003-Kurzvideo dazu gibt es hier: https://www.youtube.com/shorts/tj87aylNN-c
Transkript des Videos
(Hinweis: Dieses Transkript ist für Menschen gedacht, die das Video oben nicht schauen können oder wollen. Der Text gibt nicht alle Informationen der Bildspur wieder.)
Guckt mal hier, jetzt hat Anthropic Mythos veröffentlicht. Ihr erinnert euch vielleicht, das KI-Modell, bei dem es vor zwei Monaten noch hieß, das Modell sei viel zu gefährlich, um es zu veröffentlichen, weil man damit angeblich in die meisten Software-Programme einbrechen kann. Also das Ding findet angeblich bislang unbekannte Sicherheitslücken. Und deshalb hat sich Anthropic einen Trick ausgedacht. Das, was sie veröffentlicht haben, also was ich hier in diesem Video getestet habe, nennen sie Fable. Das ist laut Anthropic aber Mythos. Aber halt Mythos, das sich weigert, Arbeit aus den Themenbereichen Cybersecurity, Biologie, Chemie und Wissensdestillation zu übernehmen. Fable kann aber auch noch andere tolle Sachen, zum Beispiel besser coden als Opus. Das kann ich schon mal spoilern. In diesem Video beantworten wir, ob Fable den Mythos-Hype rechtfertigen kann als unglaublich gefährliches, fähiges Modell, wie ihr da dran kommt, wie teuer das Ganze wird und ob das Modell endlich versteht, was auf meiner Kappe hier draufsteht. Bleibt dran.
Liebe Hackerinnen, liebe Internet-Surfer, herzlich willkommen hier bei....
Ja, Anthropic hat's veröffentlicht. Mythos bzw. Fable. Mythos, übrigens griechisch „mythos“ für „sagenhafte Geschichte“, und Fable soll laut Anthropic die lateinische Variante davon sein. Streber-Keno sagt, dass das eigentlich „Fabula“ heißen müsste, aber okay, was weiß ich schon. Auf jeden Fall sagt Anthropic, dass Mythos und Fable wirklich erstmal grundsätzlich identisch sind. Das kann man auch daran sehen, dass Anthropic in seiner eigenen Benchmark-Tabelle Mythos und Fable in einer Spalte zusammenfasst. Der Unterschied ist, dass bei Fable eine Erkennung vorgeschaltet ist, die merkt, ob ein verbotenes Thema angeschnitten wird. Das läuft mit Constitutional Classifiers. Wenn ihr das genauer wissen wollt, ich hab da ein Paper von Anthropic verlinkt. Wenn der Classifier was erkennt, was böse ist, dann bricht er interessanterweise nicht die Arbeit ab, sondern gibt es einfach an das nächstbessere LLM, zurzeit also Opus, weiter. Das ist nicht dumm und auch transparent, denn Claude zeigt das an, wenn es die Antwort runterdelegiert. Aber in der Praxis kann das natürlich auch nervig sein, vor allem, wenn man gerne maximale Schlauheit hätte und das aber nie geht, weil es immer runtergestuft wird. Wie oft dieses Runterstufen bei harmlosen Anfragen passiert, dazu sage ich später noch was, beim Praxisteil.
Was ich auf jeden Fall nachvollziehbar finde, ist, dass Cybersecurity-Anfragen erstmal nicht durchgehen, denn da scheint wirklich was dran zu sein, dass Mythos halt besser als andere Modelle Sicherheitslücken findet, und das sind bekanntlich Einfallstore für Angreifer. Das heißt, wenn man was Böses machen will, muss man nur herausfinden, was auf dem anzugreifenden Computer oder Smartphone für Software läuft. Dann versucht man mithilfe von Mythos, Schwachstellen bei eben dieser Software zu finden und wenn man die gefunden hat, dann darüber da einzubrechen. Das geht mit anderen LLMs zwar auch, aber offenbar nicht ganz so gut.
Der andere gesperrte Themenbereich ist Biologie und Chemie, und da wird es schon etwas weniger nachvollziehbar, für mich jedenfalls. Angeblich will man verhindern, dass beispielsweise Biowaffen entwickelt werden. Und ja, das klingt natürlich krass und so doll Science-Fiction-mäßig, aber ob Leute, die sowas bauen wollen, wirklich so viel mit Claude Mythos anfangen können, also im Vergleich zu einer normalen Suchmaschine, das ist offenbar auch in Fachkreisen umstritten. Hier vermischen sich offenbar, wie so oft in der KI-Welt, wirkliches Risikobewusstsein und Marketing. Also ein KI-Modell, was so mächtig ist, dass es bislang unbekannte Biowaffen entwickeln kann: Boah, krass, das kann ja wohl mindestens meine Steuererklärung dann auch erledigen, oder? Also will ich das natürlich haben. Ist natürlich gute Werbung. Als Optimist könnte ich jetzt sagen: Ja, Anthropic macht sich wirklich Gedanken über die Sicherheit der Welt, aber sie nehmen halt den Marketing-Effekt auch gerne mit. Als Pessimist würde ich denken, Anthropic bereitet einfach nur den geplanten Börsengang mit möglichst viel Knall-Effekt vor.
Ach so, der dritte gesperrte Themenbereich ist Destillation. Also nicht Schnapsbrennen, also wie das geht, beantwortet Fable problemlos hier bei mir im Test, sondern halt Wissensdestillation, also wenn man fürs Training eines Sprachmodells die…
Read the full article at heise online →
Germany