Die Schreibqualität der neuesten KI-Modelle von Anthropic, insbesondere der Sprachmodelle der Claude-Reihe, hat sich trotz verbesserter Fähigkeiten in Mathematik, Programmierung und logischem Denken verschlechtert. Dies erklärt Jackson Kernion, ein Anthropic-Mitarbeiter, der an der Feinabstimmung von Claude arbeitet. Laut Kernion ist das Modell Opus 4.6 das letzte, das als gutes „Schreibmodell“ von Anthropic galt.
Optimierung für KI-Kommunikation
Ein Hauptgrund für die veränderte Schreibweise liegt in der Optimierung neuerer Modelle für mathematische und Programmieraufgaben. Entscheidender ist jedoch, dass die Modelle darauf trainiert wurden, technische Erklärungen zu liefern, die primär für andere KI-Modelle bestimmt sind. Diese Anpassung an die „LLM-Psychologie“ – also die Denkweise großer Sprachmodelle (Large Language Models) – führte zu einer Schreibweise, die Kernion als „Claudeish“ bezeichnet.
Diese Entwicklung vergleicht Kernion mit Menschen, die ausschließlich mit anderen autistischen Personen kommunizieren. Dabei entwickle sich ein Stil, der innerhalb dieser Gruppe funktioniere, für Außenstehende jedoch schwer nachvollziehbar sei. Da große Sprachmodelle (LLMs) über ein deutlich größeres Arbeitsgedächtnis verfügen und Details viel feiner erfassen, entstand während des Trainings ein Schreibstil, der für KI-Modelle gut funktioniert, von menschlichen Lesern jedoch als „überladene Informationsdumps“ wahrgenommen wird.
Die Rolle der Belohnungsstrukturen
Das Problem wurzelt laut Kernion in der Belohnungsstruktur des Reinforcement Learnings, einer Methode des maschinellen Lernens. Einige Belohnungen optimieren das Verständnis durch KI-Modelle, andere das Verständnis durch Menschen. Je stärker ein Modell auf Mathematik und Programmierung trainiert wird, desto aktiver müsse man gegensteuern, indem man einfache, von Menschen verständliche Erklärungen belohnt.
Verbesserungen mit Opus 5.5
Mit dem Modell Opus 5.5 hat Anthropic nach Kernions Aussage ein besseres Gleichgewicht gefunden. Er äußerte sich erfreut über die Schreibqualität dieses Modells, wie er es seit Opus 4.6 nicht mehr war. Kernion betont jedoch, dass Opus 5.5 das ältere Modell nicht übertrifft. Die Lösung des Problems sei komplex, und weitere Verbesserungen würden angestrebt.
Thema: Anthropic. Quelle/Inspiration: The Decoder.