Anthropic’s Sprachmodell Claude Opus 5 hat auf dem ARC-AGI-3 Benchmark eine Punktzahl von 30,2 Prozent erzielt. Damit übertrifft es den vorherigen Rekord von 7,8 Prozent, der von OpenAI’s GPT-5.6 Sol (Max) gehalten wurde, um fast das Vierfache. Die Entwickler des Benchmarks führen diese deutliche Verbesserung auf stärkere logische Schlussfolgerungen zurück und hoben hervor, dass das Modell erstmals Reflexionsgleichungen eigenständig formulierte – ein Verhalten, das sie bei keinem anderen Modell zuvor beobachtet hatten.
Der ARC-AGI-3 Benchmark misst die Fähigkeit von KI-Modellen, neue Aufgaben zu lösen, die sie während ihres Trainings nicht kennengelernt haben. Diese Aufgaben umfassen auch solche, die Menschen oft leicht bewältigen können. Das aktuelle Format des Benchmarks ähnelt einem Spiel, bei dem das Modell die Regeln einer interaktiven Umgebung ableiten, seine Aktionen planen und diese Schritt für Schritt ausführen muss. Ziel ist es, allgemeines Schlussfolgern statt gespeicherten Wissens zu testen.
Claude Opus 5 konnte fünf bisher ungelöste Umgebungen erfolgreich bewältigen, davon vier auf oder über menschlichem Niveau. Dies positioniert es auch vor Anthropic’s „Fable-Klasse“-Modellen, die laut ARC Prize etwa 20 Prozent erreichten. Die Analyse des ARC Prize schreibt den Vorsprung von Opus 5 einer verbesserten logischen Schlussfolgerung zu, die eine autonomere Erkundung, Planung und Ausführung in unbekannten Umgebungen ermöglicht. Das Modell zeigte auch ungesehene Verhaltensweisen, indem es Aufgaben in algebraische Notation übersetzte und erstmals eigenständig Reflexionsgleichungen formulierte.
Von den 25 öffentlichen Demo-Umgebungen des Benchmarks sind nun sechs gelöst. Die vollständigen Ergebnisse, Wiederholungen und der Benchmarking-Code sind öffentlich zugänglich. Auf den älteren Benchmarks ARC-AGI-2 und ARC-AGI-1 erreichte Opus 5 90,4 Prozent beziehungsweise 97,5 Prozent. Diese Ergebnisse entsprechen früheren Höchstwerten, allerdings mit leicht höheren Kosten.
Mögliche Ursachen für den Leistungssprung
Anthropic hat die genauen Gründe für den Leistungsgewinn nicht erläutert. Plausible Faktoren könnten jedoch gezielte Datenkennzeichnung und Reinforcement Learning sein. Im Gegensatz zu früheren Modellen wurde Opus 5 entwickelt, nachdem der ARC-AGI-3 Benchmark und sein Format öffentlich zugänglich waren. Dies könnte Anthropic ermöglicht haben, die Fähigkeiten und Rätselformate des Benchmarks gezielt zu berücksichtigen, ohne dass eine direkte Schulung an den exakten Aufgaben nachweisbar wäre. Annotatoren könnten beispielsweise Schlussfolgerungen, nützliche Aktionen, fehlgeschlagene Versuche und Korrekturschritte aus ähnlichen Rätseln gekennzeichnet haben. Reinforcement Learning könnte dann die Erkundung, Planung, Regelerkennung und Selbstkorrektur belohnt haben.
Bewertung auf weiteren Benchmarks
Tests auf „Witness“, einem privaten Benchmark für interaktive Puzzlespiele, der von Guanghan Ning entwickelt wurde, deuten auf engere Gewinne hin. Opus 5 erreichte hier 43,4 Punkte und lag statistisch gleichauf mit Kimi K3 und Fable 5. Die Verbesserung gegenüber Opus 4.8 war auf Witness deutlich geringer als auf ARC-AGI-3. Bei einem Puzzle mit bekannten Mechanismen nannte Opus 5 die versteckten Regeln, bevor es den ersten Zug machte. Wenn ein Spiel jedoch Regeln in einer weniger vertrauten Weise kombinierte, schnitt es schlechter ab als Opus 4.8.
Greg Kamradt, einer der Forscher hinter ARC-AGI-3, betonte, dass die Ergebnisse breitere Fortschritte im Schlussfolgern nicht ausschließen. Ein konventionelles Puzzle teste möglicherweise keine Neuheit, da es vertraute Mechanismen verwendet. Eine schwächere Leistung bei einem ungewöhnlichen Spiel könnte eine isolierte Regression sein. Kamradt wies darauf hin, dass Opus 4.8 bei einigen ARC-AGI-3-Spielen Opus 5 übertraf, obwohl es insgesamt weit zurücklag. Da Opus 5 auf Witness insgesamt Verbesserungen zeigte, würde die Beurteilung der Breite des Gewinns detaillierte Ergebnisse von mehr ungewohnten Aufgaben erfordern. Ning stellte später klar, dass Opus 5 auf Witness tatsächlich breitere Gewinne zeigte, diese jedoch weitaus kleiner waren als auf ARC-AGI-3. Er verglich dieses Muster mit der Entwicklung von Coding-Benchmarks. Als Hauptziel für interaktives Schlussfolgern werde ARC-AGI-3 wahrscheinlich zuerst die meisten Trainingsanstrengungen erhalten. Wenn Forscher weitere Randfälle hinzufügen, könnten Modelle lernen, ein breiteres Spektrum abstrakter Schlussfolgerungsaufgaben zu bewältigen.
Thema: Anthropic. Quelle/Inspiration: The Decoder.