OpenAI’s neues Modell GPT-6 Astra liefert in verschiedenen Benchmarks widersprüchliche Ergebnisse. Während es in einigen Tests führend ist, schneidet es in anderen nur durchschnittlich ab. Eine bemerkenswerte Entwicklung zeigt sich jedoch auf der ARC-AGI-3-Plattform: Hier demonstriert Astra erstmals eine höhere Effizienz als der durchschnittliche Mensch, was François Chollet, den Leiter des ARC Prize, dazu veranlasst, seine Prognose für Künstliche Allgemeine Intelligenz (AGI) vorzuziehen.
Widersprüchliche Benchmark-Bewertungen
Zwei unabhängige Labore haben GPT-6 Astra umfassend getestet, kommen aber zu unterschiedlichen Gesamtbewertungen. Epoch AI, das über 50 Benchmarks kombiniert, platziert GPT-6 Astra mit 169 Punkten klar an erster Stelle unter 267 Modellen. Bei Epoch AI führt Astra in den Bereichen Mathematik, Wissen und Rätsel. Das Modell löste zudem als einziges zwei von 68 offenen Erdős-Problemen auf „FrontierMath Erdős“ mit Lean-verifizierten Beweisen, bei Kosten von 300 US-Dollar pro Versuch. Drei weitere Lösungen wurden in zusätzlichen, nicht standardisierten Läufen erzielt, die über 220.000 US-Dollar an Rechenleistung verbrauchten, aber nicht in die offizielle Bewertung einflossen.
Im Gegensatz dazu bewertet Artificial Analysis, das Wissen, Programmierung und Textverständnis prüft, GPT-6 Astra mit 61 Punkten. Dies entspricht genau der Leistung des Vorgängermodells und liegt hinter Claude Fable 5.1, das 66 Punkte erreichte. Auf dem „Coding Agent Index“ erreichte Astra 67 Punkte bei etwa einem Drittel des Token-Verbrauchs von Sol, während Fable 5.1 mit 70 Punkten führt. Die Halluzinationsrate (Fehler, bei denen das Modell falsche Informationen generiert) auf „AA-Omniscience“ sank von 92 auf 51 Prozent. Gleichzeitig verlor das Modell etwa 80 Elo-Punkte auf „GDPval-AA v2“ und zeigte Schwächen bei Banken-Support, SciCode und Aufgaben mit langen Kontexten.
Effizienzsprung bei ARC-AGI-3
Der deutlichste Fortschritt von GPT-6 Astra zeigt sich auf der ARC-AGI-3-Plattform. Dieser Test konfrontiert eine KI mit unbekannten Spielwelten, deren Regeln und Ziele nicht erklärt werden. Das Modell muss durch Ausprobieren herausfinden, wie es vorgehen muss. GPT-6 Astra erreichte hier 62,7 Prozent bei Testkosten von etwa 26.000 US-Dollar. Zum Vergleich: Das Vorgängermodell GPT-5.6 Sol erreichte 7,78 Prozent und der Konkurrent Claude Opus 5 30,16 Prozent. Claude Fable 5 und 5.1 wurden noch nicht auf diesem Benchmark getestet.
OpenAI hatte zuvor 99,9 Prozent gemeldet, allerdings unter anderen Bedingungen. Diese Ergebnisse wurden mit einem von OpenAI entwickelten „Harness“ (einem Hilfssystem, das Denkketten zwischen Anfragen aufrechterhält und lange Abläufe zusammenfasst) erzielt. ARC Prize stellte fest, dass diese Läufe etwa 3,66-mal schneller waren und 49 Prozent weniger Tokens verbrauchten. Für einen fairen Vergleich zwischen verschiedenen Anbietern wird von ARC Prize jedoch der niedrigere Wert von 62,7 Prozent, der auf dem internen ARC-Harness ermittelt wurde, herangezogen.
Besonders auffällig ist die Effizienz von Astra. Auf dem OpenAI-Harness löste Astra 96 Prozent der Level in weniger Zügen als der menschliche Median, durchschnittlich mit etwas mehr als der Hälfte der Züge. Diese Metrik misst nicht den Rechenaufwand, sondern wie viel Erfahrung das Modell in einer Umgebung benötigte, bevor es diese beherrschte. Während Organisatoren hier einen dauerhaften Vorteil für Menschen erwartet hatten, zeigt Astra nach dem Erlernen der Mechanik eine Ausführung, die in den menschlichen Effizienzbereich fällt. Das Modell erstellt dabei eigene Notizen und nutzt eine algebra-ähnliche Kurzschrift, um Objekte, Koordinaten, Regeln und Pläne zu speichern.
Kostenstruktur und Recheneffizienz
GPT-6 Astra ist pro verarbeiteter Texteinheit teurer als sein Vorgänger. OpenAI berechnet das Zweieinhalbfache, was eine Aufgabe etwa 75 Prozent teurer macht als mit Sol. Im Vergleich zu Anthropic kehrt sich das Bild um: Bei Programmieraufgaben erreicht Astra laut Artificial Analysis die gleiche Punktzahl wie Claude Fable 5, kostet aber weniger als die Hälfte pro Aufgabe. Dies liegt an der Sparsamkeit des Modells, das nur ein Drittel der Rechenschritte von Sol und ein Fünftel derer von Opus 5 benötigt.
Eine ungewöhnliche Beobachtung bei ARC-AGI-3 ist das Verhältnis von Denkaufwand und Kosten. Normalerweise steigen die Kosten mit höherem Denkaufwand. Bei Astra ist es umgekehrt: Die Kosten sinken auf dem Standard-ARC-Gerüst von 49.791 US-Dollar (ohne Denkaufwand) auf 26.098 US-Dollar (bei maximalem Denkaufwand), während die Punktzahl von 35,2 auf 62,7 Prozent steigt. Laut ARC Prize liegt dies daran, dass Astra die Spiele mit weniger Zügen löst, was zu weniger Modellaufrufen und Tokens führt.
Chollets AGI-Prognose
François Chollet, Mitbegründer des ARC Prize, sieht den Fortschritt der KI als „doppelt so schnell“ wie von ihm erwartet. Er hat seine Prognose für Künstliche Allgemeine Intelligenz (AGI) entsprechend angepasst. Obwohl er die aktuellen Leistungen nicht als Beweis für AGI betrachtet, beschreibt er Astra als „hocheffiziente, on-the-fly symbolische Weltmodellierung für jedes Spiel und Level“.
Thema: OpenAI. Quelle/Inspiration: The Decoder.