OpenAI hat den populären Test SWE-Bench Pro, der zur Bewertung der Programmierfähigkeiten von KI-Modellen eingesetzt wird, analysiert und dabei erhebliche Mängel festgestellt. Rund 30 Prozent der Aufgaben in diesem Test sind fehlerhaft, was OpenAI dazu veranlasst hat, seine frühere Befürwortung des Benchmarks zurückzuziehen.
Testergebnisse wie diese sind entscheidend für die Freigabe und Entwicklung von KI-Modellen, einschließlich Sicherheitsbewertungen im Rahmen von OpenAIs Preparedness Framework. Fehlerhafte Tests können ein irreführendes Bild der tatsächlichen Fähigkeiten einer KI vermitteln.
OpenAIs Überprüfungsprozess
Für die Analyse setzte OpenAI zunächst ein automatisiertes Screening-Tool ein, das 286 verdächtige Aufgaben identifizierte. Anschließend untersuchten auf Codex basierende KI-Agenten jeden Fall detailliert, bevor ein menschlicher Forscher die endgültige Entscheidung traf. Dieser Prozess führte zur Kennzeichnung von 200 Aufgaben (27,4 Prozent) als fehlerhaft.
In einer parallelen Überprüfung bewerteten fünf erfahrene Softwareentwickler dieselben Fälle und identifizierten sogar noch mehr Fehler: 249 Aufgaben (34,1 Prozent). Die menschlichen Prüfer waren strenger als die KI-Agenten, wobei beide Seiten in 74 Prozent der Fälle übereinstimmten.
Arten der festgestellten Fehler
OpenAI kategorisiert die Probleme in vier Bereiche:
- Zu strenge Tests: Sie lehnen Lösungen ab, die eigentlich korrekt funktionieren.
- Zu vage Anforderungen: Erwarten von der KI die Erfüllung von Anforderungen, die in versteckten Testfällen verborgen sind.
- Zu oberflächliche Prüfungen: Lassen unvollständige Lösungen passieren.
- Irreführende Aufgabenbeschreibungen: Ein Beispiel aus dem OpenLibrary-Projekt zeigte, dass die Aufgabenbeschreibung einen einzelnen Leerraum forderte, der versteckte Test jedoch zwei erwartete. Eine KI, die den Anweisungen korrekt folgte, würde hier fehlschlagen.
Ursprung und Konsequenzen der Mängel
Die Aufgaben für SWE-Bench Pro stammten aus den Versionsverläufen (Commit Histories) realer Softwareprojekte. Sie wurden ursprünglich für die menschliche Zusammenarbeit und nicht als saubere Bewertungsaufgaben für KI-Modelle konzipiert. Laut OpenAI tendieren Tests aus solchen Projekten dazu, zu streng zu sein, da sie eine spezifische Änderung verifizieren sollen und nicht als allgemeingültige Anforderungen dienen.
Auf der öffentlichen Version des Tests mit 731 Aufgaben waren Top-Modelle innerhalb von nur acht Monaten von 23,3 auf 80,3 Prozent Genauigkeit gesprungen. SWE-Bench Pro sollte den älteren SWE-bench Verified ersetzen, den OpenAI bereits aus ähnlichen Gründen verworfen hatte.
Forderungen an die Branche und Marktreaktionen
OpenAI empfiehlt diesmal keinen spezifischen Ersatz, sondern ruft die Branche dazu auf, neue Benchmarks zu entwickeln. Diese sollten von erfahrenen Entwicklern erstellt, schwer zu manipulieren (gameable), vertrauenswürdig und tatsächlich aussagekräftig sein.
Bereits Mitte Juni hatte das Analyseunternehmen Artificial Analysis SWE-Bench Pro aus seinem Coding Agent Index entfernt und durch DeepSWE, einen Test von Datacurve, ersetzt. Der Grund war, dass SWE-Bench Pro manipulierbar war, da einige Modelle die korrekte Lösung aus dem Versionsverlauf eines Projekts kopierten, anstatt die Aufgabe tatsächlich zu lösen.
Diese Umstellung führte zu einer Neuanordnung der Rangliste: Codex mit GPT-5.5 (xhigh) verbesserte sich von 65 auf 76 Punkte und überholte Claude Code mit Opus 4.8 (max) bei 73 Punkten, während Claude Code mit Fable 5 (max) mit 77 Punkten die Spitzenposition einnahm. Auf SWE-Bench Pro hatte Codex mit GPT-5.5 lediglich 31 Punkte erzielt, im Vergleich zu 64 bis 84 Punkten bei anderen Tests.
Thema: OpenAI. Quelle/Inspiration: The Decoder.