Googles neues KI-Modell Gemini 4 Argon von Deepmind hat im anspruchsvollen ARC-AGI-3 Benchmark eine Punktzahl von 97,5 Prozent erzielt. Damit überschreitet Google als zweites großes KI-Labor nach OpenAI die 95-Prozent-Marke in diesem Test für allgemeine Problemlösungsfähigkeiten. Dieser Wert wurde jedoch mithilfe eines speziellen Test-Setups, des sogenannten „Provider Adapter Harness“, erreicht, das anbieterspezifische Funktionen wie „Retained Reasoning“ (ein Gedächtnis für frühere Schritte) und „Context Compaction“ (effiziente Verwaltung von Kontextinformationen) nutzt. Die Kosten für diesen Testlauf lagen bei 4.800 US-Dollar.
Leistung im Detail und die Rolle der Testumgebung
Im Vergleich dazu liegt OpenAIs GPT-6 Astra mit 99,9 Prozent auf dem ARC-AGI-3 noch höher. Argon benötigte wie Astra 62 Prozent weniger Aktionen als der menschliche Grundwert über 25 öffentliche Spiele hinweg. Es erreichte oder übertraf den Speedrun-Rekord in drei Spielen und lag in sechs weiteren Spielen innerhalb von 10 Prozent der Bestzeit. Bei älteren Versionen des Benchmarks erreichte Argon 91,3 Prozent auf ARC-AGI-2 (Kosten von 0,32 US-Dollar pro Aufgabe) und 98,5 Prozent auf ARC-AGI-1 (Kosten von 0,16 US-Dollar pro Aufgabe), basierend auf Einführungspreisen für Token.
Die Testergebnisse von Gemini 4 Argon variieren stark je nach Testumgebung. Im „Standard Harness“, das lediglich einfache Notizen zwischen den Runden erlaubt und internes Reasoning nach jeder Aktion verwirft, sank die Leistung von Argon auf 49,8 Prozent bei niedrigem Reasoning. Die Kosten für diesen Testlauf betrugen 5.800 US-Dollar. Diese Diskrepanz spiegelt eine frühere Debatte vom Juli 2026 wider, als OpenAIs GPT-5.6 Sol den Konkurrenten Claude Opus 5 im ARC-AGI-3 mithilfe spezifischer API-Einstellungen übertraf.
GPT-5.6 Sol erzielte in der Standardumgebung, die interne Denkprozesse nach jeder Aktion verwirft und eine ältere Schnittstelle nutzte, nur 7,8 Prozent. Bei Tests mit OpenAIs eigener Responses API, die „Retained Reasoning“ und „Smart Context Compaction“ einschloss, stieg die Punktzahl auf 38,3 Prozent und übertraf Opus 5 mit 30,2 Prozent. OpenAI argumentierte damals, dass Benchmarks immer auch das technische Umfeld messen. Francois Chollet, Mitbegründer des ARC Prize, erlaubte daraufhin die Nutzung allgemeiner, öffentlich verfügbarer API-Einstellungen.
API-Probleme verhinderten laut den Testern auch, dass Argon alle 55 Spiele im Standard Harness vollständig absolvierte. Bei niedrigem Reasoning beendete das System 42 Spiele (49,8 Prozent), bei mittlerem Reasoning 46 Spiele (46,3 Prozent). Auf der höchsten Stufe wurden nur 19 Spiele abgeschlossen, weshalb der ARC Prize hierfür keine Punktzahl veröffentlichte. Die gemeldeten Ergebnisse umfassen dennoch alle 55 Spiele durch die Einbeziehung von Teilpunkten aus abgebrochenen Läufen.
Gesamtfortschritt und spezifische Schwächen
Das Forschungsinstitut Epoch AI verfolgte ebenfalls Googles Fortschritt. Argon erreichte 165 Punkte auf dem Epoch Capabilities Index (ECI), einem kombinierten Maßstab aus über 50 Benchmarks. Damit liegt es gleichauf mit Fable 5.1 und knapp hinter Opus 5.5 (167 Punkte) und GPT-6 Astra (166 Punkte). Argon übertrifft Gemini 3.8 Flash (157 Punkte) deutlich und bringt Google näher an die Spitze als jeder andere Modellstand seit Gemini 3.1 Pro im Februar. Dieser Trend wurde zuvor bereits von Artificial Analysis und Vals.ai bestätigt.
Die Leistung von Argon variiert jedoch je nach Anwendungsbereich. Laut Epoch AI führt Argon zwar mehrere Benchmarks in den Bereichen Wissen, Agenten und Bilderkennung an, liegt aber in frühen Schätzungen auf dem achten Platz im Math ECI und auf dem sechsten Platz im Software Engineering Index (SWE ECI).
Thema: OpenAI. Quelle/Inspiration: The Decoder.