OpenAIs KI-Modell GPT-6 Astra hat in einem neuen Robotik-Benchmark namens StationeryBench deutliche Fortschritte im räumlichen Denken gezeigt. Das Modell konnte 7 von 100 Aufgaben mit zweiarmigen Robotern vollständig lösen, während das Konkurrenzmodell MolmoAct2 von Ai2 keine einzige Aufgabe bewältigte.
Ergebnisse des StationeryBench-Tests
Der StationeryBench-Benchmark wurde entwickelt, um die Fähigkeiten von KI-Modellen bei der Manipulation von Objekten auf einem Schreibtisch zu testen. Zu den Aufgaben gehörten das Abnehmen einer Stiftkappe, das Ausschütten von Büroklammern oder das Weiterreichen eines Lineals zwischen zwei Roboterarmen. Beide Modelle, GPT-6 Astra und MolmoAct2, steuerten identische zweiarmige YAM-Roboter über insgesamt 200 Versuche.
Während Astra 7 von 100 Aufgaben vollständig abschloss, gelang MolmoAct2 kein einziger vollständiger Abschluss. Auch bei der durchschnittlichen Fortschrittsbewertung zeigte Astra eine deutliche Überlegenheit: Das OpenAI-Modell erreichte einen Medianwert von 46 von 100 Punkten, während MolmoAct2 lediglich 12 Punkte erzielte. Alle Ergebnisse, zugehörigen Videos und der Code sind auf GitHub öffentlich verfügbar.
Experteneinschätzung und vermutete Ursachen
Yoav Artzi, ein KI-Forscher bei Cornell und Google DeepMind, bezeichnete Astras Leistung als einen „grundlegenden Wandel im räumlichen Denken“. Räumliches Denken bezieht sich auf die Fähigkeit eines Systems, die Position, Orientierung und Bewegung von Objekten in einem dreidimensionalen Raum zu verstehen und darauf zu reagieren.
Auf dem noch unveröffentlichten REMAP-Benchmark erreicht GPT-Astra eine Genauigkeit, die nahe an menschliches Niveau heranreicht, wenngleich Artzi anmerkt, dass „selbst ASTRA in anderen Szenarien nicht das erreicht, was Menschen tun“. Artzi vermutet, dass OpenAI das Modell mit großen Mengen an 3D-Daten, wie beispielsweise aus Blender-Szenen, trainiert haben könnte. Diese Annahme würde die spezifische Verbesserung von Astra bei 3D-Aufgaben erklären.
OpenAIs langfristige Robotik-Pläne
OpenAI hat langfristige Pläne, eigene Konsumentenroboter zu entwickeln. Die Fortschritte im räumlichen Denken, die GPT-6 Astra demonstriert, könnten einen wichtigen Schritt auf diesem Weg darstellen.
Thema: ARM. Quelle/Inspiration: The Decoder.