Forschende der Universitäten Stanford und Caltech haben ein System namens HomeBody vorgestellt, das es einem humanoiden Roboter ermöglicht, eine unbekannte Küche autonom aufzuräumen und Gegenstände aus Schubladen zu holen. Das System, angetrieben durch das Sprachmodell GPT-6 Astra, verzichtet auf eine herkömmliche, speziell trainierte Steuerungsebene und lässt das Sprachmodell direkt modulare Fähigkeiten wie Greifen und Navigieren ansteuern.
Direkte Ansteuerung statt Zwischenschicht
Das HomeBody-System nutzt einen Unitree G1 Roboter. Anstatt einer üblichen, zwischen Sprachmodell und Roboter geschalteten Steuerungsebene, ermöglicht ein austauschbares Vision-Language Model (VLM), in diesem Fall GPT-6 Astra, den direkten Zugriff auf eine erweiterbare Bibliothek von Roboterfähigkeiten. Dazu gehören grundlegende Aktionen wie das Greifen von Objekten, das Navigieren im Raum oder das Öffnen von Schubladen. Der Roboter erkundet zunächst den Raum, erstellt eine digitale Kopie der Umgebung in Nvidias Isaac Sim, einer Simulationsumgebung, und speichert Objekte sowie deren Standorte in einem räumlichen Gedächtnis. Dies erlaubt es ihm, Gegenstände auch dann wiederzufinden, wenn sie sich nicht mehr in seinem direkten Sichtfeld befinden.
Für komplexere Aufgaben, wie das „Aufräumen der Küche“, plant das Sprachmodell jeden einzelnen Schritt. Es ist zudem in der Lage, Fehler selbstständig zu erkennen und Korrekturen vorzunehmen, um die Aufgabe erfolgreich abzuschließen.
Technische Grenzen und breitere Implikationen
Die aktuelle Implementierung des HomeBody-Systems zeigt noch technische Grenzen auf. Dazu gehören die Latenzzeiten von GPT-6 Astra, eine Überhitzung der Finger-Servos des Roboters sowie hohe Rechenkosten. Der Quellcode des Systems ist auf GitHub verfügbar.
Frühere Benchmarks zu GPT-6 Astra hatten bereits eine stark verbesserte räumliche Schlussfolgerungsfähigkeit des Modells gezeigt. Eine andere Untersuchung wies jedoch auf potenzielle Sicherheitsprobleme hin, wenn Astra einen Roboter steuert. OpenAI hat seinerseits Pläne angekündigt, wieder stärker in die Robotik einzusteigen, auch für Anwendungen im privaten Bereich.
Thema: Technologie / KI allgemein. Quelle/Inspiration: The Decoder.