Nvidia hat eine offene Daten-Engine namens Flora vorgestellt, die das Labeln von einer Stunde Robotervideo für etwa 72 Cent ermöglicht. Dies ist deutlich günstiger als die geschätzten 88,50 US-Dollar, die mit GPT-6 Astra anfallen würden, und bietet dabei eine leicht höhere Qualität, wie Nvidia angibt.
Die Notwendigkeit präziser Daten in der Robotik
Große KI-Modelle für Roboter lernen aus Videomaterial, das mit Textannotationen versehen werden muss. Laut Nvidias GEAR-Forschungslabor sind hierfür drei Arten von Labels erforderlich:
- Aktionsbeschreibungen: Sie geben an, welche Aktion wann im Video stattfindet und dienen der Auswahl von Trainingsdaten.
- Fortschrittsbewertungen: Sie beurteilen, wie gut ein Roboter Schritt für Schritt vorankommt, was für das Lernen durch Versuch und Irrtum wichtig ist.
- Erfolgsbeurteilungen: Sie bewerten, ob eine Aufgabe erfolgreich abgeschlossen wurde, um Roboter während des Einsatzes zu überwachen.
Bestehende Tools liefern oft nur eine dieser Label-Arten. Große Sprachmodelle (LLMs) wie GPT-6 Astra können zwar mehrere generieren, sind aber für die benötigten massiven Videomengen zu kostspielig.
Floras Architektur und Funktionsweise
Flora deckt alle drei Label-Typen ab. Nvidia zufolge wird das System bereits beim Training seiner GR00T-Modelle eingesetzt und annotiert bis zu 200.000 Stunden Video pro Tag auf 512 GB300 GPUs. Die Modelle sind auf Hugging Face verfügbar.
Flora besteht aus drei speziell angepassten („fine-tuned“) Qwen3.5-Modellen:
- Ein 9B-Modell (9 Milliarden Parameter) unterteilt Videos in Aktionssegmente.
- Ein 27B-Modell beschreibt diese Segmente unter Berücksichtigung des Kontextes vor und nach jeder Aktion.
- Ein zweites 27B-Modell, Flora-Rewarder genannt, erfüllt je nach Prompt drei Aufgaben: Es bewertet den Erfolg einer Episode auf einer Skala von 1 bis 5, klassifiziert jeden Halbsekundenschritt als normal, suboptimal oder Fehler und weist Punkte basierend auf selbst definierten Rubriken zu.
Kosten- und Leistungsvergleich
In einem Test mit 50 Videos erzielte Flora laut Nvidia eine leicht bessere Punktzahl als GPT-6 Astra, obwohl OpenAI’s Modell seine volle Argumentationsfähigkeit nutzen durfte. Die Kosten für das Labeln einer Stunde Video belaufen sich mit Flora auf etwa 72 Cent, verglichen mit rund 88,50 US-Dollar für GPT-6 Astra. Claude Opus 5 schnitt im gleichen Test deutlich schlechter ab und kostete immer noch etwa 42 US-Dollar pro Stunde. Die Kostenzahlen für Flora sind dabei Projektionen, basierend auf einem angenommenen Mietpreis von 10 US-Dollar pro GPU pro Stunde.
Auf der öffentlichen WGO-Bench-Plattform ist Flora am besten beim Erkennen von Aktionsgrenzen, liegt aber im Gesamtscore hinter Astra und bei der reinen Beschreibungsgenauigkeit hinter Gemini 3.8 Flash. Die Verbesserungen resultieren hauptsächlich aus der „temporal localization“, also der präzisen Bestimmung des Zeitpunkts von Aktionen.
Auf Nvidias eigener DenseCaptionBench-Plattform führt Flora bei menschlichen Aufnahmen in allen Metriken, belegt aber bei Robotervideos den zweiten Platz hinter Astra. Bei der RoboRewardBench-Plattform ist Floras Fehlerrate um 27,8 Prozent niedriger als die von Astra, insbesondere bei teilweise abgeschlossenen Aufgaben. Flora-Rewarder erkennt 53,3 Prozent der fehlgeschlagenen Schritte innerhalb einer Episode, während kein Konkurrent über 11,7 Prozent kommt und Astra keinen einzigen erkennt. Im Gegenzug markiert Flora etwa 11 Prozent der normalen Schritte fälschlicherweise als Fehler. Astra führt weiterhin bei der Rubrik-basierten Bewertung und Trajektorien-Rangfolge.
In einem Video mit vielen kurzen Handbewegungen identifiziert Flora 34 von 37 einzelnen Aktionen, während Astra nur vier erkennt. Allerdings teilt Flora manchmal längere Aktionen in zu viele kleine Schritte auf und macht gelegentlich Fehler in den Beschreibungen, wie zum Beispiel das Beschreiben des Faltens einer Serviette, anstatt das Wischen eines Tellers.
Strategische Bedeutung für Nvidia
Nvidia positioniert Flora als offene Alternative zu kommerziellen Diensten wie Scale AI’s Physical AI Data Engine. Forscher können es nutzen, um ihre eigenen Robotik-Datensätze zu skalieren und Ansätze wie die Übertragung menschlicher Demonstrationen auf Roboter zu testen. Diese Initiative unterstützt Nvidias Strategie, Entwickler in seinem Hardware-Ökosystem zu halten und die Nachfrage nach seinen Chips zu steigern. Das Unternehmen investiert seit Längerem in die Kompensation des Mangels an Robotik-Trainingsdaten durch Simulation und automatisierte Datenverarbeitung. Flora ergänzt diese Pipeline um detaillierte Labels und Belohnungssignale aus Videos. All dies fügt sich in Nvidias Ziel ein, die gesamte Wertschöpfungskette der Robotik abzudecken, von Hardware und Trainingsdaten über Simulation bis hin zu den KI-Modellen selbst. Google’s kürzlich angekündigtes Gemini 4 Argon zielt auf einen ähnlichen Teil des Robotik-Trainingsprozesses ab.
Thema: Nvidia. Quelle/Inspiration: The Decoder.