Reka AI hat eine Forschungsvorschau ihres neuen Omni-Modells Rho-1 vorgestellt. Dieses Modell mit 19 Milliarden Parametern ist in der Lage, Text, Bilder, Video und Robotersteuerungsaktionen in einem einzigen neuronalen Netz zu verarbeiten und zu generieren.
Einheitliche Verarbeitung verschiedener Modalitäten
Im Gegensatz zu vielen aktuellen KI-Systemen, die Aufgaben an spezialisierte Modelle weiterleiten, verarbeitet Rho-1 alle Datenmodalitäten – also Text, Bilder, Videos und Steuerbefehle – als Tokens in einem einzigen gemeinsamen Kontextfenster. Dies bedeutet, dass keine externen Modelle oder Werkzeugaufrufe für die verschiedenen Aufgaben notwendig sind. Das Modell kann kontinuierlich Videos in Echtzeit generieren und auf neue Anweisungen reagieren, ohne neu starten zu müssen.
Die Architektur von Rho-1 ermöglicht es, dass dieselben Gewichte im neuronalen Netz sowohl für die Vorhersage von Kamerabildern als auch für die Steuerung von Roboterbewegungen verantwortlich sind. Um dem Mangel an Trainingsdaten für Robotikanwendungen entgegenzuwirken, hat Reka AI ein inverses Dynamikmodell entwickelt. Dieses Modell kann Steuersignale aus gewöhnlichen Internetvideos extrahieren, was die Datengrundlage erheblich erweitert.
Effizientes Training und strategische Ausrichtung
Rho-1 wurde über einen Zeitraum von etwa drei Monaten auf 320 H100 GPUs trainiert. Reka AI gibt an, dass dies nur einen Bruchteil der Rechenleistung darstellt, die für das Training der leistungsfähigsten Modelle heute erforderlich ist.
Reka AI ist bereits auf dem Gebiet der multimodalen KI aktiv. Im April 2024 veröffentlichte das Unternehmen Reka Core, ein multimodales Sprachmodell, das sich in Benchmarks mit Modellen wie GPT-4, Claude 3 und Gemini Ultra messen konnte. Die Veröffentlichung von Rho-1 fügt sich in einen breiteren Trend der KI-Forschung ein, der auf sogenannte „World Models“ abzielt.
Thema: Technologie / KI allgemein. Quelle/Inspiration: The Decoder.