Das Technologieunternehmen Runway forscht an einer Methode zur Echtzeit-Generierung von Videos mittels Künstlicher Intelligenz. Ziel ist es, Nutzern zu ermöglichen, Videos zu streamen, während sie ihre Eingaben machen, anstatt auf fertig generierte Clips warten zu müssen. Dieser Ansatz baut auf Runways eigenem „General World Model“ namens GWM-1 auf, das im Dezember 2025 vorgestellt wurde.
Technologischer Ansatz und Effizienz
Im Gegensatz zu heutigen Videomodellen, bei denen Nutzer eine Eingabeaufforderung eingeben und dann Sekunden oder Minuten auf ein fertiges Video warten, will Runway den Prozess umkehren. GWM-1 generiert Videos Bild für Bild und kann dabei Kamerabewegungen, Roboterbefehle oder Audio als Steuerungselemente verarbeiten. Das Unternehmen diskutierte diesen Ansatz bereits im März im Rahmen von „Runway Characters“. Runway betont, dass Nutzer derzeit viel Zeit mit dem Generieren und Überarbeiten von Videos verbringen. Die Echtzeit-Generierung soll die Zeit bis zum ersten Bild minimieren und dann das Video streamen, während der Nutzer es anpasst.
Runway sieht in der sofortigen Rückmeldung einen Weg, die Lücke zwischen Idee und Umsetzung zu schließen. Nutzer könnten so den Großteil ihrer Zeit aktiv mit der Steuerung des Videos verbringen, anstatt zu warten. Ein weiterer Vorteil seien geringere Kosten, da schnellere Modelle weniger GPU-Zeit beanspruchen. Dies würde die Wirtschaftlichkeit von Anwendungen verbessern, die zuvor unrentabel waren.
Herausforderung der Fehlerkorrektur
Ein zentrales Problem bei der Videogenerierung ist, dass sich kleine Fehler, die ein Modell in einem Bild macht, im Laufe der Zeit zu größeren Verzerrungen summieren können, da jedes Bild auf dem vorherigen aufbaut. Runway begegnet diesem Problem, indem das Modell nicht nur mit fehlerfreien Eingaben, sondern auch mit den eigenen Ausgaben trainiert wird. Dies soll dem Modell beibringen, eigene Abweichungen zu korrigieren, anstatt sie zu verstärken. Ähnliche Ansätze verfolgt das Startup Decart mit seinem Modell MirageLSD, das bewusst fehlerhafte Bilder im Training nutzt, und Google DeepMind mit seinem Weltmodell Genie 3, das interaktive Welten über mehrere Minuten konsistent hält.
Laut Runway verlagert die Echtzeit-Generierung die Rechenlast vom Training zur Nutzung. Das Modell muss jedes Bild schnell genug erzeugen, um mit der Wiedergabe Schritt zu halten, während es auf Hardware läuft, die von mehreren Sitzungen gleichzeitig genutzt wird.
Anwendungsfelder und Branchenlösungen
Interaktive Anwendungen werden von Runway als das größte langfristige Einsatzgebiet für KI-generierte Medien angesehen. Bereiche wie Bildung, Gaming und Robotik erfordern Videos, die so schnell reagieren wie der Betrachter selbst. Auch bei der Bewertung des Verhaltens von Robotern oder autonomen Fahrzeugen sind Umgebungen gefragt, die in Echtzeit generiert werden und sofort auf seltene oder unerwartete Szenarien reagieren. Runway hat hierzu bereits GWM Robotics vorgestellt, eine Variante von GWM-1 zur Generierung synthetischer Trainingsdaten für Roboter.
Waymo verfolgt einen vergleichbaren Ansatz mit dem Waymo World Model, das auf Genie 3 basiert und für den Straßenverkehr adaptiert ist. Es ermöglicht Waymo, Situationen zu simulieren, die die Fahrzeugflotte noch nie beobachtet hat, etwa die Begegnung mit einem Elefanten oder einem Tornado. Laut Waymo legt der Waymo Driver Milliarden von Meilen in virtuellen Welten zurück, bevor er Szenarien auf öffentlichen Straßen begegnet.
Im März präsentierte Runway zudem eine Forschungsvorschau eines Echtzeitmodells, das in Zusammenarbeit mit Nvidia auf der GTC-Konferenz des Chipherstellers entwickelt wurde. Dieses Modell läuft auf der Vera-Rubin-Plattform und ist darauf ausgelegt, das erste Bild in unter 100 Millisekunden zu liefern. Einen Zeitplan für die allgemeine Verfügbarkeit hat Runway bisher nicht bekannt gegeben.
Thema: Technologie / KI allgemein. Quelle/Inspiration: The Decoder.