Nvidia hat Nemotron 3.5 Super VL vorgestellt, ein offenes multimodales Modell, das speziell für KI-Agenten in Unternehmen entwickelt wurde und 120 Milliarden Parameter umfasst. Gleichzeitig erscheinen zwei kompakte Bolt-Modelle, die KI-Agenten auf lokale PCs und Edge-Geräte bringen sollen.
Nemotron 3.5 Super VL ist für spezialisierte Agenten konzipiert, die kontinuierlich im Hintergrund arbeiten und Texte, Bilder, Dokumente sowie Videos verarbeiten. Das Modell verwendet eine Mixture-of-Experts-Architektur, bei der pro Token nur 12 der 120 Milliarden Parameter aktiv sind. Nvidia hat es in Zusammenarbeit mit der Nemotron Coalition entwickelt, zu der Unternehmen wie Mistral AI, Thinking Machines Lab, Perplexity und Black Forest Labs gehören.
Leistung und Einsatzbereiche von Super VL
Nvidia zufolge erreicht Super VL die Genauigkeit des größeren Reasoning-Modells Nemotron 3 Ultra bei nur etwa einem Fünftel der Parameter. In Agenten-Tests von Hermes und LangChain übertrifft es sogar Ultra und erzielt in den Coding-Benchmarks SWE-bench und Terminal-Bench bessere Ergebnisse als sein Vorgänger Nemotron 3 Super.
Auf einer einzelnen GPU soll Super VL im Vergleich zu anderen offenen Modellen ähnlicher Größe eine bis zu fünffach höhere Leistung bei Agenten-Aufgaben bieten, basierend auf dem Artificial Analysis Leaderboard. Ein unabhängiger Test von EXO Labs auf dem DGX Spark ergab, dass kein anderes Modell gleichzeitig genauer und schneller war. Dieser Geschwindigkeitsvorteil ist besonders relevant für Agenten, die über Tage oder Wochen große Aufgabenvolumen bewältigen müssen.
Nvidia richtet sich mit Super VL an Unternehmen, die ihre Modelle mit eigenen Daten feinabstimmen und auf eigenen Servern betreiben möchten, um unabhängig von den Nutzungsbedingungen externer Anbieter zu sein. Beispiele hierfür sind Versicherungen, die kontinuierlich Betrugsfälle prüfen, oder Finanzdienstleister, die die Kreditwürdigkeit nach eigenen Kriterien bewerten. Für die Anpassung stellt Nvidia das NeMo-Framework, Python-Pipelines und offene Datensätze bereit.
Für die Bildverarbeitung konzentriert sich Super VL auf Materialien, die im Arbeitsalltag von Agenten üblich sind, wie OCR (Optical Character Recognition), Tabellen, Diagramme, mehrseitige Dokumente und Videos. Das Modell kann ein Diagramm interpretieren, es mit einer Tabelle an anderer Stelle im selben Dokument verknüpfen und beide zusammenfassen, ohne ein separates Bildmodell zu benötigen. Auf dem Chart-Benchmark CharXiv erreicht Super VL laut Nvidia 80,8 Prozent.
Die Bolt-Modelle für lokale Anwendungen
Gleichzeitig mit Super VL starten zwei kleinere Bolt-Modelle für lokale Hardware. Das Modell Bolt 74B-A9B 24GB ist für Agenten-Aufgaben auf lokalen Rechnern konzipiert. Es handelt sich um eine hybridisierte Mixture-of-Experts-Architektur, bei der nur 9 der 74 Milliarden Parameter pro Schritt aktiv sind. Um den Speicherbedarf auf 24 GB zu reduzieren, setzt Nvidia eine aggressive 2-Bit-Quantisierung der Gewichte ein. Bolt 74B-A9B 24GB ist für Entwickler und Besitzer leistungsstarker Workstations gedacht.
Für schwächere Geräte ist das Bolt E4B 4GB Modell geplant, das noch nicht ausgeliefert wurde. Es soll auf GeForce RTX-Karten, Jetson-Modulen sowie RTX/DGX Spark laufen und Sprachassistenten, interaktive Charaktere oder Geräteschnittstellen antreiben. Das Modell soll natürliche Konversationen führen, Tools über mehrere Schritte hinweg nutzen und sich des aktuellen App-Kontexts bewusst sein.
Frühe Anwender und deren Erfolge
Bereits Dutzende von Organisationen stimmen Super VL für ihre spezifischen Anforderungen ab, insbesondere in Branchen mit hohem Dokumentenaufkommen und sensiblen Daten. Scale AI hat das Modell für einen Agenten angepasst, der Kreditoren bei Skydance verwaltet, wobei die Kosten voraussichtlich auf ein Vierzigstel und die Reaktionszeit auf ein Fünftel sinken sollen. Ramp nutzt das Modell, um Fotos von Belegen in strukturierte Daten umzuwandeln, und erwartet zehnmal schnellere Reaktionen. EY setzt es für die Due Diligence bei Akquisitionen ein, und Hebbia für die Analyse von Kreditverträgen. Auch im Bereich Cybersicherheit findet Super VL Anwendung: AI21 hat das Modell für das Sicherheitsunternehmen Alice feinabgestimmt, das es zur Analyse von Bedrohungen und Schwachstellen einsetzt, wodurch die Genauigkeit laut Nvidia um 40 Prozent verbessert wurde.
Thema: Nvidia. Quelle/Inspiration: The Decoder.