Nvidia hat ein neues System namens SoL-Pi vorgestellt, das den Token-Verbrauch von KI-Coding-Agenten um bis zu 49 Prozent senkt. Dies geschieht durch die Optimierung der sogenannten „Harness“, der Steuerungsebene zwischen dem KI-Modell und seiner Umgebung, wobei die Leistung der Agenten nahezu unverändert bleibt.
Automatisierte Effizienz für KI-Agenten
KI-Agenten verursachen hohe Kosten durch ihren steigenden Token-Verbrauch bei komplexen, autonomen Aufgaben. Während bisherige Effizienzansätze oft das KI-Modell selbst betrafen, konzentriert sich SoL-Pi auf die „Harness“ – die Kontrollschicht, die die Interaktion eines Agenten mit seiner Umgebung steuert. Diese Schicht ist komplex und manuell schwer zu optimieren, da Werkzeugnutzung, Kontextverwaltung und Fehlerbehandlung eng verknüpft sind. SoL-Pi automatisiert dies: Ein Forschungs-Agent beobachtet die Ausführungsspuren anderer Agenten, schlägt Änderungen vor und testet diese in simulierten Umgebungen. Das System identifizierte vier Hauptmechanismen zur Token-Einsparung:
- Action Fusion: Fasst aufeinanderfolgende Aktionen (z.B. Codeänderung und Testlauf) zusammen, um einen Sprachmodell-Aufruf zu eliminieren.
- Online Context Compact: Kürzt den angesammelten Kontext nach jedem Planungsschritt, wenn dies ohne Informationsverlust möglich ist.
- ObservationPack: Archiviert lange Werkzeugausgaben und ersetzt sie in späteren Schritten durch kurze Zusammenfassungen.
- Evidence-Preserving Reducer: Leitet große Fehler- und Testprotokolle an ein kostengünstigeres Modell zur Zusammenfassung weiter, inklusive automatischer Verifizierung.
Leistung und Kosteneinsparungen
Auf dem EdgeBench-Benchmark mit 51 öffentlichen Aufgaben erreichte SoL-Pi eine Leistung, die der ursprünglichen Pi-Harness entspricht. Die effizienteste Variante, die alle vier Mechanismen nutzt, reduziert den Token-Verbrauch um 49 Prozent und erreicht 93,7 Prozent der Pi-Leistung. Eine auf Performance optimierte Variante übertrifft Pi um 5,3 Prozent und spart dennoch Tokens. Insgesamt liegen die Token-Einsparungen zwischen 44,7 und 49 Prozent. Die Autoren schätzen stündliche Einsparungen von 8,75 bis 13,50 US-Dollar gegenüber nativen Codex- und Claude-Code-Harnesses und 4,36 bis 5,71 US-Dollar gegenüber Pi, basierend auf aktuellen API-Preisen.
Ergebnisse jenseits des Benchmarks
Außerhalb von EdgeBench fielen die Ergebnisse gemischter aus. Auf Terminal-Bench 4 löste SoL-Pi 15 von 63 Aufgaben, während Codex und Pi jeweils 18 lösten; die Gesamtkosten waren jedoch etwa ein Viertel niedriger. Bei den Lean 4-Aufgaben der IMO 2026 knackte das System drei von sechs Problemen zu den niedrigsten Kosten pro gelöster Aufgabe. Die Relevanz der Harness-Optimierung wird durch Tests von Composio unterstrichen, die zeigten, dass die Kosten pro gelöster Aufgabe bei gleichem Modell je nach Agenten-Framework um fast das Dreifache variieren können.
Thema: Nvidia. Quelle/Inspiration: The Decoder.