Google-Forscher haben eine neue Methode namens RRSI (Regularized Recursive Self-Improvement of Agent Harnesses) entwickelt, die die Leistung selbstoptimierender KI-Agenten auf neuen, unbekannten Aufgaben um bis zu 4,7 Punkte verbessert. Gleichzeitig reduziert dieser Ansatz den Token-Verbrauch um rund 30 Prozent im Vergleich zu unregulierten Versionen.
Das Problem der Spezialisierung bei KI-Agenten
Moderne KI-Agenten – Software, die eigenständig Aufgaben ausführt und ihre Umgebung optimiert – integrieren ein festes Sprachmodell in ein sogenanntes Harness. Dieses Framework aus Prompts, Workflows, Tools, Speicher und Logik steuert, was das Sprachmodell in jedem Schritt sieht und wie es agiert. Fortschritte bei KI-Agenten resultieren oft aus der Weiterentwicklung dieser Harnesses, nicht aus neuen Sprachmodellen selbst. Traditionell wurden diese Harnesses manuell angepasst, doch neuere Methoden nutzen Sprachmodelle, um das Harness basierend auf Feedback aus Testaufgaben immer wieder selbst zu optimieren. Dieser Prozess wird als rekursive Selbstverbesserung bezeichnet.
Die Forschung zeigt jedoch, dass diese Selbstoptimierung einen Haken hat: Da der Agent immer wieder an denselben begrenzten Testaufgaben arbeitet, neigt er dazu, diese auswendig zu lernen. Dies führt zwar zu besseren Ergebnissen auf den Trainingsaufgaben, die Leistung auf neuen, unbekannten Aufgaben stagniert jedoch oder verschlechtert sich sogar. Die Forscher erklären dies damit, dass das System Muster memorisiert, die nur zu einer spezifischen Benchmark passen, rein zufällig gut abschneidende Kandidaten bevorzugt oder unnötige Komplexität hinzufügt, die den Testwert erhöht, ohne den Agenten tatsächlich besser zu machen.
Wie RRSI die Generalisierung verbessert
RRSI setzt an beiden Enden des Optimierungskreislaufs an, um die Überanpassung zu verhindern, während das Harness vollständig editierbar bleibt. Wenn das System Änderungen vorschlägt, begrenzt ein Budget die Anzahl unabhängiger Bearbeitungen, die ein Kandidat gleichzeitig bündeln kann. Dieses Budget schrumpft im Laufe der Zeit: Frühe Runden erlauben größere Umschreibungen, während spätere Runden nur kleine Änderungen zulassen, die klar auf ein Ergebnis zurückgeführt werden können. Das System verfolgt auch frühere Versuche, um zu vermeiden, dass immer wieder denselben erfolglosen Ideen nachgegangen wird. Wenn der Fortschritt stagniert, experimentiert RRSI gezielt mit Teilen des Harness, die noch nicht berührt wurden.
Bei der Auswahl von Änderungen prüft ein „Kritiker“ jeden Vorschlag und verwirft alle, die Aufgabennamen, Lösungen oder andere benchmarkspezifische Tricks festschreiben. Eine weitere Regel akzeptiert höhere Rechenkosten nur, wenn sie mit einem messbaren Leistungszuwachs einhergehen. Komponenten, die nicht mehr helfen, werden entfernt.
Deutliche Leistungssteigerungen auf unbekannten Aufgaben
Die Forscher testeten RRSI an acht Benchmarks – standardisierten Testaufgaben zur Leistungsbewertung – die Codierung, agentische Büroarbeit und technisches Design umfassten. Das zugrunde liegende Modell, Claude Opus 4.8, blieb während der gesamten Tests unverändert. Das Team verglich RRSI mit dem unmodifizierten Basis-Harness und vier neueren Optimierungsmethoden.
Laut der Studie erzielte RRSI auf den Trainingsaufgaben eine Steigerung von bis zu 14,1 Punkten. Entscheidender ist jedoch der Zuwachs von bis zu 4,7 Punkten auf fünf unbekannten Benchmarks. Die Leistung auf diesen ungesehenen Benchmarks fiel nie unter die Ausgangsbasis, was bei Harnesses, die ihre Aufgaben auswendig gelernt haben, typischerweise der Fall ist. Während alle getesteten Methoden auf den Trainingsaufgaben gut abschnitten, kehrten sich die Ergebnisse bei neuen Aufgaben um. RRSI zeigte hier die geringste Steigerung auf Trainingsaufgaben, war aber die einzige Methode, die auf unbekannten Aufgaben deutlich über der Basislinie lag. Dies unterstreicht den beabsichtigten Kompromiss zugunsten der Generalisierungsfähigkeit.
Zudem benötigt RRSI etwa 30 Prozent weniger Tokens – die grundlegenden Einheiten von Text, die von Sprachmodellen verarbeitet werden – zur Laufzeit als die unregulierte Version. Die Autoren betonen, dass ihre Studie Harnesses um feste Modelle abdeckt und keine Fälle behandelt, in denen sich die Modellgewichte ändern. Sie kommen zu dem Schluss, dass Selbstverbesserung KI-Agenten nur dann zuverlässig leistungsfähiger macht, wenn wiederholtes Feedback zu dauerhaften Änderungen führt. Der Code ist auf GitHub verfügbar.
Ähnliche Forschungen sind auch von anderen Akteuren bekannt. Nvidia präsentierte kürzlich SoL-Pi, eine verwandte Methode, bei der ein Forschungsagent das Harness von Code-Agenten automatisch umbaut und den Token-Verbrauch um bis zu 49 Prozent senkt. Google selbst hatte zuvor Agenten „träumen“ lassen, um ihre Suchstrategie zu verbessern – ebenfalls ohne das zugrunde liegende Modell zu verändern.
Thema: Google. Quelle/Inspiration: The Decoder.