Microsoft-Forschende haben eine Methode namens „Fork-and-Flush“ entwickelt, die die Leistung autonomer KI-Agenten signifikant steigert. Durch das gezielte Löschen des Chat-Verlaufs, während der Arbeitsbereich intakt bleibt, erzielten die Agenten auf demselben Rechenbudget bis zu 66 Prozent bessere Ergebnisse. Dies geht aus einer aktuellen Studie hervor, die sich mit der Effizienz von langlaufenden KI-Forschungsagenten befasst.
Das Problem: „Ideenbecken“ und stagnierende Fortschritte
Die Studie von Microsoft Research untersuchte sogenannte „Autoresearch Agents“ – KI-Systeme, die selbstständig Lösungen vorschlagen, bewerten und basierend auf Feedback verfeinern. Die Forschenden stellten fest, dass diese Agenten trotz zusätzlicher Rechenleistung oft an einem „Plateau“ ankommen. Der Grund dafür ist ein wachsender Gesprächskontext, der die Suche der KI einschränkt. Die Agenten verfangen sich in „Ideenbecken“ (idea basins), also begrenzten Lösungsbereichen, aus denen sie nicht mehr entkommen können. Lösungen aus einem einzelnen Durchlauf blieben fast immer innerhalb eines kleinen Bereichs der Lösungslandschaft, selbst wenn andere Durchläufe deutlich bessere Ansätze gefunden hatten.
Acht unabhängige Durchläufe desselben Agenten bei gleicher Aufgabe zeigten erhebliche Leistungsunterschiede, mit Endwerten zwischen 68,3 und 100,0. Diese Leistungsunterschiede blieben auch bei deutlich mehr Rechenleistung bestehen. Ein großer Teil des verbleibenden Rechenbudgets wurde darauf verwendet, Lösungen innerhalb eines weniger produktiven Bereichs zu verfeinern, anstatt bessere Ansätze zu erkunden.
Die „Fork-and-Flush“-Methode
Die von den Forschenden vorgeschlagene „Fork-and-Flush“-Methode kombiniert zwei Mechanismen:
- Forking (Verzweigen): Der Agent teilt sich in K parallele Zweige auf. Jeder dieser Zweige erbt den vorherigen Arbeitsbereich und alle generierten Dateien.
- Flushing (Leeren): Jeder Zweig verliert seinen gesamten Chat-Kontext, behält aber den Arbeitsbereich. Dies ermöglicht es ihm, eine neue Konversation zu beginnen und auf der vorherigen Arbeit aufzubauen.
Ein Zweig, der den Chat-Kontext des übergeordneten Prozesses beibehält, neigt dazu, in dasselbe Ideenbecken zurückzukehren, da die vorherige Argumentation die nächsten Schritte lenkt. Ein frischer Kontext stellt die Vielfalt bei der Lösungsfindung wieder her. Der Gesprächsverlauf geht zwar verloren, aber der Code, die Dateien und gespeicherten Ergebnisse bleiben im Arbeitsbereich erhalten.
Konkrete Ergebnisse und Anwendungsbereiche
Die Forschenden testeten „Fork-and-Flush“ bei 13 langlaufenden Aufgaben, darunter:
- Polyomino-Packung
- Job-Shop-Scheduling (Ablaufplanung)
- Kryptanalyse
- Kompression eines CIFAR-Klassifikators
- Optimierung eines VLIW-Kernels
Die einzelnen Durchläufe dauerten zwischen mehreren Stunden und über 100 Stunden. Die Agenten verwendeten dabei Modelle wie GPT-5.6-terra und GPT-5.5 über die GitHub Copilot CLI.
Auf dem gleichen Rechenbudget erreichte „Fork-and-Flush“ einen min-max-normalisierten Durchschnittswert von 0,78, verglichen mit 0,47 für einzelne Durchläufe und 0,54 für das „Best-of-4“-Szenario. Die Studie berichtet über relative Leistungssteigerungen von 66,0 bzw. 44,4 Prozent. Die Methode erzielte bei 12 der 13 Aufgaben den höchsten Durchschnittswert. Zudem führte „Fork-and-Flush“ zu konsistenteren Ergebnissen, wobei die normalisierte Standardabweichung von 0,26 bei einzelnen Durchläufen auf 0,16 sank. Allein das Leeren des Chat-Kontextes ohne Verzweigung verbesserte die Ergebnisse bereits um 22 Prozent.
Beständigkeit des Effekts
Die Forschenden untersuchten auch, ob leistungsfähigere Modelle „Ideenbecken“ vermeiden. Sie testeten dies mit MAX-3-SAT-Problemen über drei Modellgrößen (Qwen3.5-4B, 9B und 27B). Die Varianz zwischen den Durchläufen folgte einer umgekehrten U-Kurve, die bei Aufgaben am Rande der Modellfähigkeiten ihren Höhepunkt erreichte – etwa auf halbem Weg zwischen zufälliger Leistung und der Leistung eines Referenz-Solvers.
Die Autoren argumentieren, dass offene Forschungsprobleme per Definition an den Grenzen der Modellfähigkeiten liegen. Sie erwarten, dass die von „Fork-and-Flush“ genutzte Variation bestehen bleibt, auch wenn sich die Modelle verbessern, wobei sich die Grenze lediglich zu schwierigeren Problemen verschiebt. Die Ergebnisse deuten darauf hin, dass regelmäßige Kontext-Resets auch für fortschrittliche Forschungsagenten weiterhin nützlich sein könnten.
Thema: Microsoft. Quelle/Inspiration: The Decoder.