Eine aktuelle Studie von Forschenden der Princeton University und der UC San Diego beleuchtet, warum sogenannte „Skills“ die Leistungsfähigkeit von KI-Agenten steigern und wo ihre Grenzen liegen. Die Untersuchung zeigt, dass der Hauptnutzen von Skills in der Bereitstellung strukturierter Arbeitsabläufe liegt und weniger im Zuführen neuen Wissens. Allerdings erschwert eine wachsende Anzahl von Skills im System die korrekte Auswahl der passenden Anleitung für den Agenten.
Was „Skills“ für KI-Agenten bedeuten
„Skills“ sind als praktische Methode gedacht, um KI-Agenten leistungsfähiger zu machen, ohne sie neu trainieren zu müssen. Im Kern handelt es sich bei einem Skill um eine kompakte Sammlung von Anweisungen. Diese definieren die Schritte, die ein KI-Agent für eine bestimmte Aufgabe befolgen soll, welche Prüfungen er durchführen muss und welche typischen Fehler zu vermeiden sind. Statt jede neue Aufgabe von Grund auf neu anzugehen, greift der Agent auf diese gespeicherten Erfahrungen zurück. Bisher wurde der Wert von Skills lediglich daran gemessen, ob ein Agent mit Skills mehr Aufgaben löste. Der genaue Mechanismus dahinter blieb jedoch unklar.
Studienergebnisse: Struktur schlägt Wissen
Ein Forschungsteam der Princeton University, UC San Diego und weiterer Institutionen untersuchte diese Frage in kontrollierten Experimenten. Die Autoren verglichen das Verhalten von Agenten mit und ohne Skill bei identischen Aufgaben in insgesamt 8.135 Testläufen.
Das Hauptergebnis: Skills helfen primär, weil sie den Agenten einen zuverlässigen Prozess zur Verfügung stellen, dem sie folgen können. Dieser Effekt, den die Forschenden als „prozedurale Verankerung“ bezeichnen, war für 65,7 Prozent der Fälle verantwortlich, in denen ein Agent mit Skill bessere Leistungen erbrachte als einer ohne. Das direkte Bereitstellen von fehlendem Wissen trug hingegen nur in 4,5 Prozent der getesteten Fälle zur Verbesserung bei.
Skills stabilisieren demnach hauptsächlich die Handlungen des Agenten, indem sie festlegen, welche Einrichtungsschritte auszuführen sind, welche Werkzeuge in welcher Reihenfolge zu nutzen sind und welche Zwischenprüfungen notwendig sind. Dies reduziert offensichtlich bestimmte Ausführungsfehler, wie beispielsweise Probleme bei der Einrichtung der Arbeitsumgebung oder falsche Ausgabeformate.
Herausforderungen bei der Skill-Nutzung
Skills können jedoch auch neue Fehlerquellen schaffen. In 10 Prozent der Fälle, so die Studie, wandte der Agent einen ansonsten nützlichen Skill mechanisch oder unpassend an. Bei Aufgaben, die eine grundlegend andere Lösung erfordern, ist der falsche Skill offensichtlich keine Hilfe. Eine exakte Übereinstimmung des Skills mit der Aufgabe ist dabei weder ausreichend noch zwingend erforderlich; oft genügen auch verwandte Skills, um die nötige Orientierung zu bieten.
Ein weiteres Problem ist das Auffinden des richtigen Skills. Wenn die Skill-Bibliothek von 5 auf 100 Einträge anwächst, sinkt die Präzision bei der Skill-Abfrage im praktischen Einsatz von 29,6 auf 3,3 Prozent in den Tests. Optionen, die sich besonders ähnlich anhören, erschweren die Auswahl zusätzlich.
Die Forschenden betonen, dass die Nutzung von Skills als Lebenszyklus betrachtet werden sollte. Die Entwicklung besserer, selbstlernender Agenten wird nicht durch das Speichern von mehr Erfahrungen erreicht, sondern durch zuverlässigere Methoden zur Erstellung, Abfrage und Anwendung dieser Erfahrungen.
Thema: Technologie / KI allgemein. Quelle/Inspiration: The Decoder.