Intel hat in einer umfangreichen Studie die Anforderungen an Agenten-Künstliche Intelligenz (KI) in Unternehmensumgebungen untersucht und dabei Tausende von Workload-Experimenten durchgeführt. Die Ergebnisse liefern fünf praktische Erkenntnisse für Führungskräfte, die aufzeigen, dass der Wert von Agenten-KI weit über verbesserte Chatbots hinausgeht.
Agenten-KI bezeichnet Software-Agenten, die Geschäftsaufgaben von Anfang bis Ende über Personen, Geschäftsprozesse, Daten und Systeme hinweg autonom ausführen. Es handelt sich um zielgesteuerte, automatisierte Unternehmens-Workflows, die mehrstufige Aufgaben planen, Tools nutzen, Ergebnisse auswerten und bei Fehlern Wiederholungsversuche unternehmen. Eine geeignete Plattform für solche Agenten erfordert entsprechende CPU-Kapazitäten, widerstandsfähigen Datenzugriff, richtlinienkonforme Werkzeugnutzung, Beobachtbarkeit, Speicherverwaltung sowie die Fähigkeit, Agenten planbar zu skalieren.
Agenten-KI als Systemproblem
Intel betont, dass der Unternehmenswert von Agenten-KI nicht allein von der Inferenzleistung großer Sprachmodelle (LLMs) abhängt, also der Fähigkeit der Modelle, Schlussfolgerungen zu ziehen oder neue Inhalte zu generieren. Vielmehr sei es ein Systemproblem, das die gesamte Systemarchitektur, Aufgabenkoordination, Datenzugriff, Werkzeugausführung, Latenzmanagement, Governance und skalierbare Infrastruktur umfasse.
Neue Metriken für die Leistungsmessung
Während sich viele Metriken auf die Bewertung des verwendeten LLMs konzentrieren, müssen Plattformteams laut Intel auch die Aufgabenbearbeitungszeit, die Kapazität der Agenten-Flotte, die Benutzererfahrung und die Kostenentwicklung bei gleichzeitiger Agentennutzung berücksichtigen. Um dies zu ermöglichen, erweiterte Intel das Open-Source-Benchmarking-Tool Terminal-Bench um Profiling-, Telemetrie- und Replay-Funktionen. Dies erlaubte eine genauere Analyse der Zeitverteilung der Agenten jenseits der reinen LLM-Inferenz.
Agentendichte statt reiner Anzahl
Eine wichtige Regel für die Kapazitätsplanung ist die Normalisierung der Agentenanzahl durch die verfügbare Rechenleistung. Die Agentendichte, gemessen als Agenten pro vCPU (virtueller CPU-Kern), dient als primäres Signal für die Systemauslastung. Systeme mit gleicher Agentendichte zeigen ähnliches Verhalten, unabhängig von der absoluten Anzahl der Agenten oder der Systemgröße. Die optimale Dichte hängt dabei vom Geschäftsziel ab: Interaktive Anwendungen erfordern eine geringere Dichte für schnelle Reaktionszeiten, während Batch-Workloads höhere Dichten vertragen können.
Erweiterte Beobachtbarkeit erforderlich
Die durchschnittliche CPU-Auslastung ist ein unzureichendes Leistungssignal für Agenten-Workloads, da diese oft zwischen Wartezeiten auf Modellantworten und kurzen, intensiven Rechenphasen wechseln. Dieser „bursty“ Charakter kann dazu führen, dass die durchschnittliche Auslastung akzeptabel erscheint, während in Spitzenzeiten Engpässe und Wartezeiten entstehen. Eine bessere Kennzahl ist die P95-Latenz (95. Perzentil der Latenz), die anzeigt, wann Workflows anfangen zu warten, noch bevor sich die durchschnittliche Aufgabenzeit merklich verschlechtert.
Standardskalierung: Scale-out
Die Testdaten von Intel zeigen, dass „Scale-out“ (Hinzufügen weiterer Systeme zur Erhöhung der Gesamtkapazität) in der Regel die bessere Standardstrategie ist. Agenten sind typischerweise semi-unabhängig und haben moderate Leistungsspitzen pro Agent. Scale-out verbessert die Gesamtleistung, unterstützt hohe Verfügbarkeit und kann die Kosten senken. „Scale-up“ (Hinzufügen von Kernen oder Speicher zu einem einzelnen System) ist nur dann sinnvoll, wenn Agenten intensive parallele Berechnungen erfordern, gemeinsame Zustände die Partitionierung einschränken, die Speicherlokalität wichtig ist oder Lizenzbeschränkungen vorliegen.
Geschäftlichen Mehrwert im Fokus
Erfolgreiche Implementierungen von Agenten-KI finden sich dort, wo bestehende Workflows bereits kodifizierte Regeln und messbare Service-Levels aufweisen, beispielsweise bei der Code-Erstellung, Regressionstests oder der Marktanalyse. Der Wert von Agenten-KI liegt demnach darin, Unternehmen dabei zu unterstützen, reale Aufgaben über Teams, Systeme, Daten und Prozesse hinweg effizienter zu erledigen, die Produktivität zu steigern und gleichzeitig Governance-Anforderungen zu erfüllen.
Thema: Technologie / KI allgemein. Quelle/Inspiration: MIT Technology Review.