Ein aktueller Test des KI-Tooling-Unternehmens Composio hat erhebliche Unterschiede in Kosten und Geschwindigkeit verschiedener KI-Agenten-Frameworks aufgezeigt. Für Entwickler, die auf künstliche Intelligenz basierende Agenten einsetzen, hat die Wahl des Frameworks einen direkten Einfluss auf Betriebskosten und Effizienz. Die Untersuchung, bei der das Sprachmodell Deepseek V4 Flash zum Einsatz kam, bewertete vier Frameworks – Claude Code, Codex, OpenCode und Oh My Pi – anhand von 30 realitätsnahen Aufgaben, die Tools wie Gmail, GitHub, Slack und Notion nutzten.
Leistung im Detail: Kosten und Geschwindigkeit
Die Ergebnisse von Composio zeigen, dass es bei der Leistung der Frameworks keine eindeutigen Sieger gab, sondern vielmehr ein Abwägen zwischen verschiedenen Metriken erforderlich ist. Claude Code erwies sich mit durchschnittlich 122 Sekunden pro Aufgabe als das schnellste Framework. Diese Geschwindigkeit hatte jedoch ihren Preis: Mit 0,195 US-Dollar pro erfolgreicher Aufgabe war Claude Code das teuerste Framework im Test, obwohl es die geringste Anzahl an Tool-Aufrufen benötigte und die wenigsten Ausgabe-Token generierte. Im Gegensatz dazu war OpenCode mit nur 0,073 US-Dollar pro erfolgreicher Aufgabe das kostengünstigste Framework.
Das Framework Oh My Pi erreichte die höchste Erfolgsquote mit 17 von 30 gelösten Aufgaben. Allerdings war es mit 272 Sekunden pro Aufgabe auch das langsamste im Vergleich. Die Erfolgsquoten der Frameworks lagen insgesamt nah beieinander, mit Ausnahme von OpenCode, das mit 14 von 30 Aufgaben leicht zurücklag. Bei sieben Aufgaben hing das Ergebnis sogar ausschließlich vom verwendeten Framework ab.
Erhebliche Preis- und Geschwindigkeitsunterschiede
Die größten Unterschiede zeigten sich in den Bereichen Kosten und Geschwindigkeit. Die Preisspanne zwischen dem günstigsten und teuersten Framework betrug fast das Dreifache, während die Geschwindigkeitsunterschiede das 2,2-Fache erreichten. Diese Diskrepanzen unterstreichen, dass die Auswahl des passenden Software-Wrappers für ein KI-Modell einen wesentlichen Einfluss auf die Wirtschaftlichkeit und Leistungsfähigkeit von KI-Agenten-Anwendungen hat.
Ein „Agenten-Framework“ ist eine Softwareumgebung, die die Entwicklung, Ausführung und Verwaltung von KI-Agenten vereinfacht. Diese Frameworks stellen Schnittstellen und Tools bereit, die es den Agenten ermöglichen, mit anderen Systemen zu interagieren und Aufgaben in der realen Welt auszuführen.
Thema: Claude. Quelle/Inspiration: The Decoder.