Teams von Künstliche-Intelligenz-Agenten liefern in den meisten Fällen kaum bessere Ergebnisse als einzelne Agenten, verursachen aber deutlich höhere Kosten. Dies geht aus einer aktuellen Untersuchung des Evals-Unternehmens Vals AI hervor, die Modelle wie GPT-6 Sol und Claude Opus 5.5 umfasste.
Geringer Qualitätsgewinn bei hohen Kosten
Vals AI testete GPT-6 Sol und Claude Opus 5.5 auf dem „Vibe Code Bench“, sowohl als Einzelagenten als auch in Teams, unter zwei verschiedenen Denkaufwänden: mittlerem und maximalem. Die Ergebnisse zeigten, dass die Team-Konfigurationen zwischen dem 1,8-fachen und 5,1-fachen der Kosten von Einzelagenten verursachten. Diese Kosten beziehen sich auf die sogenannten Tokens, die als Maßeinheit für die Verarbeitung und somit die Kosten von KI-Modellen dienen.
Von vier durchgeführten Vergleichen zwischen Teams und Einzelagenten ergab sich lediglich in einem Fall eine statistisch signifikante Verbesserung: GPT-6 Sol erreichte bei mittlerem Denkaufwand als Team 7,3 Punkte mehr. Bei maximalem Denkaufwand bot die Team-Einrichtung weder Sol noch Opus 5.5 einen nennenswerten Vorteil. Die Studien deuten darauf hin, dass der zusätzliche Aufwand für Agenten-Teams in den meisten Szenarien nicht gerechtfertigt ist, insbesondere wenn die Modelle bereits mit voller Rechenleistung arbeiten.
Anthropic und Fable 5.1 bestätigen Trend
Interne Daten von Anthropic, dem Entwickler von Claude Opus 5.5, stützen diese Ergebnisse. In zwei eigenen Tests mit Opus 5.5 stellte das Unternehmen fest, dass die Qualitätsgewinne mit zunehmender Anzahl von Agenten abnahmen. Größere Teams erreichten zwar ein bestimmtes Leistungsniveau schneller, doch eine Skalierung von zehn auf hundert Agenten führte nach 24 Stunden nur zu einer geringfügigen Steigerung der Ergebnisse. Separate Tests auf dem „ProgramBench“ zeigten, dass Geschwindigkeitsvorteile mit einem höheren Token-Verbrauch einhergingen.
Das Modell Fable 5.1 zeigte bei der Aufgabe des Lean-Theorem-Beweisens ab zehn Agenten stärkere Qualitätsgewinne, blieb jedoch in allen Tests unter der Leistung von Opus 5.5. Bei einer Wissensdatenbank-Aufgabe sank Fables Ergebnis sogar leicht, als die Anzahl der Agenten von 30 auf 100 erhöht wurde.
OpenAI-Experten warnen vor „Koordinationssteuer“
Auch Forscher von OpenAI teilen diese Einschätzung. Noam Brown, ein Forscher bei OpenAI, bestätigte in einem Podcast, dass Multi-Agenten-Systeme hauptsächlich Geschwindigkeit, aber keine bessere Qualität liefern. Vier Agenten lösten Aufgaben doppelt so schnell, kosteten aber auch doppelt so viel. Bei 16 Agenten setzte sich dieses Muster fort, wenn auch mit leicht abnehmender Effizienz.
Brown betonte, dass der Effekt stark von der Art der Aufgabe abhängt. Während Web-Recherche und mathematische Probleme gut parallelisiert werden können, ist dies beim Schreiben eines Romans nicht der Fall. Er verglich den Versuch, 10.000 Agenten für einen Roman einzusetzen, mit dem Einsatz von 10.000 Menschen für dieselbe Aufgabe – beides wäre sinnlos. Die Skalierung auf sehr große Agentenzahlen sei größtenteils unerforscht, da die Kosten schlichtweg zu hoch seien.
Eric Provencher, ein Entwickler bei OpenAI, warnte kürzlich aus genau diesem Grund vor dem Einsatz von Agentenschwärmen. Sie seien höchstwahrscheinlich verschwendetes Geld, da die Koordination zwischen den Agenten zusammenbreche. Er bezeichnete dies als „Koordinationssteuer“.
Thema: Anthropic. Quelle/Inspiration: The Decoder.