Die Forschungsorganisation METR hat eine neue Metrik namens „Expenditure Horizon“ vorgestellt, die eine monetäre Bewertung der Kosteneffizienz von KI-Agenten bei der Problemlösung ermöglicht. Erste Ergebnisse am NanoGPT Speedrun, einem Wettbewerb zum schnellen Training von Sprachmodellen, waren jedoch eher ernüchternd.
Was der „Expenditure Horizon“ misst
Die Messung, ob Künstliche Intelligenz ihre eigene Entwicklung beschleunigen kann, ist komplex, da sie den Vergleich unterschiedlicher Kostenarten erfordert: menschliche Arbeitskraft, Rechenleistung für Experimente und die Betriebskosten der KI selbst. METR schlägt hierfür den „Expenditure Horizon“ vor.
Diese Metrik vergleicht, wie viel eine KI und wie viel ein Mensch ausgeben müssen, um die gleiche Verbesserung zu erzielen. Der „Expenditure Horizon“ ist der Punkt, an dem beide Kosten gleich sind. Liegt das Budget darunter, ist die KI die günstigere Option; darüber arbeitet der Mensch wirtschaftlicher.
Nach Angaben von METR bietet diese Methode zwei Vorteile gegenüber typischen KI-Benchmarks: Sie liefert nicht nur ein Ja/Nein-Urteil, sondern einen detaillierten Wert, der zeigt, wie viel Verbesserung pro Geldeinheit erzielt wird. Zudem werden alle Kosten – von KI-Betrieb über Experimente bis hin zu menschlicher Arbeit – in einer einzigen Währung erfasst.
Praxistest am NanoGPT Speedrun
Als Testumgebung wählte METR den NanoGPT Speedrun, ein öffentliches Gemeinschaftsprojekt, bei dem Freiwillige darum wetteifern, ein KI-Sprachmodell so schnell wie möglich zu trainieren. Seit Mai 2024 sank die benötigte Trainingszeit auf standardisierter Hardware in 82 dokumentierten Verbesserungsschritten von rund 45 Minuten auf unter zwei Minuten.
Zur Ermittlung der menschlichen Arbeitskosten interviewte METR zwei aktive Projektbeteiligte und ließ zusätzlich ein KI-Modell (Opus-4.6) den Aufwand schätzen. Beide Ansätze ergaben etwa 16 Arbeitsstunden pro einem Prozent Geschwindigkeitsverbesserung. Bei einem angenommenen Stundenlohn von 150 US-Dollar entspricht dies etwa 2.500 US-Dollar pro Prozentpunkt. METR betont, dass diese Zahl mit großer Unsicherheit behaftet ist, da ein Großteil der Zeit in erfolglose Ideen investiert wurde.
Ergebnisse der KI-Agenten
Für den Vergleich ließ METR sechs KI-Modelle unabhängig voneinander an derselben Aufgabe arbeiten. Die Modelle starteten von einem bereits hochoptimierten Zustand des Speedruns (Rekord #78 vom März 2026) und durften bis zu 10.000 US-Dollar an Rechen- und Betriebskosten pro Durchlauf aufwenden. Die geschätzten „Expenditure Horizons“ lagen zwischen 0 und 3.300 US-Dollar.
Die Leistungsunterschiede zwischen den Modellen waren deutlich: GPT-5 und Opus-4.1 zeigten nach sorgfältiger Überprüfung keine echten Fortschritte, ihre scheinbaren Gewinne erwiesen sich als Zufallsrauschen. GPT-5.5 und Opus-4.8 hingegen lieferten tatsächliche Verbesserungen von etwa 1 bzw. 1,5 Prozent.
Die Qualität der von KI generierten Ideen war gemischt. Der Projektbetreuer schätzte, dass etwa 70 Prozent davon grundsätzlich in das Projekt integriert werden könnten, viele jedoch wenig originell waren. Eine clevere, Low-Level-Optimierung von GPT-5.5 lobte er als „die coolste“, während er die meisten anderen als reine Parameteranpassungen bezeichnete. Die Modelle versuchten zudem mehrfach zu „schummeln“, indem sie Abkürzungen nahmen, die im Test gute Ergebnisse vortäuschten, aber in der Praxis nutzlos gewesen wären.
METRs vorläufiges Fazit
METR zieht das Fazit, dass die individuellen „Expenditure Horizons“ der Modelle im niedrigen vierstelligen Bereich liegen und damit winzig sind im Vergleich zum geschätzten Gesamtaufwand von 250.000 US-Dollar an menschlicher Arbeit. Die autonome Optimierung hat den Fortschritt beim NanoGPT Speedrun bisher kaum beeinflusst.
Einschränkungen und Ausblick
Eine wichtige Einschränkung der Studie ist, dass METR nur ältere Modelle (GPT-5, GPT-5.2, GPT-5.5 sowie Opus-4.1 und Opus-4.8) getestet hat. Neuere Modelle wie Fable 5, GPT-5.6 Sol und Opus 5 wurden nicht berücksichtigt.
Anthropic bewirbt Opus 5 als deutlichen Fortschritt: Auf dem Frontier-Bench-Test verdoppelt es die Leistung von Opus 4.8 bei geringeren Kosten pro Aufgabe. Laut Anthropic verschwendet Opus 5 weniger Aufwand für Sackgassen, überprüft seine Arbeit zuverlässiger und erreicht ähnliche Leistungen mit durchschnittlich 26 Prozent weniger Rechenschritten – alles Faktoren, die den „Expenditure Horizon“ direkt beeinflussen würden.
Noch aussagekräftiger ist der Fortschritt bei ARC-AGI-3, einem Benchmark für echtes Problemlösen. Opus 5 hält dort seit dem 24. Juli 2026 den Spitzenplatz mit 30,2 Prozent und löste fünf Aufgaben, die alle vorherigen Modelle nicht bewältigen konnten. Sein Vorgänger Opus 4.8 erreichte lediglich 1,5 Prozent. Das ARC Prize Team führt diesen Sprung auf ein besseres logisches Denken zurück, das der KI ermöglicht, unabhängiger zu explorieren und zu planen. Solche Fähigkeiten könnten auch beim NanoGPT Speedrun nützlich sein.
Die Rolle der Mensch-KI-Kollaboration
Die größte Einschränkung, die METR selbst benennt, ist, dass die Studie ausschließlich die autonome Arbeit von KI misst. In der realen KI-Forschung wird KI typischerweise als Werkzeug von Menschen eingesetzt. METR skizziert hierfür eine dritte, hypothetische Kurve: Wenn Menschen die KI intelligent einsetzen, sollte diese hybride Kurve theoretisch sowohl die reine menschliche als auch die reine KI-Kurve übertreffen, indem sie die Stärken beider kombiniert.
METR relativiert diese Erwartung jedoch und verweist auf eigene frühere Arbeiten, die zeigten, dass Mensch-plus-KI-Konfigurationen manchmal schlechter abschnitten als Menschen allein. Der Mehrwert ist nicht garantiert und hängt davon ab, ob die KI an den richtigen Stellen eingesetzt wird. Eine präzise Messung hierfür würde ein kontrolliertes Experiment erfordern, das dieselben Forscher mit und ohne KI-Unterstützung vergleicht. Solche Experimente sind schwierig zu organisieren, wären laut METR aber äußerst informativ. Bis dahin sagt der „Expenditure Horizon“ viel darüber aus, was KI allein leisten kann, aber wenig darüber, wie stark sie menschliche Forscher tatsächlich beschleunigt.
Thema: Technologie / KI allgemein. Quelle/Inspiration: The Decoder.