Eine aktuelle Studie unabhängiger KI-Forscher im Rahmen des MATS-Forschungsprogramms offenbart, dass populäre KI-Code-Assistenten wie Anthropic’s Claude Code und OpenAI’s Codex erhebliche Schwächen im Zeitmanagement und in der Selbstbewertung aufweisen. Die untersuchten Modelle überschätzen die benötigte Arbeitszeit für Programmieraufgaben systematisch und bewerten die Qualität ihrer eigenen Ergebnisse deutlich zu hoch.
Fehlende Zeiteinschätzung bei Code-Assistenten
Die Forscher testeten die Fähigkeit der KI-Agenten, die Dauer von Aufgaben einzuschätzen und die bereits verstrichene Zeit zu beurteilen. Dazu wurden die Modelle vor jeder Programmieraufgabe um eine Schätzung gebeten und sollten anschließend retrospektiv die benötigte Zeit angeben. Als Testmaterial dienten 200 Aufgaben aus der ProgramBench-Sammlung sowie 18 zusätzliche Benchmarks der Forscher.
Die Ergebnisse zeigen, dass die Agenten die benötigte Zeit durchweg überschätzten. Bei den ProgramBench-Aufgaben schätzten beide Modelle meist etwa 90 Minuten, unabhängig vom Schwierigkeitsgrad. In einer zweiten Testrunde lag Claude Code durchschnittlich um das Dreifache daneben, während Codex die Dauer sogar um das Sechs- bis Zehnfache überzog. Besonders gravierend waren die Fehleinschätzungen bei kurzen Aufgaben; erst bei Aufgaben im Mehrstundenbereich näherten sich einige Vorhersagen der Realität an.
Einfluss der Software-Umgebung auf die Laufzeit
Die tatsächliche Laufzeit der Modelle hängt stark von der umgebenden Software ab, die als „Harness“ bezeichnet wird. Claude Code arbeitet beispielsweise weiter, bis es die Aufgabe als erledigt betrachtet, was im Median etwa 90 Minuten dauerte. Codex hingegen beendet seine Arbeit nach circa einer halben Stunde, nahezu unabhängig von der Aufgabenstellung. Die Studie stellte fest, dass dasselbe Sprachmodell im Claude Code-Harness durchschnittlich 2,5-mal mehr Schritte ausführt als in Codex.
Mangelnde Selbstkritik bei der Qualitätseinschätzung
Ebenso unzuverlässig zeigten sich die Agenten bei der Bewertung der Qualität ihrer eigenen Arbeit. Ältere Modelle wie Opus 4.8 und GPT-5.5 bewerteten ihre Ergebnisse im Durchschnitt um 20 Prozentpunkte zu hoch. Sie vergaben sich sogar bei fehlgeschlagenen Aufgaben hohe Punktzahlen. In einem Fall schätzten beide Modelle ihren Erfolg auf etwa 70 Prozent, während die tatsächlichen Erfolgsquoten bei 7 beziehungsweise 14,5 Prozent lagen.
Diese fehlende Fähigkeit zur Selbstbewertung und Zeiteinschätzung stellt ein Problem für die Aufsicht und Steuerung von langen, autonomen KI-Aufgaben dar. Ein Agent, der Anweisungen wie „arbeite zwei Stunden an dieser Aufgabe“ erhält, ist schwer zu kontrollieren, wenn er die Zeit konstant falsch einschätzt. Die Forscher planen, in einem nächsten Schritt zu untersuchen, ob Agenten eine vorgegebene Arbeitsdauer einhalten können. Interessanterweise gelang den Agenten eine nahezu korrekte Zeiteinschätzung, sobald ihnen ein Tool zur Verfügung stand, das die verstrichene Zeit meldete.
Thema: Claude. Quelle/Inspiration: The Decoder.