Ein Forschungsteam, unter Beteiligung von Wissenschaftlern der chinesischen Fudan Universität, hat bei der Entwicklung eines eigenen KI-Modells die Zusammenarbeit von Menschen und KI-Agenten untersucht. Die Analyse von 769 Aufgabenprotokollen ergab, dass KI-Agenten bis zu 55 Prozent der Methodenvorschläge lieferten, die endgültigen Entscheidungen jedoch in über 85 Prozent der Fälle von Menschen getroffen wurden.
Für die Studie dokumentierte das Team die Entwicklung eines sogenannten agentischen Sprachmodells namens Atria Dawn Preview. Ein agentisches Sprachmodell ist darauf ausgelegt, Aufgaben durch Interaktion mit seiner Umgebung und Werkzeugen auszuführen. Das Modell basiert auf einer Mixture-of-Experts-Architektur, bei der spezialisierte Subnetzwerke für verschiedene Aufgabenbereiche zuständig sind, und verfügt über 744 Milliarden Parameter. Es ist für Forschungs- und Ingenieursaufgaben konzipiert und führt in fünf von 16 Benchmarks – standardisierten Tests zur Leistungsbewertung –.
KI-Beteiligung ermöglichte neue Aufgaben
KI kam bei 96,5 Prozent der überprüften Aufgaben zum Einsatz. Im Projektverlauf stieg das Verhältnis von Agentenaktionen zu menschlichen Eingaben von 11 auf 28,5 über vier Wochen hinweg. Die Forscher warnen jedoch davor, dies als zunehmende Autonomie zu interpretieren, da jede menschliche Entscheidung zu mehr Agentenschritten führte, ohne dass die Agenten selbst mehr Entscheidungen trafen.
Ein wichtiges Ergebnis ist, dass etwa ein Drittel der Aufgaben (151 von 455) ohne KI nicht realisierbar gewesen wäre. Diese Aufgaben verteilten sich auf 27 der 56 Teilnehmer und zeigten, dass KI Arbeit ermöglichte, die sonst nicht begonnen worden wäre, anstatt nur bestehende Prozesse zu beschleunigen.
Menschen behalten die Entscheidungshoheit
Das häufigste Muster bei der Entwicklung von Methoden und Parametern war, dass die KI Vorschläge machte und der Mensch auswählte (55,4 Prozent). Insgesamt trafen Menschen 85,5 Prozent der Entscheidungen über Methoden und Parameter, während die KI nur 9,2 Prozent verantwortete. Bei Zielen und Umfang lag der menschliche Entscheidungsanteil sogar bei 93,4 Prozent. Selbst bei den als ohne KI unmöglich eingestuften Aufgaben wählten Menschen in 95,4 Prozent der Fälle das Ziel.
Auch bei Problemen zeigte sich ein ähnliches Bild: 76 Prozent der Aufgaben wurden durch menschliches Eingreifen vorangebracht, während der Agent in 23 Prozent der Fälle das Problem selbst löste. Menschliche Hilfe erfolgte meist in Form von Informationen, etwa durch Kontextualisierung (35,2 Prozent) oder Diagnose und Methodenwechsel (34,7 Prozent). Direkte Ausführung durch Menschen war selten (3,2 Prozent Teilanpassungen, 0,7 Prozent vollständige Übernahmen). Bei notwendigen Überarbeitungen von KI-Outputs übernahm die KI die Änderungen nach menschlichem Feedback in 75,4 Prozent der Fälle selbst. Das menschliche Urteilsvermögen, nicht die Ausführung, stellte den Engpass dar.
Die Rolle der KI im Wandel und die Debatte um Autonomie
Das Team beschreibt drei Phasen der KI-Rolle: vom Forschungsobjekt über ein Werkzeug für einzelne Aufgaben bis hin zum Projektpartner, der Pläne innerhalb menschlich festgelegter Ziele entwirft und anpasst. Eine spekulative vierte Phase würde eine rekursive Selbstverbesserung umfassen, bei der stärkere Modelle stärkere Nachfolger produzieren. Die Autoren betonen, dass ein Modell zwar seine Trainingsaufgaben verbessern kann, dies aber nicht bedeutet, dass es auch besser darin wird, seinen Nachfolger zu entwickeln. Es bleibt offen, wie KI eigenständig vielfältige Forschungsrichtungen vorschlagen und deren Wert beurteilen könnte, bevor Ergebnisse vorliegen.
Die Studie fügt sich in eine breitere Debatte über die rekursive Selbstverbesserung von KI-Modellen ein. Während Unternehmen wie Anthropic die Möglichkeit sehen, dass KI früher als erwartet eigene Nachfolger entwickeln könnte – CEO Dario Amodei fordert daher eine Geschwindigkeitsbegrenzung für die Branche –, zeigen die Ergebnisse dieser Studie, dass Menschen in der Modellentwicklung die entscheidende Instanz bleiben. Eine weitere Studie des Princeton und des UK AI Security Institute kam ebenfalls zu dem Schluss, dass aktuelle Modelle zwar Ingenieursaufgaben bewältigen können, jedoch bei den kritischen Urteilsentscheidungen versagen.
Thema: Technologie / KI allgemein. Quelle/Inspiration: The Decoder.