Ein Forschungsteam des KI-Unternehmens Anthropic hat in einer neuen Studie gezeigt, dass Künstliche Intelligenz (KI) selbstständig in der Lage ist, ihre Leistung bei der Behebung von Ausrichtungsfehlern zu verbessern. Die unter dem Titel „Automated Researchers Can Reliably Mitigate Alignment Failures“ veröffentlichte Arbeit beschreibt, wie automatisierte Systeme die Performance eines Modells auf zehn spezifischen Benchmarks für fehlerhaftes KI-Verhalten steigerten, ohne dabei die Gesamtleistung zu beeinträchtigen.
Automatisierte Verbesserung von KI-Modellen
Das von Anthropic-Stipendiat Chen Yueh-Han geleitete System repliziert wesentliche Aspekte traditioneller Forschungsansätze. Jedes automatisierte System, ein sogenannter Automated Alignment Researcher (AAR), durchsucht verfügbare Fachliteratur, schlägt eine Methode vor und trainiert das Modell 30 Minuten lang mit dieser Methode. Über mehrere Iterationen hinweg wird der Benchmark-Wert schrittweise erhöht. Effektive Methoden werden beibehalten, ineffektive verworfen, was einen schnellen und skalierbaren Betrieb ermöglicht.
Die Ergebnisse liefern laut dem Paper frühe Hinweise darauf, dass automatisierte Nachschulungen zur Behebung von Ausrichtungsfehlern in naher Zukunft praktikabel werden könnten. Dies wird als ein Schritt in Richtung rekursiver Selbstverbesserung der KI gesehen – ein Ziel, das viele als den nächsten großen Fortschritt in der KI-Entwicklung betrachten.
Effizienz und Kosten: Mensch gegen Maschine
Die Studie vergleicht die Leistung der AARs explizit mit der von menschlichen Forschenden. Demnach übertrifft die beste AAR-Methode die Vorschläge erfahrener Menschen im Durchschnitt innerhalb von sechs Stunden. Menschlich geführte Forschungsrichtungen führten nicht zu einer stärkeren Leistung der Modelle.
Darüber hinaus wurden die Kosten verglichen: Ein AAR kostet ungefähr 4 US-Dollar pro Stunde für die API-Inferenz, während menschliche Forschende mit etwa 150 US-Dollar pro Stunde vergütet werden. Diese Kostenersparnis unterstreicht das Potenzial der automatisierten Systeme.
Grenzen der aktuellen Methode
Das Paper weist auch auf die Limitationen des Ansatzes hin. Das automatisierte System funktioniert nur, insofern die verwendeten Benchmarks die tatsächlichen Ausrichtungsziele präzise widerspiegeln. Es ist weiterhin erhebliche Arbeit erforderlich, um solche Benchmarks zu etablieren und zu pflegen. Auch die Pflege und Erweiterung der Literatur, aus der die automatisierten Forschenden ihre Informationen beziehen, bleibt eine menschliche Aufgabe.
Thema: Anthropic. Quelle/Inspiration: TechCrunch.