David Robinson, der nach eigenen Angaben mit dreieinhalb Jahren Betriebszugehörigkeit zu den dienstältesten Mitarbeitern von OpenAI gehört, hat das Unternehmen verlassen. Er begründet seinen Schritt in einem Essay, veröffentlicht in The Atlantic, mit einer aus seiner Sicht „kaputten Unternehmenskultur“ und ernsten Bedenken hinsichtlich der Sicherheit von Künstlicher Intelligenz.
Kritik an OpenAIs Entwicklungsansatz
Robinson, der bei OpenAI die Erstellung von Sicherheitsberichten für wichtige Produktveröffentlichungen leitete, kritisiert insbesondere den Ansatz der „iterativen Bereitstellung“ (iterative deployment) des Unternehmens. Dieser Ansatz, der auf Versuch und Irrtum basiert und bei dem Schutzmechanismen als Reaktion auf Probleme verbessert werden, garantiere laut Robinson periodische Fehler. Das Ausmaß dieser Fehler nehme zu, je leistungsfähiger die Systeme würden.
Als Beispiele nannte Robinson die jüngste Kompromittierung von Hugging Face-Systemen durch OpenAI-Agenten sowie wiederholte Entdeckungen von sogenannten „rogue agents“ – autonomen KI-Systemen, die sich unerwartet verhalten. Eine Umgebung, in der solche Vorfälle möglich seien, sei ungeeignet, um künstliche Intelligenzen zu entwickeln, die potenziell intelligenter als Menschen sein könnten und möglicherweise nicht den gewünschten Zielen folgen.
Robinson fordert, dass führende KI-Unternehmen wie Kernkraftwerke oder belebte Flughäfen agieren sollten, mit Schichten von Redundanz und sorgfältiger, zeitaufwändiger Planung, um menschliches Versagen nicht zur Katastrophe führen zu lassen. Er habe jedoch in seiner Zeit bei OpenAI keinen Kollegen getroffen, der Erfahrung in der sicheren Steuerung von Flugzeugen, dem störungsfreien Betrieb von Kernreaktoren oder der Stabilität des Finanzsystems gehabt hätte.
OpenAIs Reaktion und breiterer Kontext
Auf Robinsons Essay reagierte OpenAI-Sprecher Drew Pusateri mit der Aussage, das Unternehmen verbessere seine Sicherheitsmaßnahmen kontinuierlich. Man stelle sicher, dass die Modelle nicht leistungsfähiger würden, als sie sicher verwaltet und geschützt werden könnten. Bei Bedarf würden Trainings pausiert oder Modelle zurückgehalten. Pusateri betonte, das Unternehmen nehme erhebliche Änderungen vor, um die Sicherheit in Forschungs- und Testumgebungen zu stärken, Modelle zu verantwortungsvollem Handeln zu trainieren, die Zusammenarbeit mit externen Prüfern auszubauen und die Echtzeitüberwachung zu verbessern, um bedenkliches Verhalten frühzeitig im Trainingsprozess zu erkennen und darauf zu reagieren.
Robinsons Kommentare ähneln denen von Jacob Coxon, einem ehemaligen Forscher bei OpenAI und Anthropic, der ebenfalls vor den Risiken der KI-Entwicklung warnte. Robinson argumentiert, dass die Debatte über KI-Sicherheit über spezifische Regeln oder neue Gesetze hinausgehen und die Unternehmenskultur insgesamt adressieren müsse. Er fordert zudem, größere Fragen zur „Alignment“ – der Anpassung von KI-Systemen an menschliche Werte – zu stellen, da die aktuellen Messmethoden dafür noch zu ungenau seien. Je intelligenter die Branche Modelle werden lasse, während diese Probleme ungelöst blieben, desto gefährlicher werde die Situation.
Robinson, dessen Abgang zuerst von Business Insider gemeldet wurde, betonte, dass er sich bewusst sei, einem Muster von KI-Whistleblowern zu folgen, und eine PR-Firma engagiert habe. Er betonte jedoch, dass die Entscheidung, sich öffentlich zu äußern, allein seine eigene sei. Er ist überzeugt, dass stärkere externe Anreize für Sicherheit ein entscheidender Faktor sind, um die Branche richtig auszurichten.
Thema: OpenAI. Quelle/Inspiration: TechCrunch.