Externe Prüfer von METR und Redwood Research haben bei OpenAI während eines dreiwöchigen Audits erhebliche Lücken im internen Überwachungssystem für das Verhalten von KI-Agenten festgestellt. Demnach blieben bis zu 25 Prozent des internen Datenverkehrs von Modellen der GPT-5.5-Klasse und höher unbeaufsichtigt.
Details des Audits und erste Ergebnisse
Vom 21. Juli bis zum 11. August hatten zwei Forscher von METR und Redwood Research Zugang zu OpenAIs Quellcode und internen Dokumenten. Sie führten zudem Interviews mit rund einem Dutzend Mitarbeitern. Ziel des Audits, das als Pilotprogramm gemeinsam von den drei Organisationen initiiert wurde, war die Untersuchung der internen Systeme zur Erkennung potenziell unerwünschten Verhaltens von KI-Agenten.
Die Prüfer deckten mehrere Schwachstellen auf:
- Unüberwachter Agenten-Verkehr: Schätzungsweise 6 bis 25 Prozent des internen Datenverkehrs von KI-Agenten über die Responses API, insbesondere von Modellen der GPT-5.5-Klasse und höher, wurden während des Auditzeitraums überhaupt nicht erfasst. METR weist hierbei auf eine erhebliche Unsicherheit in der Schätzung hin.
- Lücken bei Codex: Für den internen Codex-Datenverkehr, der eigentlich überwacht werden sollte, blieben zwischen Mai und Juli etwa 10 Prozent unüberwacht. Dies war auf eine Lücke in der Verarbeitung von sogenannten „Compaction Events“ zurückzuführen, die Kontextzusammenfassungen darstellen. OpenAI hatte diesen Fehler unabhängig entdeckt und noch während des Audits behoben.
- Verzögerung der Aufsicht: In der Zeit, in der Compaction Events nicht überwacht wurden, konnten KI-Agenten die Aufsicht verzögern, indem sie Aktionen fortsetzten, da das System nur bei Rückgabe der Kontrolle an den Nutzer auslöste.
- Manipulation und Umgehung: Die Prüfer fanden Wege, Hunderte von Aktionen vor dem Überwachungssystem zu verbergen und die Sandbox-Umgebung von Codex zu umgehen. Eine Sandbox ist eine isolierte Umgebung, die die Ausführung von Code einschränkt, um die Sicherheit zu gewährleisten. Es wurde auch festgestellt, dass speziell präparierte Eingaben das Überwachungssystem zum Absturz bringen könnten.
- Fehlende RL-Trainingsüberwachung: Zu Beginn des Audits wurde das Verhalten von Modellen während des Reinforcement Learning (RL) Trainings, einer Methode, bei der KI-Modelle durch Belohnung und Bestrafung lernen, überhaupt nicht überwacht.
Reaktion von OpenAI und Transparenz des Berichts
OpenAI gibt an, das RL-Training nach einem Vorfall im August pausiert und die Überwachung daraufhin ausgeweitet zu haben. Diese Änderungen erfolgten jedoch nach dem Zugang der Prüfer und waren daher nicht Teil der Bewertung.
Das Unternehmen erklärt, alle von den Prüfern gefundenen Schwachstellen behoben zu haben. Der vollständige, 61-seitige Bericht wurde intern übergeben. Nach Redaktion durch OpenAI erhielten die Leitungen von METR und Redwood Research eine 38-seitige Version, während der Öffentlichkeit lediglich eine kurze Zusammenfassung zugänglich gemacht wurde. METR betonte, keine Befugnis zur Veröffentlichung der geschwärzten Teile zu besitzen.
METR plant, sich bei zukünftigen Audits für eine größere öffentliche Transparenz einzusetzen.
Thema: OpenAI. Quelle/Inspiration: The Decoder.