Drei Sicherheitsforscher haben mit dem KI-Modell Claude Opus 5 von Anthropic in weniger als 72 Stunden die internen Systeme von OpenAI über dessen Community-Forum kompromittiert. Der Angriff, der erst mit der Veröffentlichung von Opus 5 am 24. Juli möglich wurde, demonstriert, wie moderne KI-Modelle den Zeit- und Expertiseaufwand für die Ausnutzung von Sicherheitslücken erheblich reduzieren können.
Angriffsweg und Schwachstellen
Das Sicherheitsteam, bekannt als Hacktron, nutzte zwei miteinander verkettete Schwachstellen, um zunächst Zugang zu den ChatGPT- und Codex-Konten von OpenAI-Mitarbeitern zu erhalten. Von dort aus gelang es ihnen, in das interne Code-Repository des Unternehmens auf GitHub einzudringen.
Der Angriff begann über das Community-Forum von OpenAI (community.openai.com). Die erste Schwachstelle befand sich in der Bibliothek libheif, die das Forum zur Verarbeitung von hochgeladenen HEIC-Bildern verwendete. Obwohl ein entsprechender Fix im Quellcode bereits seit einem Jahr verfügbar war, fehlte er in den auf dem Forum laufenden Debian-Paketen. Eine speziell präparierte Bilddatei ermöglichte es den Forschern, eigenen Code auf dem Server auszuführen.
Die zweite Schwachstelle war eine Fehlkonfiguration in OpenAIs zentralem Single Sign-On (SSO)-System. Dieses System ermöglicht es Nutzern, sich mit einem einzigen Satz von Anmeldeinformationen bei mehreren Diensten anzumelden. Jeder, der den Forum-Server kontrollierte, konnte sich als aktive Forum-Mitglieder ausgeben und deren ChatGPT- und Codex-Konten übernehmen. Diese Lücke erstreckte sich über das Forum hinaus, sodass potenziell jeder kompromittierte Dienst, der das OpenAI-Login nutzte, denselben Zugriff hätte gewähren können.
Um ihren Zugriff zu belegen, erstellten die Forscher einen harmlosen Pull Request – einen Vorschlag zur Änderung des Codes – in einem internen Monorepo (einem einzelnen Repository für mehrere Projekte) über das Codex-Konto eines Mitarbeiters. Sie gaben an, keine sensiblen Daten eingesehen zu haben.
Die Rolle der Künstlichen Intelligenz
Anfänglich setzten die Forscher Claude Opus 4.8 ein, um die Schwachstelle zu finden. Das Modell erstellte zwar einen funktionierenden Exploit, jedoch nur unter Deaktivierung von ASLR (Address Space Layout Randomization), einer gängigen Schutzmaßnahme gegen Speicherangriffe. Eine zuverlässige Version mit aktiviertem ASLR konnte Opus 4.8 nicht produzieren.
Dies änderte sich mit der Veröffentlichung von Claude Opus 5. Laut Hacktron erstellte das neue Modell innerhalb von drei Stunden einen funktionierenden Exploit für ein lokales Mac-System und passte diesen anschließend an die Discourse-Serverumgebung an, die das OpenAI-Forum nutzt. Die Forscher ließen Claude anschließend in einer autonomen Schleife gegen eine eigene Testinstanz laufen. Da das Modell sich weigerte, Exploits gegen reale Systeme zu schreiben, wurde das Ziel als Benchmark-Aufgabe getarnt. Vier Stunden später hatte der KI-Agent den Server übernommen.
Auswirkungen und zukünftige Bedrohungsmodelle
OpenAI bestätigte die Behebung der Schwachstellen etwa 14 Stunden nach dem Bericht der Forscher. Discourse, die Software hinter dem Forum, reagierte ebenfalls innerhalb weniger Tage.
Die Forscher weiteten ihre Untersuchung, genannt „HEIF Heist“, über den OpenAI-Hack hinaus aus. Sie untersuchten auch Slack, Meta, GitHub Enterprise und andere Ziele. Das zweimonatige Projekt wurde von drei Personen durchgeführt und verursachte KI-Kosten von weniger als 3.000 US-Dollar. Die Anpassung des Angriffs an jedes neue Ziel dauerte lediglich ein bis zwei Tage. Nur Shopify bemerkte die Aktivitäten, trotz Tausender Bild-Uploads und wiederholter Abstürze in der Bildverarbeitung.
Das Hacktron-Team argumentiert, dass Software lange von einer Art „Sicherheit durch Komplexität“ profitiert habe. Selbst bei öffentlichem Quellcode und bekannter Schwachstelle erforderte der Bau eines zuverlässigen Exploits seltene Expertise und tiefgreifendes Wissen über die Zielumgebung. KI entziehe dieser Schutzbarriere ihre Wirkung, indem sie knappe Expertise durch Rechenleistung ersetze. Bedrohungsmodelle müssten die drastisch gesunkenen Kosten für Angriffe widerspiegeln. „Arbeit, die einst ein gut ausgestattetes Team und monatelange Anstrengungen erforderte, kann jetzt auf Tage komprimiert werden“, so das Team.
Thema: OpenAI. Quelle/Inspiration: The Decoder.