OpenAI hat GPT-Red vorgestellt, ein großes Sprachmodell (LLM), das als „Super-Hacker“ konzipiert wurde. Dieses Modell dient als Sparringspartner, um die Abwehrmechanismen anderer OpenAI-Modelle gegen Cyberangriffe zu stärken. Die jüngst veröffentlichte Version des Flaggschiff-LLM, GPT-5.6, wurde im Training gegen GPT-Red eingesetzt und gilt laut OpenAI als das bisher robusteste Modell des Unternehmens.
Automatisierte Sicherheitsprüfungen durch Red-Teaming
GPT-Red automatisiert eine spezielle Art der Sicherheitsbewertung für Softwaresysteme, bekannt als Red-Teaming. Diese Aufgabe wird üblicherweise von menschlichen Teams durchgeführt, die versuchen, ein System auf möglichst viele verschiedene Weisen zu kompromittieren oder zu manipulieren. Ziel ist es, Schwachstellen zu identifizieren, die dann behoben werden können, bevor die endgültige Softwareversion veröffentlicht wird.
Mit der zunehmenden Komplexität großer Sprachmodelle und ihrer breiteren Anwendung – insbesondere als sogenannte Agenten, die mit Computerdateien, Websites und Drittanbieter-Code interagieren können – fällt es menschlichen Teams immer schwerer, alle potenziellen Angriffsarten zu überblicken. Nikhil Kandpal, Forschungswissenschaftler bei OpenAI und Mitentwickler von GPT-Red, merkt an, dass sowohl die Angriffsfläche als auch das potenzielle Schadensausmaß wachsen.
OpenAI hat GPT-Red entwickelt, um seinen Sicherheitstestprozess zukunftssicher zu gestalten. Dylan Hunn, ebenfalls Forschungswissenschaftler bei OpenAI und Mitentwickler, erklärt, dass das System so konzipiert wurde, dass es neue Angriffsmodi entdecken kann, sobald leistungsfähigere Modelle verfügbar werden. Die Forscher berichten, dass GPT-Red bereits neue Angriffsarten identifiziert hat, die zuvor unbekannt waren.
Die Funktionsweise von GPT-Red
OpenAI konzentrierte sich bei der Entwicklung von GPT-Red hauptsächlich auf Prompt-Injection-Angriffe. Dabei schleust ein Angreifer Anweisungen in ein großes Sprachmodell ein, um es zu Handlungen zu bewegen, die von Entwicklern oder Nutzern nicht beabsichtigt sind. Dies kann beispielsweise das Kopieren vertraulicher Informationen, die Sabotage einer Codebasis oder die Generierung schädlicher Inhalte umfassen. Solche Anweisungen können theoretisch in jedem Text verborgen sein, auf den das LLM stößt, sei es in Code oder auf einer Website.
Für den Aufbau von GPT-Red nutzten die Forscher ein zuvor nicht als Hacker trainiertes LLM und integrierten es in eine sogenannte Self-Play-Schleife mit mehreren anderen Modellen. Das Ziel von GPT-Red war es, die anderen Modelle anzugreifen, während deren Ziel die Verteidigung war. Über zahlreiche Spielrunden hinweg verbesserte sich GPT-Red kontinuierlich in seinen Angriffsfähigkeiten, und die verteidigenden LLMs wurden wiederum besser darin, die Angriffe abzuwehren.
Das Training fand in einer von OpenAI entwickelten Umgebung statt, die verschiedene reale Einsatzszenarien für LLMs simulierte, darunter das Surfen im Web, das Lesen von E-Mails oder Kalenderanwendungen und das Bearbeiten von Code. Wenn GPT-Red eine neue Angriffsart entdeckte, erforschte es mehrere Varianten davon, um die effizienteste für spezifische Szenarien zu finden. Hunn hebt hervor, dass das Modell im Vergleich zu menschlichen Red-Teamern „sehr, sehr gut darin ist, genau das zu finden, was funktioniert, genau das, was am effektivsten ist“, und äußerst hartnäckig bei der Vertiefung eines entdeckten Angriffs vorgeht.
Insbesondere will OpenAI mit GPT-Red eine bisher ungesehene Art von Prompt-Injection-Angriff identifiziert haben, die sie als „gefälschte Gedankenketten“ (fake chain of thought) bezeichnen. Eine Gedanken- oder Überlegungskette ist eine Art internes Protokoll, in dem ein LLM Notizen macht und Zwischenergebnisse festhält, während es Probleme bearbeitet. GPT-Red fand einen Weg, einen gefälschten Eintrag in die Überlegungskette eines anderen Modells einzuschleusen, um dieses Modell dazu zu bringen, auf manipulierte Informationen zu reagieren. Chris Choquette-Choo, ein weiterer Forschungswissenschaftler des Teams, vergleicht dies mit der Situation, in der man einem Modell sagt, dass 1+1=3 ist und es dies bereits verifiziert hat, woraufhin das Modell die „3“ ausgibt.
Erfolge und Grenzen des KI-Sicherheitswerkzeugs
Jessica Ji, eine leitende Forschungsanalystin für KI-Sicherheit am Center for Security and Emerging Technology (CSET) der Georgetown University, bewertet den von OpenAI verwendeten Self-Play-Ansatz positiv und bezeichnet die Ergebnisse als „sehr vielversprechend“.
OpenAI testete die Angriffsfähigkeit von GPT-Red, indem es ein Experiment von 2025 neu auflegte, bei dem menschliche Red-Teamer Schwachstellen in einer früheren Version von GPT-5 suchten. Bei der gleichen Aufgabe war GPT-Red erfolgreicher darin, effektive Angriffe zu finden als die menschlichen Tester.
Ein weiterer Test erfolgte gegen „Vendy“, einen Verkaufsautomaten-Agenten von Andon Labs, einem Unternehmen, das die Leistung von Agenten in realen Aufgaben bewertet. GPT-Red gelang es, Vendy zu manipulieren, um die Preise der angebotenen Artikel zu ändern und Kundenbestellungen zu stornieren.
OpenAI gibt an, dass bei der Anwendung einiger der stärksten von GPT-Red entwickelten Angriffe auf eigene Modelle, mehr als 90 Prozent davon gegen GPT-5 (veröffentlicht im August letzten Jahres) funktionierten, während weniger als 23 Prozent gegen das neue GPT-5.6 erfolgreich waren.
Trotz seiner Stärken hat GPT-Red auch Schwächen. Es ist beispielsweise nicht gut darin, Angriffe zu erkennen, die eine wechselseitige Konversation zwischen Angreifer und Ziel erfordern, eine Aufgabe, die menschliche Angreifer problemlos bewältigen. Auch die Nutzung von Bildern, die für Prompt-Injection-Angriffe Text an Modelle übermitteln können, stellt noch eine Herausforderung dar. OpenAI betont, dass GPT-Red die Arbeit der menschlichen Red-Teamer ergänzt, da Menschen Angriffe finden können, die das Modell übersieht, und umgekehrt. Ein Ansatz ist es, GPT-Red einen von Menschen entwickelten Angriff zu geben und es zu bitten, alle Variationen davon zu finden.
Zukunft der KI-Sicherheit bei OpenAI
Es ist nicht überraschend, dass OpenAI GPT-Red nicht veröffentlichen wird. Das Unternehmen ist zudem zuversichtlich, dass der Super-Hacker stärker ist als jedes Nachahmermodell, das jemand versuchen könnte zu erstellen. Die Forscher geben an, dass sie seit über einem Jahr an dem Modell arbeiten, unterstützt durch die Rechenressourcen eines der reichsten Unternehmen der Welt. Choquette-Choo merkt an: „Es ist keine triviale Sache, die jemand anderes leicht tun könnte – wissen Sie, einfach loszugehen und einen Super-Angreifer mit dieser Idee zu trainieren.“ Die Expertise menschlicher Tester bleibe weiterhin sehr wichtig, so Jessica Ji.
Thema: OpenAI. Quelle/Inspiration: MIT Technology Review.