Sicherheitsforscher des Unternehmens White Circle haben Schwachstellen in den Schutzmechanismen von KI-Bildgeneratoren wie DALL·E 3 von OpenAI und Nano Banana 2 sowie GPT-Image-2 von Google aufgedeckt. Die Forscher konnten mit einer neuen Angriffsmethode die Sicherheitsfilter umgehen, was zur Generierung expliziter Bilder führte.
Die Untersuchung, deren Ergebnisse in einem Preprint veröffentlicht wurden, ergab, dass DALL·E 3 in etwa 13 Prozent der Fälle explizite Bilder produzierte, wenn bestimmte Angriffsprompts verwendet wurden. Für Nano Banana 2 lag diese Rate unter 10 Prozent und für GPT-Image-2 bei etwa 3 Prozent. White Circle betonte, dass für diese Angriffe keine speziell entwickelten oder hochmodernen KI-Modelle notwendig waren, sondern lediglich frei verfügbare Online-Tools und API-Aufrufe (Programmierschnittstellen-Aufrufe).
Schwächen auch in neueren Modellen
Nach diesen ersten Erkenntnissen haben OpenAI und Google neuere Modelle veröffentlicht, darunter ChatGPT Images 2.5 und Nano Banana 2.1. White Circle stellte fest, dass die gleichen Sicherheitstests zeigten, dass diese neueren Versionen „erheblich leichter zu umgehen“ sind als ihre Vorgänger. Die Unternehmen haben sich bisher nicht zu den spezifischen Schwachstellen ihrer Modelle geäußert.
Denis Shilov, CEO von White Circle, äußerte die Hypothese, dass entweder die neueren Modelle komplexer und zu einer breiteren Palette von Inhalten fähig sind oder dass die Sicherheit zugunsten der Leistungsfähigkeit weniger priorisiert wurde. Diese Beobachtung wirft Bedenken hinsichtlich der Fähigkeit von KI-Systemen auf, unerwünschte Inhalte zu blockieren, was auch Auswirkungen auf andere sensible Bereiche wie Hacking haben könnte.
Die Angriffsmethode: RISE
Die von White Circle entwickelte Angriffsmethode trägt den Namen „Red-teaming via Iterative Strategy Evolution“ (RISE). „Red-teaming“ bezeichnet hierbei den Prozess, bei dem Sicherheitsexperten simulierte Angriffe auf ein System durchführen, um Schwachstellen zu identifizieren. RISE verwendet zwei Hauptkomponenten: ein angreifendes Modell, das Jailbreaks (Umgehungen von Sicherheitsmechanismen) generiert, und ein Richtermodell, das überprüft, ob die Ausgabe als unerlaubter Inhalt einzustufen ist.
Das angreifende Modell ist eine öffentlich verfügbare Version von Qwen3-32B, deren Sicherheitstraining entfernt wurde. Als Richtermodell dient Gemini 2.5 Flash. Shilov hob hervor, dass man keine hochmodernen Modelle benötigt, um die Abwehrmechanismen führender Modelle zu durchbrechen.
Forderung nach unabhängiger Sicherheitsprüfung
White Circle plant, die gesamte Angriffspipeline als Open-Source zu veröffentlichen, um Modellentwicklern ein besseres Verständnis der Schwachstellen zu ermöglichen und die Entwicklung stärkerer Schutzmaßnahmen zu fördern. Die Forschungsergebnisse sollen im November auf der Fachkonferenz NeurIPS 2026 vorgestellt werden.
Shilov befindet sich zudem in Gesprächen mit Regierungsvertretern über die Notwendigkeit unabhängiger Sicherheitstests. Er ist der Ansicht, dass verpflichtende externe Audits Unternehmen dazu anhalten könnten, der Sicherheit mehr Priorität einzuräumen, da Analysten vermuten, dass der Großteil der Ressourcen von KI-Firmen derzeit in Rechenleistung und Infrastruktur investiert wird.
Thema: OpenAI. Quelle/Inspiration: Ars Technica.