Anthropic hat nach eigenen Angaben mit seinem KI-Modell Opus 5 und dem aktivierten „Auto Mode“ eine Erfolgsrate von null Prozent bei Prompt-Injection-Angriffen in browserbasierten KI-Agenten erzielt. Dies wurde in 129 Testszenarien festgestellt. Prompt Injection ist eine Sicherheitsschwachstelle, bei der Angreifer versuchen, die ursprünglichen Anweisungen eines KI-Modells durch manipulierte Eingaben, wie zum Beispiel versteckten Text auf einer Webseite, zu umgehen.
Die von Anthropic vorgelegten Zahlen deuten darauf hin, dass das Unternehmen eine der größten Sicherheitsherausforderungen für KI-Systeme, die in Browsern operieren, möglicherweise gelöst hat. Dies steht im Kontrast zu einer Äußerung von OpenAI vom Dezember, wonach Prompt Injection möglicherweise nie vollständig behoben werden kann.
Die Rolle des Auto Mode bei der Abwehr
Die genannte Null-Prozent-Rate wird nur erreicht, wenn der „Auto Mode“ aktiviert ist, beispielsweise in Produkten wie Claude Cowork. Dieser Modus integriert zwei voneinander unabhängige Verteidigungsschichten:
- Eine Schicht prüft eingehende Daten auf versteckte Anweisungen, bevor das KI-Modell diese verarbeitet.
- Die zweite Schicht blockiert potenziell gefährliche Aktionen, bevor diese ausgeführt werden.
Ein erfolgreicher Angriff müsste beide dieser Schutzmechanismen überwinden.
Ohne die zusätzlichen Schutzschichten des Auto Mode liegt die Erfolgsrate für Prompt Injection bei Opus 5 bei 3,7 Prozent. Das Modell Sonnet 5 zeigt in diesem Szenario mit 0,93 Prozent sogar eine bessere Leistung. Die vollständige Immunität wird demnach erst durch die Kombination des KI-Modells mit der schützenden Software erreicht.
Weitere Testergebnisse
In einem allgemeinen Prompt-Injection-Test der Sicherheitsfirma Gray Swan sank die Erfolgsrate von Opus 5 nach 15 Versuchen von 5,5 Prozent (bei Opus 4.8) auf 2,0 Prozent. Anthropic betont, dass Opus 5 in seiner eigenen Software nahezu immun gegen Prompt Injections sei.
Thema: Anthropic. Quelle/Inspiration: The Decoder.