OpenAIs neuestes Sprachmodell, GPT-6 Astra, zeigt deutliche Verbesserungen bei der Reduzierung von Halluzinationen und der Abwehr direkter Prompt Injections. Trotz einer nahezu perfekten Abwehrrate von 99,99 Prozent bei direkten Manipulationsversuchen bleibt das Modell anfällig für versteckte Angriffe, die in Dokumenten eingebettet sind. Externe Tests zeigen, dass Astra in 8,5 Prozent dieser Szenarien geknackt werden kann, während Claude Opus 5 von Anthropic mit 4,8 Prozent besser abschneidet.
Verbesserte Faktentreue und Abwehr direkter Angriffe
GPT-6 Astra produziert laut OpenAIs Systemkarte deutlich weniger faktische Fehler, sogenannte Halluzinationen (faktische Ungenauigkeiten), als sein Vorgänger GPT-5.6 Sol. Diese Verbesserung wurde anhand von ChatGPT-Konversationen gemessen, die zuvor von Nutzern wegen falscher Antworten markiert wurden. Die größten Fortschritte zeigten sich dabei bei niedrigen Latenzeinstellungen und geringeren Schlussfolgerungsebenen.
Bei direkten Prompt Injections (Manipulationsversuchen, die über die Nutzereingabe erfolgen), erreicht Astra eine Abwehrrate von 99,99 Prozent. OpenAI führt dies auf seine „GPT-Red“-Methode zurück, bei der ein automatisierter Angreifer das Modell während des Trainings härtet.
Auch die „Jailbreak Resistance“, die Fähigkeit, unerwünschte oder schädliche Antworten zu verweigern, hat sich verbessert. Gegen einen festen Datensatz bekannter Angriffe, die schädliche Informationen zu Biologie, Gewalt und Cybersicherheit extrahieren wollten, lehnte Astra in 91,5 bis 98,3 Prozent der Fälle eine Hilfestellung ab. Werden Angreifer jedoch über mehrere Gesprächsrunden hinweg adaptiver, sinkt Astras Abwehrrate auf etwa 67 Prozent. Dies bedeutet, dass hartnäckige Angreifer in etwa jedem dritten Versuch eine problematische Antwort entlocken können. Vorgängermodelle erreichten bei diesem Test knapp unter 50 Prozent. OpenAI weist darauf hin, dass diese Tests am „nackten“ Modell ohne die im Produkt enthaltenen Sicherheitsebenen wie Klassifikatoren durchgeführt wurden.
Anfälligkeit für versteckte Prompt Injections
Eine größere Herausforderung stellen sogenannte indirekte Prompt Injections dar, bei denen ein Angriffsversuch in einem Dokument versteckt ist, das die KI liest. Bei externen Tests durch das Sicherheitsunternehmen Gray Swan, das 1.810 speziell entwickelte Angriffe aus seiner „IPI Arena“ nutzte, konnte Astra in 8,5 Prozent der Szenarien mindestens einmal geknackt werden, bei 15 Versuchen pro Szenario. Zum Vergleich: GPT-5.6 Sol scheiterte in 27 Prozent der Fälle. Claude Opus 5 von Anthropic zeigte sich in derselben Bewertung robuster und wurde nur in 4,8 Prozent der Fälle erfolgreich manipuliert.
Die von Gray Swan in den kombinierten Tests des ersten und zweiten Quartals ermittelten Zahlen liegen höher als frühere Ergebnisse. Anthropic hatte zuvor für Opus 5 eine Angriffs-Erfolgsrate von nur zwei Prozent basierend auf dem einfacheren Q1-Test allein gemeldet, und GPT-5.6 Sol erreichte dort 20 Prozent. Dies könnte durch die Nutzung von „extended reasoning“ bei allen Modellen und den breiteren Testumfang erklärt werden.
Diese Erfolgsraten, selbst bei kuratierten und gezielten Angriffen, sind für Unternehmensteams von Bedeutung. Astra kann in etwa jedem zwölften Szenario durch eingeschleuste Anweisungen getäuscht werden, Opus 5 in etwa jedem einundzwanzigsten. Dieses Risiko wächst, da autonome KI-Agenten (KI-Systeme, die selbstständig Aufgaben ausführen) zunehmend Code schreiben, Werkzeuge bedienen und Computer steuern. Solche Agenten sind darauf ausgelegt, rund um die Uhr und in großem Maßstab zu arbeiten, wobei das Lesen und Verarbeiten von Dokumenten zu ihren Kernaufgaben gehört.
Thema: OpenAI. Quelle/Inspiration: The Decoder.