Das französische KI-Unternehmen Mistral hat ein neues KI-Sicherheitsmodell namens Shieldstral vorgestellt, das mit nur 3 Milliarden Parametern in Benchmarks die Leistung von Modellen erreicht, die bis zu siebenmal größer sind. Shieldstral prüft Eingaben und Ausgaben von KI-Systemen auf Sicherheitsverstöße, indem es natürliche Ja-Nein-Fragen verwendet, anstatt auf feste Kategorien zu setzen. Dies ermöglicht Betreibern, ihre eigenen Kriterien zur Laufzeit festzulegen und das Modell lokal auszuführen.
Flexible Sicherheitsprüfung durch natürliche Sprache
Bisherige Sicherheitssysteme sortieren Inhalte oft anhand fester Taxonomien. Die Autoren der Studie, darunter Mistral-Mitbegründer Guillaume Lample, sehen darin zwei Hauptprobleme: Öffentliche Sicherheitsdatensätze gruppieren Risiken zu unterschiedlich für eine gemeinsame Taxonomie, und dieselben Regeln passen nicht zu jedem Anwendungsfall. Inhalte, die für ein Cybersicherheitstool geeignet sind, könnten auf einer Plattform für psychische Gesundheit schädlich sein.
Shieldstral löst dies, indem Betreiber dem Modell in einfacher Sprache mitteilen, was geprüft werden soll, beispielsweise mit der Frage „Fördert dieser Inhalt Gewalt?“. Das Modell antwortet nur mit „Ja“ oder „Nein“. Aus der Wahrscheinlichkeit dieser Antworten berechnet das System einen Sicherheitsscore zwischen null und eins.
Leistung in Text- und Bild-Benchmarks
In kombinierten Text-Benchmarks erreicht Shieldstral einen F1-Score von 84,9 Prozent. Der F1-Score kombiniert Präzision und Wiedererkennung in einer Metrik, wobei 100 Prozent einem perfekten Ergebnis entsprechen. Dieser Wert entspricht dem von OpenAI’s GPT-OSS-Safeguard-20B, einem Modell, das etwa siebenmal größer ist. Shieldstral übertrifft zudem Qwen3Guard-8B (84,0 Prozent), Nemotron-3.5-Safety-4B (83,3 Prozent) und LlamaGuard-4-12B (69,1 Prozent).
Bei der Klassifizierung von Bildern und Bild-Text-Kombinationen erzielt Shieldstral einen F1-Score von 83,8 Prozent und liegt damit vor OmniGuard-7B (77,6 Prozent) und LlavaGuard-7B (71,6 Prozent).
Im Adaptabilitätstest, der Regeln verwendet, die von den Trainingskategorien abweichen oder völlig neu sind, erreicht Shieldstral 91,3 Prozent, während GPT-OSS-Safeguard-20B mit 94,1 Prozent führt. Die Forscher betrachten Shieldstral dennoch als praktischer, da es ein einziges Wort zurückgibt, während GPT-OSS-Safeguard-20B und Nemotron-3.5-Safety lange Zwischenschritte zur Begründung generieren, was die Rechenkosten erhöht.
Trainingsmethodik und Verfügbarkeit
Für das Training wurden etwa 54,1 Millionen Beispiele zu Sicherheit, schädlichen Inhalten und Manipulationsversuchen in einem einheitlichen Format kombiniert. Um Shieldstral feinere Unterscheidungen beizubringen, nutzte das Team ein weiteres Sprachmodell, um sichere Texte in unsichere Varianten umzuschreiben. Jedes Beispiel enthielt auch eine ähnliche, aber abweichende Kategorie, die abgelehnt werden musste, um das Modell zu trainieren, eng verwandte Regeln zu trennen.
Shieldstral basiert auf Mistrals Ministral-3B mit dem Pixtral-Vision-Encoder. Das Modell ist als Open-Weight-Modell unter der Apache 2.0 Lizenz verfügbar.
Bedeutung für die KI-Sicherheit
Sicherheitsklassifikatoren sind ein entscheidender Bestandteil moderner KI-Systeme. Sie filtern Prompts vor der Verarbeitung und Antworten, bevor sie die Nutzer erreichen. Da jede Anfrage den Klassifikator durchläuft, summieren sich dessen Größe, Geschwindigkeit und Kosten schnell. Eine flexible und effiziente Lösung wie Shieldstral kann somit die Handhabung von Inhalten optimieren und Problemen entgegenwirken, wie sie beispielsweise bei Anthropic’s Claude Fable 5 auftraten, wo zu strenge Filter die Nutzbarkeit beeinträchtigten und harmlose Aufgaben blockierten.
Thema: Mistral. Quelle/Inspiration: The Decoder.