Künstliche Intelligenz-Modelle von Anbietern wie OpenAI und Anthropic, die mit Schutzmaßnahmen gegen bösartige Nutzung ausgestattet sind, erschweren zunehmend die Arbeit legitimer offensiver Cybersicherheitsforscher. Diese Experten suchen nach unbekannten Schwachstellen, um Systeme zu stärken, bevor Kriminelle sie ausnutzen können.
KI-Unternehmen haben in den letzten Monaten spezielle Programme und strenge Schutzmechanismen, sogenannte „Guardrails“, entwickelt, um den Missbrauch ihrer Modelle durch Hacker einzudämmen. Diese Beschränkungen beeinträchtigen jedoch nun die Tätigkeit von Netzwerkverteidigern und offensiven Cybersicherheitsforschern. Die Kritik an diesen Schutzmaßnahmen ist laut, insbesondere von Forschern, deren Aufgabe es ist, unbekannte Systemschwachstellen zu finden und Exploits zu entwickeln.
Im Juni verhängte die US-Regierung Exportkontrollen für Anthropic’s KI-Modelle Mythos und Fable. Dies geschah teilweise aufgrund eines Berichts, der die Umgehung der Schutzmaßnahmen zur Verhinderung bösartiger Cyberangriffe behauptete. Anthropic hatte Mythos als hochsicheres System beworben, das nur ausgewählten Nutzern zugänglich gemacht wird. Die Exportkontrollen für Fable 5 und Mythos 5 wurden inzwischen aufgehoben; Fable 5 ist seit dem 1. Juli wieder allgemein zugänglich, Mythos 5 nur für geprüfte US-Organisationen im Rahmen eines Regierungsprüfungsprozesses.
Sowohl Anthropic (mit seinem Cyber Verification Program) als auch OpenAI (mit Trusted Access for Cyber) bieten Cybersicherheitsforschern spezielle Programme an. Nach einer Prüfung erhalten sie darüber Zugang zu Modellen mit weniger strengen Sicherheitsbeschränkungen.
Kritik von Sicherheitsexperten
Mark Dowd, ein bekannter Sicherheitsforscher, äußerte sich in einem Podcast kritisch: Es sei ihm „nicht wirklich angenehm, dass diese zufälligen Großunternehmen willkürliche Entscheidungen darüber treffen, was in der Sicherheit sicher ist und was nicht.“ Dowd, der seit Jahrzehnten „Zero-Days“ (bislang unbekannte Softwarefehler und die dazugehörigen Exploits) an westliche Regierungen verkauft, anstatt sie den Softwareherstellern zu melden, räumt ein, dass seine Arbeit ihn voreingenommen machen könnte.
Chris Anley, Chefwissenschaftler beim Sicherheitsberatungsunternehmen NCC Group, betont, dass das Bitten eines KI-Modells, einen Fehler auszunutzen, ein wichtiger Schritt zur Bestätigung einer echten, reparaturwürdigen Schwachstelle ist. Wenn Schutzmaßnahmen das Modell daran hindern, diese Frage zu beantworten, schaden sie den Verteidigern. Anley vergleicht ein solches KI-Tool mit einem Hammer: „Man kann kein Haus ohne Hammer bauen. Es ist definitiv ein Werkzeug, aber es ist auch unwiderruflich eine Waffe.“ Bei Blockaden greifen er und seine Kollegen auf quelloffene KI-Modelle ohne Schutzmaßnahmen zurück.
Paolo Stagno, CTO von Crowdfense, einem Unternehmen, das Schwachstellen an Regierungsbehörden verkauft, stimmt Dowd zu. KI-Unternehmen würden Kunden mit ihren Programmen und Schutzmaßnahmen „im Wesentlichen wie Kinder behandeln, die beaufsichtigt werden müssen“. Stagno und sein Team nutzen zwar fortschrittliche Modelle, aber nur für Reverse Engineering. Für die Suche nach Schwachstellen oder die Entwicklung von Exploits vermeiden sie diese, um das Risiko der Weitergabe sensibler Daten oder deren Aufnahme in zukünftige Trainingsläufe zu umgehen. Hierfür setzen sie lokal laufende Open-Source-Modelle ein.
Der Sicherheitsforscher Giuseppe Cali sieht seine Arbeit durch die Schutzmaßnahmen nicht beeinträchtigt. Er nutzt KI nicht für offensive Aufgaben, sondern für anfängliches Reverse Engineering, um Code zu verstehen, und zum Erstellen unterstützender Tools. Dies beschleunige den Prozess und ermögliche ihm, sich auf die eigentliche Schwachstellenentdeckung zu konzentrieren. Cali möchte die Fehlerentdeckung und -bewaffnung selbst in der Hand behalten und bezeichnet sich als „eifersüchtig auf meine Bugs“.
Ein anonymer Forscher eines Smartphone-Komponentenherstellers berichtet, dass die Tools seines Arbeitgebers aufgrund zu strenger Schutzmaßnahmen kaum zum Auffinden von Schwachstellen nutzbar sind. Sobald das Modell „Wind davon bekommt, dass wir etwas Sicherheitsrelevantes tun, stoppt es einfach und ist unbrauchbar.“
Chris Thompson, CEO von RemoteThreat und Gründer der Offensive AI Con, stellt fest, dass die Schutzmaßnahmen in fortschrittlichen KI-Modellen inkonsistent sein können. Dies gelte auch innerhalb der gelockerten Grenzen der überprüften Programme von Anthropic und OpenAI. Thompson zufolge verbringt man viel Zeit damit, „mit dem Modell zu verhandeln, anstatt am Kernsicherheitsprogramm zu arbeiten.“ Dies drängt Forscher zu chinesischen Open-Source-Modellen wie GLM, die lokal ohne Einschränkungen betrieben werden können. Thompson kritisiert, dass verantwortungsbewusste Forscher von US-regulierten Systemen zu ausländischen Systemen gedrängt werden, was schädlicher sei als nützlich. Er fordert KI-Labore auf, ihre Programme zu öffnen, verantwortungsvollen Zugang zu gewähren und Missbraucher zur Rechenschaft zu ziehen.
Thema: OpenAI. Quelle/Inspiration: TechCrunch.