Forscher der Sicherheitsfirma Varonis haben eine kritische Schwachstelle in Microsoft 365 Copilot für Unternehmen aufgedeckt. Diese ermöglichte es Angreifern, sensible Nutzerdaten wie Passwörter und E-Mail-Adressen mit einem einzigen Klick auf einen präparierten Link zu entwenden. Besonders bemerkenswert ist, dass die Künstliche Intelligenz (KI) den undokumentierten Parameter, der diese automatische Ausführung ermöglichte, während der Untersuchung durch die Sicherheitsforscher selbst preisgab.
Entdeckung durch Dialog mit der KI
Die Forscher von Varonis, darunter Senior Researcher Lior Adar, zielten darauf ab, eine Methode zu finden, um Nutzerdaten durch einen einfachen Link-Klick zu exfiltrieren. Microsoft Copilot verweigerte dies zunächst, da Befehle, die sensible Aktionen auslösen, eine explizite Nutzerbestätigung erfordern – beispielsweise das Drücken der Enter-Taste. Daraufhin befragten die Forscher Copilot intensiv zu seinen internen Schutzmechanismen (sogenannten Guardrails), die eine automatische Ausführung verhindern sollen. Im Verlauf dieses Dialogs gab Copilot schrittweise technische Details preis und enthüllte schließlich einen undokumentierten Parameter: ?autorun=1.
Dieser Parameter, in Kombination mit dem bekannten Parameter ?q=, der Texteingaben in das Chatbot-Feld ermöglicht, erlaubte es, Prompts (Anweisungen) in einer URL zu platzieren, die beim Anklicken automatisch und ohne weitere Interaktion des Nutzers ausgeführt wurden. Üblicherweise können große Sprachmodelle (Large Language Models, LLMs) wie Copilot Prompts über URLs erhalten, die dann bestimmte Aktionen ausführen, jedoch immer mit der Notwendigkeit einer Nutzerbestätigung.
Funktionsweise der „Co-Snitch“-Angriffe
Mit dem Parameter ?autorun=1 konnten die Forscher eine URL konstruieren, die beim Anklicken durch ein Opfer Copilot dazu veranlasste, einen eingebetteten Befehl ohne Bestätigung auszuführen. Ein solcher Befehl könnte beispielsweise das Postfach nach der neuesten E-Mail durchsuchen, die Absenderadresse extrahieren und diese an einen von Angreifern kontrollierten Server senden. Um den Datendiebstahl zu verschleiern und Übertragungsfehler zu vermeiden, wurden die exfiltrierten Daten im Base64-Format kodiert.
Der Ablauf eines solchen Angriffs, von Varonis als „Co-Snitch“ bezeichnet, ist wie folgt:
- Das Opfer klickt auf einen präparierten Link.
- Der Browser lädt copilot.microsoft.com in der aktiven, authentifizierten Sitzung des Opfers.
- Der Parameter ?autorun=1 löst die automatische Ausführung aus, der ?q=-Prompt feuert ohne Nutzeraktion.
- Copilot verarbeitet den injizierten Prompt mit vollem Zugriff auf den Sitzungskontext, verbundene Anwendungen und den Arbeitsspeicher des Opfers.
- Der Prompt wird vollständig ausgeführt, selbst wenn der Copilot-Tab sofort geschlossen wird.
Zusätzlich entwickelten die Forscher einen weiteren „Co-Snitch“-Angriff, bei dem eine Prompt-Injektion in einer Webseite verwendet wurde, um den permanenten Speicher von Copilot zu manipulieren. Dieser Speicher hält Nutzerinformationen und Präferenzen für zukünftige Sitzungen vor. Ein solcher Angriff könnte dazu genutzt werden, Ausgaben umzuleiten, Informationen zu filtern oder Antworten im Sinne des Angreifers zu verzerren.
Reaktion von Microsoft und Schutzmaßnahmen
Microsoft hat die Schwachstelle im Februar stillschweigend behoben, indem es die Möglichkeit unterband, über den Parameter ?q= Text ohne Nutzerinteraktion in das Chatbot-Eingabefeld einzufügen. Umfassendere Korrekturen wurden am Dienstag vorgenommen. Microsoft bedankte sich bei den Forschern von Varonis und erklärte, dass Kunden ohne eigene Maßnahmen geschützt seien. Das Unternehmen betonte, seine Schutzmechanismen kontinuierlich zu aktualisieren.
Diese Vorfälle unterstreichen die Notwendigkeit für Nutzer, bei der Interaktion mit KI-Assistenten und beim Klicken auf Links aus unbekannten Quellen Vorsicht walten zu lassen. Es wird empfohlen, Dialoge auf unerwartete oder ungewöhnliche Ausgaben zu überwachen und die Anzahl der Anwendungen zu begrenzen, auf die KI-Assistenten zugreifen können.
Thema: Microsoft. Quelle/Inspiration: Ars Technica.