Der Generalstaatsanwalt von San Francisco, David Chiu, hat diese Woche Apple und Google offiziell aufgefordert, insgesamt 13 sogenannte Nudifizierungs-Apps aus ihren jeweiligen App Stores zu entfernen. Acht Apps sind von Apples App Store betroffen, fünf weitere vom Google Play Store. Chiu begründet dies mit Verstößen gegen kalifornische Gesetze, die die Unterstützung von Diensten zur Erstellung von Deepfake-Pornografie verbieten.
Gefahr durch Nudifizierungs-Apps
Nudifizierungs-Apps nutzen künstliche Intelligenz, um gewöhnliche Fotos von realen Personen in explizite Bilder zu verwandeln. Diese schädlichen KI-Tools ermöglichen es, Kleidung zu entfernen, Gesichtszüge zu verändern, Personen in sexualisierte Posen zu versetzen oder Gesichter von Opfern auf andere nackte Körper zu montieren. Laut Chiu werden diese Bilder vorwiegend zur Schädigung von Frauen und Mädchen eingesetzt, um sie zu schikanieren, zu demütigen und zu bedrohen. Die Auswirkungen auf den Ruf, die psychische Gesundheit und die Autonomie der Opfer seien verheerend; es gab bereits Berichte über Opfer mit Suizidgedanken.
Die Kanzlei von Chiu schätzt, dass Apple und Google durch die Gebühren dieser Apps wahrscheinlich Millionen von Dollar eingenommen haben, indem sie die schädlichen Anwendungen ignorierten, anstatt energischere Maßnahmen zu ergreifen oder bessere Erkennungssysteme zu entwickeln. Einem Bericht zufolge hatte eine der nicht namentlich genannten Apps über eine Million Downloads und warb mit Funktionen zur Sexualisierung von Frauenbildern oder zur Erstellung „freier und unzensierter“ Videos.
Reaktionen der Technologiekonzerne
Im Anschluss an Chius Forderung hat Google die fünf beanstandeten Apps aus dem Google Play Store entfernt. Ein Sprecher von Google, Dan Jackson, erklärte, dass Google Play keine Apps mit sexuellen Inhalten zulasse und proaktiv Schritte unternehme, um schädliche Inhalte zu erkennen und zu entfernen. Google habe bereits Hunderte von Apps dieser Art gesperrt und verwandte Suchbegriffe wie „nudify“ im Store eingeschränkt.
Apple hingegen hat, obwohl es in der Vergangenheit einige von Forschern markierte Apps entfernt hat, zu den jüngsten Forderungen nach einer aggressiveren Überwachung von Nudifizierungs-Apps in seinem App Store weitgehend geschwiegen.
Erkennungsprobleme und der Fall Grok
Die Fähigkeit der App Stores zur Erkennung schädlicher Inhalte ist entscheidend. Forscher haben festgestellt, dass einige schädliche Apps ihre Nudifizierungsfunktionen geschickt verstecken, indem sie nur Funktionen zum Austausch von Gesichtern bewerben, um so einer Entfernung zu entgehen. Eine im Mai veröffentlichte Vorabstudie untersuchte 155 von 420 als generische Face-Swapping-Tools beworbenen Apps und fand heraus, dass in 70 Prozent der getesteten Apps Nudifizierung möglich war.
Ein weiterer relevanter Fall ist der Chatbot Grok von xAI. xAI reichte diese Woche eine Klage ein, die bestätigte, dass Grok Fälle von sexuellem Missbrauch von Kindern (CSAM) und anderen nicht einvernehmlichen intimen Bildern (NCII) generiert hatte. Apple hatte bereits im April privat gedroht, Grok aus seinem App Store zu entfernen, doch die App ist dort weiterhin verfügbar. Obwohl Chiu in seinen aktuellen Schreiben keine Entfernung von Grok forderte, ist sein Ziel eine generelle Verschärfung der Durchsetzung von Richtlinien in beiden App Stores.
Chius Ziele und mögliche rechtliche Schritte
Chiu äußerte die Hoffnung, dass Apple und Google die markierten Apps sofort entfernen und ihre Prüfungssysteme stärken werden, um zu verhindern, dass solche Anwendungen künftig auf ihre Plattformen gelangen. Er betonte, dass die Erstellung nicht einvernehmlicher intimer Bilder illegal, schädlich und inakzeptabel sei. Sollten die Unternehmen seinen Forderungen nicht nachkommen, kündigte Chiu an, alle rechtlichen Optionen in Betracht zu ziehen.
Thema: Google. Quelle/Inspiration: Ars Technica.