Meta hat kürzlich Anzeigen für ein KI-gesteuertes Tool zur Pornografie-Generierung namens Kromix geschaltet, das offenbar zur Erstellung von Deepfake-Videos mit Ähnlichkeiten zu weiblichen US-Politikerinnen anregte. Dies geschah, obwohl Metas Richtlinien sexuelle Inhalte in Werbeanzeigen untersagen. Die App wurde auch im Apple App Store angeboten, bevor sie nach einer Anfrage von WIRED entfernt wurde.
Details zur Kromix App und den Werbeanzeigen
Die Anwendung Kromix bewarb sich selbst als „KI-Bildstyler“. Ein Voice-over in einer der Videoanzeigen, die von WIRED eingesehen wurden, pries das Tool mit „keine Einschränkungen“ an und behauptete, „alle Charaktere sind reale Personen“, und beschrieb es als „die KI, die Männer tatsächlich nutzen“. Eine Anzeige zeigte eine Frau, die einer bekannten weiblichen US-Politikerin ähnelte, vor einer US-Flagge und der Flagge des US-Präsidenten. Nach der Frage „Was wäre, wenn sie sich bewegte?“, zwinkerte die Frau, bevor die Anzeige zu einer Szene mit einer pornografischen Darstellung derselben Frau wechselte.
Die Kromix-App, die vor der Anfrage von WIRED im Apple App Store verfügbar war, lud bezahlte Nutzer ein, Fotos hochzuladen, um sie in Szenarien wie „Schlafzimmervergewaltigung“ und „Disney-Liebe“ zu verwenden. Videos in der App zeigten auch KI-generierte pornografische Inhalte von Frauen in Spider-Man-Kostümen. Laut Metas Anzeigenbibliothek wurden die betreffenden Anzeigen ausschließlich an männliche Nutzer gerichtet und trugen den Slogan „Entfessle die KI-Magie der nächsten Generation“. Insgesamt liefen 32 Anzeigen dieser Kampagne zwischen fünf und 46 Stunden, die meisten erhielten weniger als zehn Impressionen. Sie wurden entfernt, nachdem WIRED Meta dazu befragt hatte.
Richtlinien und Systemversagen bei Meta
Meta verfügt über klare Richtlinien, die Werbeanzeigen mit sexuellen Inhalten, einschließlich Nacktheit, sexuellen Aktivitäten oder sexuell anzüglichen Inhalten, verbieten. Auch die Förderung von „Nudify“- oder „AI-Kissing“-Apps ist untersagt. Das Überprüfungssystem von Meta stützt sich primär auf automatisierte Tools. Der Account, der die Anzeigen schaltete, wurde kurz vor Beginn der Kampagne am 3. August erstellt und hatte keine Follower – Umstände, die auf eine verdächtige Aktivität hätten hindeuten können.
Katie Paul, Direktorin des Tech Transparency Project, das die Anzeigen entdeckte, äußerte Bedenken, dass die aufgedeckten Anzeigen Frauen sexualisieren und in KI-generierte Pornografie einbetten, insbesondere weibliche Politikerinnen. Dies werfe Fragen auf, wie Meta mit solchen Inhalten umgehen werde, wenn das Unternehmen solche Werbung aktiv auf seiner Plattform zulässt. Meta gab an, dass es im Zeitraum von November des Vorjahres bis Januar 344.000 Anzeigen für „Nudify“-Apps auf Facebook und Instagram entfernt und Klagen gegen entsprechende Firmen eingereicht hat. Cindy Southworth, Leiterin für Frauensicherheit bei Meta, erklärte, dass sexuelle Ausbeutung „entsetzlich“ sei und man aggressiv dagegen vorgehe, unter anderem durch neue KI-Technologien zur Erkennung und Blockierung von Verstößen.
Viele der Videoanzeigen nutzten Tarnbilder wie Strände oder Berge als Vorschaubilder, um den pornografischen Inhalt zu verschleiern. Meta ist sich dieser Taktik bewusst, räumt aber ein, dass kein System perfekt ist und untersucht, wie diese Anzeigen die Systeme umgehen konnten.
Apples Reaktion und frühere Herausforderungen
Apple hat die Kromix-App nach eigenen Angaben aus dem App Store entfernt. Ein Sprecher von Apple erklärte, dass die App nach der ursprünglichen Überprüfung verbotene Inhalte und Funktionen hinzugefügt zu haben schien. Apple verbietet strengstens Apps, die zur Generierung, Verbreitung oder Konsum von Pornografie entwickelt wurden. Zuvor hatte der Staatsanwalt von San Francisco Apple in einem Schreiben aufgefordert, 13 spezifische Apps zu entfernen, die gegen die Richtlinien verstießen.
Zunehmende Bedrohung für Politikerinnen
Politiker und gewählte Amtsträger, überwiegend Frauen, sind seit Jahren Ziel von nicht einvernehmlichen Deepfake-Bildern und -Videos. Im Januar wurden beispielsweise mithilfe von Grok rund drei Millionen sexualisierte Bilder von Frauen und Mädchen erstellt, wobei auch Amtsträger in Schweden, England und Nordirland betroffen waren. Benjamin Shultz vom American Sunlight Project weist darauf hin, dass ehemals harmlose Medien wie offizielle Porträts oder Pressekonferenzvideos durch die Demokratisierung der KI-generierten Inhalte zu Rohmaterial für schädliche Deepfake-Tools geworden sind.
Thema: Meta. Quelle/Inspiration: Ars Technica.