Der verstärkte Einsatz von Künstlicher Intelligenz (KI) zur Moderation von Inhalten auf sozialen Medien führt zu neuen Herausforderungen und Fehlern. Plattformen wie Reddit, Discord, Meta und Tumblr sahen sich mit Problemen konfrontiert, bei denen automatisierte Systeme fälschlicherweise Inhalte löschten oder Nutzerkonten sperrten, was die Debatte um die unverzichtbare Rolle menschlicher Aufsicht neu entfacht.
Fehlinterpretationen bei Reddit: Der Fall r/AskHistorians
Im April wurden auf dem Reddit-Subreddit r/AskHistorians, einer Community für historische Fragen und Antworten, Dutzende von Kommentaren und Beiträgen, die bis zu zehn Jahre alt waren, automatisch entfernt. Dr. Sarah Gilbert, eine der Moderatorinnen, berichtete, dass weder sie noch die Experten, die die Inhalte verfasst hatten, eingreifen konnten. Die Moderatoren vermuten, dass die überarbeiteten KI-Moderationstools von Reddit dafür verantwortlich waren.
Nach der Wiederherstellung einiger Texte stellte ein Moderator fest, dass alle gelöschten Inhalte auf die Webseite „Rare Historical Photos“ verlinkten. Es wird angenommen, dass Reddit diese Webseite – und damit alle Beiträge, die deren Inhalte zur Illustration nutzten – als Spam eingestuft hat. Dies führte zur Löschung wertvoller Informationen, deren Erstellung oft Stunden oder sogar Tage intensiver Recherche erforderte.
Statistiken und neue Herausforderungen durch generative KI
Reddit selbst verweist auf die Effizienz seiner KI-Systeme: Die Plattform gibt an, die Durchsetzung von Maßnahmen gegen Hass- und Gewaltinhalte um mehr als 200 Prozent gesteigert und die Exposition gegenüber potenziell schädlichen Inhalten um über 40 Prozent reduziert zu haben. Zudem würden täglich fast zwei Millionen gefälschte Stimmen von KI-Tools widerrufen und Große Sprachmodelle (LLMs) eingesetzt, um subtile, koordinierte Muster von gefälschtem Verhalten zu erkennen.
Doch die Zunahme generativer KI schafft auch neue Probleme. Dr. Gilbert merkt an, dass LLMs die Spamerkennung erheblich erschwert haben, da sie menschliche Stimmen nachahmen können. In den letzten Monaten sei r/AskHistorians von LLM-gesteuerten Spambots „absolut überflutet“ worden. Marketingagenturen nutzen diese Entwicklung, um Marken durch generative KI-Chatbots zitieren zu lassen, was die Authentizität von Inhalten weiter untergräbt.
Weitere Vorfälle bei Discord, Meta und Tumblr
- Discord: Zwischen Mai und Anfang Juli sperrte das KI-Moderationssystem von Discord etwa 8.400 Konten fälschlicherweise. Die KI interpretierte Bilder mit quadratischen Rastern, wie Schachbretter oder Tabellen, irrtümlich als Kinderpornografie (CSAM) und verhängte dauerhafte Sperren. Discord erklärte, die KI-Moderation sei nicht für den Einsatz ohne menschliche Aufsicht vorgesehen und ein Fehler habe die menschliche Überprüfung umgangen. Alle betroffenen Konten wurden wiederhergestellt.
- Meta (Facebook und Instagram): Seit 2025 häufen sich Beschwerden von Nutzern über Massensperrungen, die sie auf KI-Moderation zurückführen. Der Mangel an menschlichen Ansprechpartnern verstärkt die Frustration, da es keine Möglichkeit gibt, die Gründe für eine Sperrung zu erfahren oder eine Wiederherstellung zu beantragen. Meta hat den Einsatz von KI nicht bestätigt, setzt aber zunehmend auf generative KI-basierte Moderation.
- Tumblr: Im März wurden auf Tumblr an einem Nachmittag „unter 200“ Konten von automatisierten Systemen fälschlicherweise gesperrt, wie Chenda Ngak, Kommunikationsleiterin der Muttergesellschaft Automattic, mitteilte. Bereits 2025 beklagten sich Nutzer über die fehlerhafte Kennzeichnung von Inhalten als „erwachsen“, was deren Sichtbarkeit reduzierte. Tumblr gibt an, eine Mischung aus maschineller Klassifizierung und menschlicher Moderation zu verwenden.
Die Notwendigkeit menschlicher Aufsicht
KI-Moderation kann sozialen Medien Kosten sparen und die Entfernung schädlicher Inhalte beschleunigen. Solange diese Systeme jedoch grundlegende Fehler machen – wie die Verwechslung eines Schachbretts mit CSAM –, bleibt menschliche Aufsicht unerlässlich. Maschinen fällt es schwer, die Nuancen von Sarkasmus, Satire und Umgangssprache zu verstehen. Zudem deuten Studien darauf hin, dass marginalisierte Gruppen unverhältnismäßig stark von KI-Moderation betroffen sein können. Ohne sinnvolle Kontrolle können KI-Systeme in wenigen Wochen Tausende von Fehlern mit weitreichenden Konsequenzen verursachen.
Thema: Technologie / KI allgemein. Quelle/Inspiration: Ars Technica.