Führende KI-Textdetektoren wie Pangram, GPTZero und Originality.ai haben erhebliche Schwierigkeiten, von Sprachmodellen erstellte Texte zu identifizieren, wenn diese bewusst den Stil eines menschlichen Autors imitieren. Eine aktuelle Untersuchung von Epoch AI ergab, dass bis zu 18 Prozent solcher KI-generierten Passagen unentdeckt bleiben. Besonders problematisch ist die Situation bei wissenschaftlichen Texten, wo die Fehlklassifizierungsrate auf bis zu 48 Prozent ansteigen kann.
Studienaufbau und erste Ergebnisse
Das Forschungsteam von Epoch AI testete drei der meistgenutzten KI-Textdetektoren: Pangram (Version 3.3.2), GPTZero (Modell 2026-05-11-base) und Originality.ai (Turbo 3.0.2). Die Untersuchung umfasste drei Textkategorien: authentische menschliche Texte, von KI aus einfachen Prompts generierte Texte und KI-Texte, die bewusst den Schreibstil eines bestimmten Autors nachahmten.
Für die Studie wurde ein Textkorpus von 495 menschlichen Passagen von 99 Autoren erstellt, gleichmäßig aufgeteilt in Blogbeiträge, Belletristik und wissenschaftliche Texte. Alle menschlichen Texte stammten aus der Zeit vor der Veröffentlichung von ChatGPT im November 2022, um eine mögliche Kontamination durch Sprachmodelle auszuschließen.
Bei der Erkennung von einfach generierten KI-Texten zeigten alle drei Detektoren nahezu fehlerfreie Leistungen, mit einer maximalen Fehlklassifizierungsrate (sogenannte False-Negative-Rate) von 0,7 Prozent. Menschliche Texte wurden größtenteils ebenfalls korrekt klassifiziert. Pangram und GPTZero produzierten keine Fehlalarme. Originality.ai hingegen stufte 19 von 495 menschlichen Passagen fälschlicherweise als KI-generiert ein, was einer Fehlalarmrate (sogenannte False-Positive-Rate) von 3,8 Prozent entspricht.
Herausforderung: Stilimitation durch KI
Die Ergebnisse änderten sich drastisch, als die Sprachmodelle angewiesen wurden, einen bestimmten Schreibstil zu imitieren. Für diesen Test erhielten drei fortschrittliche Sprachmodelle (Claude Opus 4.8, GPT-5.5 und Gemini 3.1 Pro) jeweils fünf echte Textpassagen eines Autors als Referenzmaterial und wurden aufgefordert, neue Texte im selben Stil zu verfassen.
Von den 297 auf diese Weise generierten Passagen blieben durchschnittlich 38 unentdeckt, was einer Fehlklassifizierungsrate von etwa 13 Prozent entspricht. Einzeln betrachtet verfehlte Pangram 10 Prozent der stilimitierten Texte, GPTZero 11 Prozent und Originality.ai 18 Prozent.
Besondere Schwächen im wissenschaftlichen Bereich
Die Fehlklassifizierungsrate bei Belletristik lag über alle Detektoren hinweg bei lediglich 1 bis 5 Prozent. Ganz anders stellte sich die Situation bei wissenschaftlichen Texten dar: Pangram erkannte 25 Prozent der stilimitierten akademischen KI-Texte nicht, GPTZero verpasste 24 Prozent und Originality.ai 29 Prozent.
Die schlechtesten Einzelergebnisse wurden in spezifischen Modell-Genre-Kombinationen innerhalb des wissenschaftlichen Schreibens verzeichnet. Pangram übersah 48 Prozent der von Gemini generierten akademischen Passagen. Bei Originality.ai blieben 39 Prozent der akademischen GPT-5.5-Texte unentdeckt.
Funktionsweise der Detektoren
- Pangram nutzt ein neuronales Netz, das auf menschlichen und maschinell generierten Texten trainiert wurde. Die Funktionsweise gilt als Black Box, da die Urteile nicht nachvollziehbar sind.
- GPTZero misst die Vorhersagbarkeit von Wortwahlen und deren Variation innerhalb eines Textes. Die Annahme ist, dass Sprachmodelle gleichmäßiger schreiben als Menschen.
- Originality.ai sucht nach statistischen Mustern, die es während des Trainings an menschlichen und KI-generierten Texten gelernt hat.
Trotz dieser unterschiedlichen Ansätze zeigen alle drei Detektoren das gleiche Muster: Texte aus einfachen Prompts werden fast immer erkannt, aber stilimitierte Texte werden wesentlich häufiger übersehen. Wissenschaftliche Texte, ein Bereich, in dem KI-Erkennung wahrscheinlich am häufigsten in der Praxis eingesetzt wird, bleiben am schwierigsten korrekt zu identifizieren.
Thema: Technologie / KI allgemein. Quelle/Inspiration: The Decoder.