Der KI-Detektor Pangram steht in der Kritik, da seine Ergebnisse zur öffentlichen Bloßstellung von Personen in sozialen Medien verwendet werden. Dies geschieht, obwohl das Tool lediglich misst, ob Künstliche Intelligenz (KI) in Texten wahrscheinlich zum Einsatz kam, und nicht, wie diese genutzt wurde oder ob dahinter eigenständiges Denken steckt.
Kontroverse um Rod Breslau und Pangrams Strategie
Anfang des Jahres engagierte Pangram den Journalisten Rod Breslau, der sich selbst als „Angriffshund“ bezeichnete. Breslau bot seine Dienste dem Pangram-Gründer Spero an, da er frustriert über KI-generierte Inhalte in sozialen Medien war. Er beriet Pangram in Social-Media-Strategie und suchte aktiv nach mutmaßlichen KI-Nutzern. Breslaus Motivation war es, Menschen, die sich als Führungskräfte in ihrer Nische präsentieren, bloßzustellen, wenn sie ihre eigenen Social-Media-Beiträge nicht selbst verfassen.
Pangram trennte sich später von Breslau und änderte seine Unternehmensstrategie. Das Unternehmen geht nun davon aus, dass der Einsatz von KI zunehmend akzeptiert wird, und möchte zukünftig auch leichte KI-Bearbeitungen erkennen. Pangram positioniert sich als Autorität für Originalitätsprüfungen im Verlagswesen, in der Bildung und darüber hinaus, wie CEO Max Spero gegenüber WIRED erklärte. Trotz der Trennung von Breslau führt Spero weiterhin öffentliche Bewertungen und Bloßstellungen von Personen basierend auf Pangram-Ergebnissen durch, um, wie er es ausdrückt, Menschen zur Rechenschaft zu ziehen, die ihre KI-Beteiligung angeblich zu verbergen versuchen.
Die methodischen Grenzen der KI-Erkennung
Das Geschäftsmodell von Pangram basiert auf der Annahme, dass KI-Nutzung mit Faulheit oder Unehrlichkeit gleichgesetzt wird. Würde dieses Stigma verblassen, gäbe es weniger Anreize, für die Erkennung zu bezahlen. Jedoch kann jeder Detektionswert, selbst ein perfekt genauer, nur anzeigen, ob KI wahrscheinlich beteiligt war. Das Tool kann nicht unterscheiden, ob ein ganzer Text aus einer Eingabeaufforderung generiert wurde, ob KI als Denkpartner diente, bei der Formulierung half oder ob ein Autor seine eigene Schrift durch KI laufen ließ, um die Sprache zu glätten oder zu übersetzen.
Die „Pangram-Bloßstellung“ impliziert, dass jede KI-Beteiligung bedeutet, der Verfasser habe nicht nachgedacht oder sich nicht gekümmert. Ein hoher Wert kann einen Text treffen, für den jemand Stunden mit eigener Recherche und Argumentation verbracht hat, genauso wie einen, der in zehn Sekunden generiert wurde. Pangram kann diesen Unterschied nicht erkennen, da es den Schreibprozess nicht verfolgen kann.
Ein Beispiel ist die englische Version des vorliegenden Artikels: Eine Übersetzung aus dem deutschen Original, mit KI entworfen und dann von Hand sowie mit KI bearbeitet. Pangram bewertete diesen Text mit „28 Prozent KI“ und markierte die letzten Absätze als KI-geschrieben. Tatsächlich wurden jedoch alle Abschnitte auf die gleiche Weise erstellt und bearbeitet, mit ungefähr dem gleichen Grad an KI-Beteiligung und gleicher menschlicher Absicht.
Auswirkungen auf Bildung und Wissenschaft
Selbsternannte „KI-Polizisten“ wie Breslau oder Spero würden solche Werte nutzen, um zu behaupten, ein Absatz stamme von einer KI und spiegele nicht die Gedanken des Autors wider. Schlimmer noch: Akademische Einrichtungen lehnen Arbeiten aufgrund solcher prozentualen Bewertungen ab. Viele dieser Arbeiten stammen von Forschenden, die in einer Zweitsprache schreiben oder wissenschaftlich versierter als sprachlich begabt sind und KI nutzen, um ihre Ergebnisse klarer auszudrücken. In solchen Fällen bestraft Pangram sie für die Verbesserung ihrer Arbeit.
Eine historische Analogie verdeutlicht das Problem: Alexandre Dumas nutzte Assistenten wie Auguste Maquet, um Rohentwürfe seiner Romane zu schreiben, die er dann selbst verfeinerte, darunter Klassiker wie „Die drei Musketiere“. Die Qualität entstand durch das Konzept am Anfang und den Feinschliff am Ende. Ein auf Dumas angewandter KI-Detektor hätte „Maquet-Nutzung“ gemeldet und alles übersehen, was seine Bücher ausmachte.
Thema: Technologie / KI allgemein. Quelle/Inspiration: The Decoder.