Eine neue Studie von Sydney Sears und Deena Skolnick Weisberg, veröffentlicht im Fachmagazin Judgment and Decision Making, offenbart eine bemerkenswerte Wahrnehmungslücke bei der Beurteilung von KI-generierten Kurzgeschichten. Über 2.500 Teilnehmer konnten KI-erzeugte Texte kaum von menschlich verfassten unterscheiden und bewerteten die maschinellen Werke sogar besser – solange ihnen der eigentliche Ursprung unbekannt war.
Experimente zeigen menschliche Schwierigkeiten bei der Unterscheidung
In drei Experimenten mit insgesamt mehr als 2.500 Probanden zeigten die Teilnehmer keine bessere Leistung als der Zufall, wenn es darum ging, fiktionale Kurzgeschichten von Menschen und von ChatGPT zu unterscheiden.
Im ersten Experiment lasen 1.682 Teilnehmer jeweils eine von sechs etwa 1.000 Wörter langen Kurzgeschichten. Drei dieser Geschichten stammten aus bekannten Literaturmagazinen und Sammlungen, die anderen drei wurden mit ChatGPT 4.0 generiert. Die Prompts für die KI basierten auf Thema, Stil und Erzählperspektive der menschlichen Originale.
Die Hälfte der Teilnehmer wurde informiert, dass ihre Geschichte von einem Menschen geschrieben wurde, die andere Hälfte, dass sie von ChatGPT stammte. Diese Information war jedoch nur für die Hälfte der Teilnehmer in jeder Gruppe korrekt.
KI-Texte erhalten höhere Bewertungen für Qualität und Immersion
Die Ergebnisse des ersten Experiments zeigten, dass die von ChatGPT erstellten Geschichten signifikant höher bewertet wurden als die menschlich verfassten Texte, sowohl hinsichtlich der wahrgenommenen Qualität als auch der Immersion (das Eintauchen in die Geschichte). Auf einer Skala von minus 3 bis plus 3 lag der Durchschnittswert für KI-Geschichten bei der Qualität bei 1,54 gegenüber 0,97 für menschliche Geschichten. Bei der Immersion betrug der Unterschied 1,42 gegenüber 1,00.
Die Einstellung der Teilnehmer zu Künstlicher Intelligenz beeinflusste ebenfalls ihre Bewertungen. Unabhängig vom tatsächlichen Autor vergaben Probanden höhere Punktzahlen, wenn ihnen mitgeteilt wurde, dass ein Mensch der Verfasser sei. Teilnehmer mit einer positiven Einstellung zu KI vergaben generell höhere Bewertungen. Wurden ihnen diese Geschichten als KI-generiert präsentiert, stiegen ihre Bewertungen sogar noch weiter an. Bei KI-skeptischen Teilnehmern zeigte sich dieser Effekt umgekehrt. Eine frühere Studie zu KI-generierten Gedichten hatte ähnliche Verzerrungen festgestellt.
In zwei weiteren Experimenten mit insgesamt 905 Teilnehmern wurde die Aufgabe erschwert: Jede Person las sowohl eine menschliche als auch eine KI-generierte Geschichte und musste anschließend entscheiden, welche von welcher Quelle stammte. Selbst bei diesem direkten Vergleich schnitten die Teilnehmer nicht besser ab als der Zufall.
Erklärungsansätze und weiterführende Erkenntnisse
Die Studie ergab zudem, dass selbstberichtete Erfahrung mit KI-Systemen positiv mit der Fähigkeit korrelierte, die Herkunft der Geschichten korrekt zu identifizieren. Selbstberichtete Erfahrung mit Belletristik half den Teilnehmern hingegen nicht, die Texte zu unterscheiden.
Die Autoren der Studie vermuten, dass KI-generierte Texte tendenziell flüssiger, leichter lesbar und emotional positiver sind als menschlich verfasste Texte. Diese Eigenschaften könnten die höheren Bewertungen erklären, ohne dass die KI-Geschichten im literarischen Sinne unbedingt besser wären. Menschen bevorzugen oft Material, das leichter zu verarbeiten ist. Hochwertige literarische Fiktion hingegen ist oft bewusst anspruchsvoller und fordert die Leser zur Interpretation auf.
Das Format der Kurzgeschichte könnte ebenfalls zugunsten der KI wirken, da die kohärente Erzählung auf 1.000 Wörter eine andere Herausforderung darstellt als über Hunderte von Seiten. Die Forscher kommen zu dem Schluss, dass KI kreative Werke erzeugen kann, die von Menschen als gleichwertig mit menschlicher Arbeit wahrgenommen werden, obwohl die Menschen der KI diese Fähigkeit oft nicht zutrauen.
Eine weitere Studie vom Oktober des Vorjahres, durchgeführt von der Stony Brook University und der Columbia Law School, zeigte, dass die Expertise der Leser nur bis zu einem gewissen Grad relevant ist. Bei einfachen Prompts bevorzugten professionelle Leser klar die menschlich verfassten Texte. Wurden die Modelle jedoch gezielt auf den Stil einzelner Autoren trainiert, bevorzugten die Experten die KI-generierten Texte achtmal häufiger für die Stilimitation und doppelt so oft für die Schreibqualität.
Thema: ChatGPT. Quelle/Inspiration: The Decoder.