OpenAI setzt Hunderte von Vertragsmitarbeitern ein, um reale ChatGPT-Konversationen zu lesen und zu bewerten. Diese Maßnahme dient der Verbesserung der Chatbot-Antworten und der Reduzierung von übermäßiger Schmeichelei sowie menschenähnlichem Verhalten in den Modellausgaben, wie aus einem Bericht von 404 Media hervorgeht.
Die Untersuchung von 404 Media basiert auf internen Dokumenten und Aussagen von Quellen. Die Prüfer bewerten die ChatGPT-Antworten auf einer Skala von eins bis sieben. Ein befragter Prüfer äußerte, dass er nicht glaube, dass Nutzer über diese menschliche Überprüfung ihrer Chats informiert seien. Dies wird durch einige Konversationen gestützt, in denen Nutzer explizit um Vertraulichkeit baten.
Datenschutzbedenken und Anonymisierung
Die zur Überprüfung herangezogenen Prompts werden zwar anonymisiert, können aber dennoch sensible persönliche Daten enthalten. OpenAI verwendet nach eigenen Angaben einen Datenschutzfilter, räumt jedoch Fehler ein. Nutzer, die nicht möchten, dass ihre Chats von Menschen gelesen werden, müssen die standardmäßig aktivierte Einstellung „Modell für alle verbessern“ manuell deaktivieren. Diese Einstellung gilt allerdings nur für neue Konversationen. Zusätzlich bietet OpenAI einen temporären Chat-Modus an, bei dem Eingabedaten laut Unternehmensangaben nicht für das Modelltraining verwendet werden.
Die Vertragsmitarbeiter werden über die Plattform Crossing Hurdles rekrutiert und über das KI-Trainingsunternehmen Mercor bezahlt. Ein in Nordamerika ansässiger Prüfer gab an, über 50 US-Dollar pro Stunde zu verdienen.
Offenlegungspraxis und Kritik
Auf eine Anfrage von 404 Media zur expliziten Information der Nutzer über die menschliche Überprüfung reagierte OpenAI zunächst nicht. Auf einer FAQ-Seite erklärt das Unternehmen, dass autorisiertes Personal und Dienstleister Nutzerdaten zur Verbesserung der Modellleistung einsehen können und rät davon ab, sensible Informationen einzugeben. Dieser Hinweis ist seit mindestens 2023 online und hat sich im Laufe der Jahre nur geringfügig geändert.
404 Media kritisiert, dass diese Offenlegung zu versteckt und zu vage sei, um Nutzer ausreichend über das Ausmaß der menschlichen Überprüfung zu informieren. Die Formulierung „Modell für alle verbessern“ klinge eher nach einem freundlichen Gemeinschaftsbeitrag als nach einer Zustimmung zur menschlichen Lektüre von Konversationen. Es wird vermutet, dass diese vage Formulierung bewusst gewählt ist, da eine explizite Zustimmung wahrscheinlich zu einer hohen Ablehnungsrate führen würde.
Branchenstandard
Menschliches Feedback ist ein entscheidender Bestandteil der Modellverbesserung für KI-Labore und eine weit verbreitete Praxis. Auch Anthropic bestätigte gegenüber 404 Media, menschliche Prüfer zur Überprüfung von Claude-Antworten einzusetzen und zukünftige Modelle zu verbessern. Dies gilt für Nutzer, die in ihren Datenschutzeinstellungen die Option „Helfen Sie mit, unsere KI-Modelle zu verbessern“ aktiviert haben. Anthropic anonymisiert ebenfalls Gespräche vor der menschlichen Überprüfung, indem Kontodaten wie E-Mail-Adressen entfernt werden. Google nutzt ebenfalls menschliche Prüfer und weist in Gemini darauf hin, dass gespeicherte Chats von Menschen überprüft werden können.
Thema: OpenAI. Quelle/Inspiration: The Decoder.