Vier Jahre nach der Veröffentlichung von ChatGPT ist die Fähigkeit, natürlich mit digitalen Geräten zu kommunizieren, für viele selbstverständlich geworden. Große Sprachmodelle (LLMs) wie Claude, DeepSeek und die GPT-Modelle von OpenAI sind in der Lage, menschenähnliche Sprachkompetenz zu demonstrieren. Doch hinter dieser scheinbaren Leichtigkeit verbirgt sich eine grundlegende Herausforderung: Das Training dieser KI-Modelle erfordert eine unvorstellbare Menge an Daten, die weit über das hinausgeht, was ein Mensch im Laufe seines Lebens oder seiner Sprachentwicklung aufnimmt.
Ein LLM kann problemlos hunderttausendmal mehr Wörter verarbeiten, als ein Mensch benötigt, um seine Muttersprache fließend zu beherrschen. Dies ist auch erheblich mehr als die Sprachmenge, die ein Kind bis zu seinem ersten Geburtstag hört, wenn es typischerweise beginnt, die Sprache zu erfassen. Michael C. Frank, Kognitionswissenschaftler an der Stanford University, bemerkt dazu: „Der Fortschritt in jüngster Zeit war erstaunlich. Aber wir müssen immer noch einen Wald abholzen und die gesamte Summe menschlichen Wissens zusammentragen, um diesen Meilenstein nachzubilden, der in unseren Wohnzimmern innerhalb eines Jahres erreicht wird.“
Die Kluft in der Dateneffizienz
Diese erhebliche Diskrepanz zwischen der Datennutzung von Kindern und Maschinen wird als „Daten-Effizienz-Lücke“ bezeichnet. Sie wirft eine zentrale Frage für Kognitionswissenschaftler und eine Herausforderung für KI-Entwickler auf: Wie schaffen es Kinder, die sprachlich ausgeklügeltsten Maschinen, die je gebaut wurden, in dieser Hinsicht zu übertreffen?
Die Suche nach Antworten ist sowohl für die KI-Forschung als auch für die Kognitionswissenschaft von großer Bedeutung. In den letzten zehn Jahren wurden Sprachmodelle primär durch eine Vergrößerung ihrer Trainingsdaten verbessert. Metas Open-Weight-LLM Llama 3.1, vor zwei Jahren veröffentlicht, verarbeitete beispielsweise 15 Billionen Tokens – wortähnliche Spracheinheiten – während des Vortrainings. Ethan Gotlieb Wilcox, Kognitionswissenschaftler und Linguist an der Georgetown University, schätzt, dass aktuelle Spitzenmodelle das Zehnfache dieser Datenmenge im Vortraining nutzen könnten. Doch die Menge an verfügbaren Internetdaten ist begrenzt, und das Reservoir könnte bereits in den 2030er Jahren erschöpft sein.
Kinder demonstrieren, dass es möglich ist, mit erheblich weniger Daten zu lernen. Ein Kind, das in einem sprachlich reichen Umfeld aufwächst, hört bis zum Teenageralter etwa 100 Millionen Wörter. Mit Lese- und Schreibfähigkeit könnte diese Zahl bis zum Alter von 20 Jahren auf etwa 300 Millionen Wörter ansteigen. Zum Vergleich: Wilcox veranschaulicht, dass ein Modell wie Claude die Sprachmenge verarbeitet hat, die eine ganze Stadt in einer Generation erlebt. Würde man alle Wörter, die zur Schulung eines modernen LLM verwendet wurden, ausdrucken, entstünde ein Stapel, der über die Internationale Raumstation hinausreichte. Die 100 Millionen Wörter eines Kindes würden hingegen nur einen 20 Meter hohen Stapel ergeben.
Implikationen für KI und Kognitionswissenschaft
Durch die Analyse und das „Reverse Engineering“ der kindlichen Lernprozesse hoffen Wissenschaftler, dateneffizientere KI-Modelle entwickeln zu können. Solche Modelle könnten vielfältig eingesetzt werden, beispielsweise für das effektive Training von KI mit Videodaten oder die Entwicklung von Chatbots für Sprachgemeinschaften mit wenigen digitalen Ressourcen. Gleichzeitig könnte die Erprobung von Hypothesen über menschliches Lernen in Maschinenmodellen dazu beitragen, langjährige Fragen zur Sprachentwicklung und zum kindlichen Geist zu klären. Dazu gehören Fragen, ob wir mit einem Sprachinstinkt geboren werden oder Sprache rein durch Erfahrung erlernen, und inwieweit unsere Sprachverarbeitung biologisch bedingt ist oder universelle Lernprinzipien widerspiegelt.
Die meisten Menschen erkennen die Komplexität des Spracherwerbs erst, wenn sie als Erwachsene versuchen, eine neue Sprache zu lernen. Kleinkinder hingegen beginnen oft schon nach dem Hören von etwa 10 bis 30 Millionen Wörtern grammatisch korrekte Sätze zu bilden. Frank bezeichnet dies als „völlig wundersam“ und fügt hinzu: „Wenn man GPT-2 mit 30 Millionen Wörtern trainiert, erhält man einen Unsinn-Generator; man erhält kein Kind.“
Wie Babys dies bewerkstelligen, bleibt ein Rätsel. Die Syntax der menschlichen Sprache mit ihren rekursiven, verschachtelten Strukturen ermöglicht es uns, unendlich viele Ideen mit einem begrenzten Wortschatz auszudrücken. Dies scheint für Babys, die nur einen winzigen Teil der Sprachwelt erfahren, eine große Herausforderung zu sein. Und doch reicht es ihnen aus, um aus einem „Tropfen die Tiefen zu erschließen“.
Eine mögliche Erklärung, die in den 1950er Jahren vom MIT-Linguisten Noam Chomsky vorgeschlagen wurde, besagt, dass Babys mit einem angeborenen Grammatikwissen geboren werden. Chomsky reagierte damit auf die Ansicht des Psychologen B.F. Skinner, der den Spracherwerb als rein umweltbedingt durch Konditionierung und Verstärkung erklärte. Chomsky führte das Argument der „Armut des Stimulus“ an: Die Sprache, insbesondere die Syntax, sei zu komplex und die Exposition von Kindern damit zu „verarmt“, um sie vollständig aus Erfahrung zu lernen. Er postulierte, dass Sprache auf einem Satz logischer Regeln basiert und Kinder ein angeborenes Wissen dieser Regeln benötigten, um die Grammatik ihrer Sprache aus begrenzten Sprachfragmenten abzuleiten. Diese chomskysche Sichtweise prägte die US-Linguistik über Jahrzehnte und beeinflusste auch die frühe KI-Forschung in den 1950er und 60er Jahren erheblich.
Thema: ChatGPT. Quelle/Inspiration: MIT Technology Review.