Tom Zahavy von Google DeepMind argumentiert in einem Positionspapier mit dem Titel „LLMs can’t jump“, dass große Sprachmodelle (LLMs) keine wissenschaftlichen Revolutionen auslösen können. Ihnen fehle der kognitive Mechanismus, um etwas wirklich Neues zu erschaffen.
Der Einstein-Zyklus der Entdeckung
Zahavy stützt seine Argumentation auf ein von Albert Einstein skizziertes Entdeckungsmodell. Einstein beschrieb einen Zyklus, der mit sensorischer Erfahrung beginnt, zu einem intuitiven „Sprung“ zu Axiomen führt und von dort mittels logischer Deduktion zu überprüfbaren Schlussfolgerungen gelangt. Axiome sind dabei die unbewiesenen, grundlegenden Annahmen einer Theorie.
Um die Lücke zu identifizieren, greift Zahavy auf eine Unterscheidung des Philosophen Charles Sanders Peirce zurück, der alle Schlussfolgerungen danach kategorisierte, wie sie Regeln, Fälle und Ergebnisse verknüpfen:
- Deduktion leitet garantierte Schlussfolgerungen aus festen Regeln ab, ähnlich einem Programm, das ein nachweislich korrektes Ergebnis liefert.
- Induktion erkennt Muster in Daten, etwa die Verallgemeinerung, dass alle Schwäne weiß sind, nachdem tausend weiße Schwäne beobachtet wurden.
- Abduktion ist der kreative Sprung; sie erfindet eine Ursache, um ein überraschendes Phänomen zu erklären.
Der Engpass: Manipulative Abduktion
Diese dritte Form der Schlussfolgerung sieht Zahavy als kritischen Engpass. Er unterscheidet dabei zwei Ebenen: Die gewöhnliche Abduktion wählt die plausibelste Erklärung aus bekannten Kandidaten aus, wie ein Arzt Symptome einer Krankheit zuordnet. Dies beherrschen Sprachmodelle. Die schwierigere Version nennt er „manipulative Abduktion“: die Erfindung einer Ursache, für die noch keine sprachliche Vorlage existiert. Dies sei der eigentliche Engpass wissenschaftlicher Erfindungen, und Maschinen könnten dies nicht leisten.
Induktion und Deduktion sind laut Zahavy für Sprachmodelle gut erreichbar. Sie sind bereits exzellent in der statistischen Mustererkennung und meistern auch die formale Ableitung. Systeme wie AlphaProof, Gemini und GPT-5 erzielen mittlerweile Gold-Scores bei mathematischen Olympiade-Problemen. Zahavy räumt ein, dass ein Sprachmodell die allgemeine Relativitätstheorie ableiten könnte, wenn es Einsteins Annahmen als Ausgangspunkt erhielte. Doch die Formulierung dieser Annahmen, der manipulative Sprung, um sie zu erreichen, bleibe der Engpass.
Warum Maschinen scheitern: Fehlendes Fehlersignal und sensorische Verankerung
Zahavy illustriert das Scheitern von Maschinen bei diesem Sprung am Beispiel der Relativitätstheorie. KI-Modelle lernen typischerweise, indem sie ihre Vorhersagen mit der Realität vergleichen und sich basierend auf dem Fehler anpassen. Ohne ein erkennbares Fehlersignal kann das System nicht arbeiten. Dies sei die Situation gewesen, der Einstein gegenüberstand: Newtons Physik war präzise bestätigt, die einzige bekannte Anomalie, eine winzige Verschiebung in Merkurs Umlaufbahn, wurde einem hypothetischen Planeten namens „Vulkan“ zugeschrieben. Eine optimierungsgetriebene KI hätte keinen Grund gehabt, die Physik zu stürzen, sondern hätte einen zusätzlichen Planeten erfunden, anstatt Raum und Zeit neu zu denken.
Einsteins „glücklichster Gedanke“ – der frei fallende Beobachter, der keine Schwerkraft mehr spürt – entstand durch verkörperte Simulation: Einstein spielte mental ein physikalisches Gefühl durch, anstatt Gleichungen zu wälzen. Er stellte sich einen Physiker in einem beschleunigenden Aufzug im Weltraum vor und schloss, dass Beschleunigung und Schwerkraft von innen ununterscheidbar sind. Ähnlich wie Archimedes, der sein Auftriebsprinzip durch das Gefühl des steigenden Wassers im Bad entdeckte, entstand hier ein grundlegendes Prinzip, das in der damaligen Sprache noch nicht existierte.
Sprachmodellen fehle genau diese sensorische Verankerung. Zahavy vergleicht sie mit John Searles „Chinesischem Zimmer“, einem Gedankenexperiment, bei dem eine Person chinesische Schriftzeichen nach einem Regelwerk verschiebt, ohne ein einziges Wort zu verstehen. Sprachmodelle verschieben die Symbole der Physik auf ähnliche Weise, ohne Zugang zu der physikalischen Erfahrung, die diesen Symbolen Bedeutung verleiht.
Auch beeindruckende Systeme wie Sakana’s AI Scientist, das bestehende Konzepte rekombiniert, oder DeepMinds AlphaEvolve, das optimiert, benötigen ein klares Fehlersignal. Keines dieser Systeme, so Zahavy, kann den Sprung in ein völlig neues Denkgerüst vollziehen.
Weltmodelle als möglicher Weg
Als möglichen Weg nach vorn nennt Zahavy physikalisch konsistente Weltmodelle. Während Videogeneratoren wie Veo lediglich das wahrscheinlichste nächste Bild vorhersagen (ein fallender Apfel fällt, weil dies in den Trainingsdaten am häufigsten vorkommt und nicht, weil das Modell die Schwerkraft versteht), ermöglichen aktionskontrollierbare Weltmodelle wie Genie einem Agenten, aktiv in eine Simulation einzugreifen und kontrafaktische Experimente durchzuführen, wie das mentale Durchtrennen eines Aufzugkabels. Ein solches „synthetisches Labor“ könnte die nötige Rückkopplungsschleife bereitstellen, um neue Axiome zu erfinden, für die noch keine sprachliche Vorlage existiert.
Thema: Google DeepMind. Quelle/Inspiration: The Decoder.