Wissenschaftler der Columbia University stellten Ende 2024 fest, dass selbst die besten KI-Modelle lediglich 18 Prozent der New York Times Connections-Rätsel lösen konnten. Anfang 2025 zeigten einige Modelle jedoch eine nahezu perfekte Lösungsquote. Diese raschen Fortschritte unterstreichen die zentrale Rolle von Puzzles und Spielen bei der Entwicklung Künstlicher Intelligenz, offenbaren gleichzeitig aber auch die spezifischen Stärken und Schwächen der Technologie im Vergleich zur menschlichen Kognition.
Fortschritte und anhaltende Herausforderungen
Die Nutzung von Spielen zur Evaluierung der Intelligenz von Maschinen reicht bis zu den Anfängen der KI-Forschung zurück. Bereits 1959 prägte der IBM-Informatiker Arthur Samuel den Begriff „Maschinelles Lernen“ in einem Artikel über einen Algorithmus, der Dame spielen lernte. Auch Schach und Go dienten als wichtige Testfelder. Obwohl KI-Modelle bei reinen Rätselfähigkeiten schnell besser werden, zeigen sie weiterhin Schwierigkeiten bei subtilen Änderungen klassischer Rätsel und insbesondere bei visuellen Aufgaben.
Defizite bei räumlichem Denken und visuellen Problemen
Ein deutlicher Bereich, in dem Menschen der KI überlegen sind, ist das räumliche Denken. Sprachmodelle, die visuelle Eingaben analysieren können, versagen bei mentalen Rotationsproblemen, bei denen Objekte aus verschiedenen Blickwinkeln identifiziert werden müssen, eklatant. Trotz Diskussionen über sogenannte „Weltmodelle“, die KI helfen sollen, physische Umgebungen zu verstehen, scheinen große Sprachmodelle (LLMs) keine 3D-Objekte so manipulieren zu können wie Architekten oder Maschinenbauingenieure.
Auch bei zweidimensionalen visuellen Problemen zeigen sich Schwächen, was sich maßgeblich auf die Leistung von Modellen beim Abstract Reasoning Challenge (ARC-AGI) auswirkt. Diese Aufgaben erfordern das Ableiten abstrakter, allgemeiner Regeln aus Beispielen. Modelle erzielen bessere Ergebnisse, wenn die Raster nicht als Bilder, sondern als Zahlenfolgen, die die Farbe jeder Zelle kodieren, übermittelt werden. Studien deuten darauf hin, dass Modelle selbst bei korrekten ARC-AGI-Antworten oft komplizierte, nicht-generalisierbare Regeln anwenden, während Menschen auf einfache visuelle Konzepte zurückgreifen.
Die Tücke des Gedächtnisses
Moderne große Sprachmodelle verfügen über ein außergewöhnliches Gedächtnis, das durch die immense Datenmenge ihrer Trainingsphase gespeist wird. Dies ist ein Vorteil bei Trivia-Fragen, kann jedoch auch zur Belastung werden. Wenn ein Rätsel einem während des Trainings gesehenen Problem zu ähnlich ist, übersehen die Modelle möglicherweise entscheidende Unterschiede und antworten mit auswendig gelernten Informationen.
Eine Studie aus dem Jahr 2024 von Forschenden von Google und der University of Illinois Urbana-Champaign zeigte dies bei Variationen des klassischen „Ritter und Knappen“-Rätsels. Ähnliche Prinzipien wurden bei „SimpleBench“-Fragen beobachtet, die komplexeren Problemen ähneln, welche Modelle wahrscheinlich im Training begegnet sind. Menschen erkennen den Trick, aber selbst Spitzenmodelle stolpern.
Skalierung als Herausforderung
Die Fähigkeit eines Sprachmodells, ein Rätsel zu lösen, hängt in einigen Fällen von dessen Komplexität ab. Eine Studie von Forschenden bei Apple ergab, dass LLMs einfache Versionen des „Turm von Hanoi“-Problems und von Flussüberquerungsrätseln meistern können. Diese Fähigkeit nimmt jedoch ab, sobald die Anzahl der Scheiben oder Personen sechs oder mehr erreicht.
Ähnliche Schwierigkeiten bei Logikgitterrätseln, die das Ableiten von Attributen aus einer Reihe von Hinweisen erfordern, beobachteten Forschende der University of Washington, der Stanford University und des Allen Institute for AI. Die Apple-Studie führte zu Diskussionen darüber, ob diese Ergebnisse eine einzigartige Einschränkung des LLM-Schlussfolgerns aufzeigen oder lediglich die normale Fehleranfälligkeit bei zunehmender Komplexität widerspiegeln.
Menschliche und maschinelle kognitive Unterschiede
Es sind nicht nur KI-Modelle, die in Fallen tappen. Auch Menschen haben ihre eigenen kognitiven Eigenheiten, von denen viele der KI fremd sind. Psychologen haben Problemreihen entworfen, bei denen Menschen oft impulsiv antworten, während Modelle überlegt reagieren. Einige dieser Probleme nutzen Fehler in der intuitiven Mathematik aus oder sind so formuliert, dass sie offensichtliche Antworten suggerieren, die bei sorgfältiger Lektüre hinfällig werden.
Thema: Intel. Quelle/Inspiration: MIT Technology Review.