Aktuelle KI-Systeme, sogenannte Weltmodelle wie Sora oder Genie, simulieren primär physikalische Gegebenheiten und ignorieren menschliche Überzeugungen, Absichten oder Gefühle. Eine neue Forschungsarbeit stellt nun das Framework „Mental World Modeling“ (MWM) vor, das mentale Variablen integriert. Tests zeigen, dass selbst schwächere Sprachmodelle mit diesem Ansatz stärkere Modelle ohne mentale Modellierung übertreffen und die Vorhersage menschlicher Handlungen deutlich verbessern.
Weltmodelle: Grenzen der rein physikalischen Simulation
Weltmodelle sind grundlegende KI-Systeme, die vorhersagen, wie sich eine Szene bei einer Aktion verändert. Bisherige Modelle wie Sora oder JEPA konzentrieren sich ausschließlich auf die physikalische Ebene der Welt, etwa Objekte und Bewegungen. Menschliche Überzeugungen, Wünsche oder soziale Normen werden dabei nicht erfasst. Dies ist problematisch, da menschliches Verhalten maßgeblich von diesen verborgenen mentalen Zuständen gesteuert wird. Ein Beispiel: Wenn eine Tasse außer Sichtweite verschoben wird, würde ein rein physikalisches Modell die Szene als korrekt ansehen, die darauffolgende Handlung der Person jedoch falsch vorhersagen, da es deren Überzeugung über den Standort der Tasse nicht kennt. Das auf GitHub veröffentlichte Framework „Mental World Modeling“ (MWM) erweitert klassische Weltmodelle um mentale Variablen wie Überzeugungen, Absichten und Emotionen. Jede Handlung wird dabei in einen physikalischen Träger und eine mentale Bedeutung aufgeteilt, was eine präzisere Interpretation ermöglicht. Die Forscher betonen, dass sie keine Simulation von Bewusstsein anstreben, sondern mentale Zustände als Hypothesen aus Verhalten und Kontext ableiten.
Deutliche Leistungssteigerung durch MWM
Zur Überprüfung der Theorie entwickelten die Forscher MENTIS, eine modulare Pipeline, die ohne zusätzliches Training funktioniert und simulierte Zustände nach physikalischer Plausibilität, mentaler Konsistenz und sozialer Angemessenheit bewertet. Für die Evaluierung erstellten die Autoren Menti-Bench, einen Datensatz mit 448 Entscheidungsszenen. Acht getestete Sprachmodelle, darunter von OpenAI und Anthropic, zeigten eine deutliche Leistungssteigerung durch MWM. Während direkte Antworten einen F1-Score von 63,3 erreichten, erzielte die vollständige MWM-Pipeline 87,9. Menschen erreichten 98,5. Selbst schwächere Modelle mit MWM übertrafen die stärksten Modelle ohne diesen Ansatz. Ohne den mentalen Kanal sanken die Ergebnisse um durchschnittlich 12,1 Punkte, ohne den physikalischen Kanal um 16,5 Punkte. Besonders in interpersonellen Szenen verbesserte sich der F1-Score durch mentale Modellierung um 26,4 Punkte. Die größte verbleibende Lücke zur menschlichen Leistung liegt in der Vorhersage, wie sich physikalische und mentale Zustände gemeinsam verändern. Fehler in der Simulation dieser Übergänge machen den Großteil der Differenz aus und stellen den Hauptansatzpunkt für zukünftige Verbesserungen dar. Weltmodelle gelten als die nächste große Wette in der KI-Forschung.
Thema: Technologie / KI allgemein. Quelle/Inspiration: The Decoder.