Michal Irani und ihr Team am Weizmann Institute of Science in Rehovot, Israel, haben ein neues KI-Tool entwickelt, das in der Lage ist, Bilder, die eine Person betrachtet, anhand von Hirnscans zu rekonstruieren. Das System kann auch die Hirnaktivität vorhersagen, die durch das Betrachten eines Bildes ausgelöst wird. Diese Entwicklung wurde kürzlich auf der Cognitive Computational Neuroscience Konferenz in New York vorgestellt.
Technologische Grundlage und Trainingsmethode
Das neue System basiert auf der Analyse von hochauflösenden funktionellen Magnetresonanztomographie-Daten (fMRI). fMRI nutzt starke Magnetfelder, um den Fluss von sauerstoffreichem Blut im Gehirn zu verfolgen, was Rückschlüsse auf die Aktivität bestimmter Hirnbereiche zulässt. Während frühere fMRI-Scanner Aktivität in „Voxeln“ von etwa drei Kubikmillimetern erfassten, die rund 16.000 Neuronen enthalten, nutzten Irani und ihre Kollegen neuere Datensätze mit einer höheren Auflösung von etwa einem Kubikmillimeter pro Voxel.
Das Kernstück des Tools ist ein sogenannter „Brain Decoder“ mit zwei Zweigen. Einer davon ist darauf spezialisiert, die Struktur eines Bildes zu erfassen (z.B. wo Farben platziert sind), während der andere den Inhalt des Bildes vorhersagt (z.B. eine Bananenstaude auf einem Teller). Die Vorhersagen beider Zweige werden dann einem Diffusionsmodell zugeführt – einer KI-Art, die für die Erstellung von Bildern und Videos bekannt ist, indem sie verrauschte Pixel schrittweise säubert. Dies ermöglicht eine präzisere Rekonstruktion des tatsächlich Gesehenen.
Um die Modelle zu verbessern, entwickelte das Team auch einen „Encoder“, der die Hirnaktivität aus einem Bild vorhersagen kann. Durch das wiederholte Training von Encoder und Decoder miteinander konnten die Forscher die Genauigkeit beider Tools erheblich steigern. Dieser Ansatz ermöglichte es ihnen, die Modelle mit einer großen Menge an Bildern zu trainieren, von denen etwa 70 Prozent ursprünglich nicht mit fMRI-Scans gepaart waren.
Das resultierende „universelle Brain Encoder“-System benötigt für neue Personen lediglich eine Stunde Kalibrierungsdaten, verglichen mit etwa 40 Stunden, die frühere Ansätze erforderten. Dies ist laut Neurobiologe Tommy Sprague von der University of California, Santa Barbara, ein wichtiger Fortschritt, da 40 Stunden fMRI-Daten pro Person Kosten von 24.000 bis 40.000 US-Dollar verursachen können.
Anwendungsmöglichkeiten und ethische Bedenken
Michal Irani erhofft sich von dem Tool tiefere Einblicke in die Funktionsweise des Gehirns. Potenzielle Anwendungen könnten die Kommunikation für „Locked-in“-Patienten verbessern oder die Rekonstruktion von Trauminhalten ermöglichen. Judy Illes, Neuroethikerin an der University of British Columbia, bezeichnet die Arbeit als „großartig“ und sieht „enorm spannende“ therapeutische Möglichkeiten für Menschen mit neurologischen Erkrankungen.
Andere Wissenschaftler, wie Tommy Sprague, warnen jedoch vor den ethischen Implikationen. Ein ähnlicher Ansatz könnte potenziell dazu genutzt werden, innere Gedanken und mentale Bilder ohne Zustimmung der Betroffenen zu entschlüsseln, was „auf viele Arten besorgniserregend“ sei.
Leistung und Ausblick
Obwohl das System nicht fehlerfrei ist – so wurde beispielsweise ein Kuchen als Stapel von drei Sandwiches oder ein Hund in einer Badewanne als Ziege in einer Badewanne rekonstruiert – übertrifft es laut Irani die Leistung früherer Rekonstruktionswerkzeuge „deutlich“. Die Bezeichnung „Gedankenlesen“ sei zwar ein „süßer, flotter Name“, beschreibe aber treffend die Fähigkeiten des Tools.
Michal Irani plant, die Forschung über statische Bilder hinaus auf Video- und Audioinhalte auszudehnen. Das langfristige Ziel ist die Rekonstruktion von Gedachtem, Imaginärem und den Inhalten von Träumen.
Thema: Technologie / KI allgemein. Quelle/Inspiration: MIT Technology Review.