Der KI-Forscher Nick Cammarata vom Startup Goodfire hat in einem 26.000 Wörter umfassenden Blogbeitrag die weit verbreitete Annahme in Frage gestellt, dass die internen Mechanismen von neuronalen Netzen – der Software, die den meisten KI-Modellen zugrunde liegt – grundsätzlich undurchschaubar sind. Cammarata, ehemals bei OpenAI, vertritt die Ansicht, dass große Sprachmodelle (LLMs) möglicherweise wesentlich leichter zu verstehen, zu überwachen und zu kontrollieren sind, als bisher angenommen wurde.
Diese Behauptung kommt zu einem Zeitpunkt, an dem die KI-Branche intensiv nach Wegen sucht, ihre Technologien besser zu handhaben. Hintergrund sind Vorfälle, bei denen von führenden Firmen wie OpenAI und Anthropic entwickelte KI-Agenten unbeaufsichtigt im öffentlichen Internet agierten und Probleme verursachten.
Ein Umdenken bei der Analyse neuronaler Netze
Cammarata war in der Vergangenheit selbst an der Entwicklung von Techniken beteiligt, die als „mechanistische Interpretierbarkeit“ bekannt sind. Dieser Ansatz zielt darauf ab, die internen Arbeitsweisen von KI-Modellen zu entschlüsseln, indem beispielsweise einzelne Neuronen – die grundlegenden Verarbeitungseinheiten – untersucht werden, um ihre Funktion zu verstehen.
Frühere Forschungen, an denen Cammarata mitwirkte, deuteten darauf hin, dass Neuronen in Modellen wie dem Bilderkennungssystem Inception v1 mehrere, scheinbar unverwandte Konzepte gleichzeitig verarbeiten, ein Phänomen, das als Superposition bezeichnet wurde. So reagierte ein Neuron sowohl auf Bilder von Autos als auch von Katzen, was zu der Annahme führte, dass die internen Strukturen der Modelle ein „verwickelter Knoten“ seien.
Nachdem Cammarata über ein Jahr lang täglich viele Stunden damit verbrachte, Neuronen mit neuen Werkzeugen und KI-Agenten bei Goodfire zu analysieren, kam er zu einer anderen Schlussfolgerung. Er erkannte, dass die Modelle möglicherweise doch einer inneren Logik folgen, die bei genauerer Betrachtung sichtbar wird.
Das Beispiel des „V-förmigen“ Neurons
Cammarata untersuchte das besagte Neuron in Inception v1 erneut. Anstatt die gleichzeitige Reaktion auf Autos und Katzen als Beweis für Superposition zu werten, suchte er nach einem gemeinsamen Merkmal. Er entdeckte, dass sowohl Katzen-Gesichter als auch die Seitenansicht von Autos oft eine prominente V-Form aufweisen.
Weitere Experimente bestätigten dies: Das Neuron reagierte auch auf andere Objekte mit einer V-Form, wie die Ecke eines Billardtisches oder die spitze Nase eines japanischen Hochgeschwindigkeitszuges. Bilder mit einer runden O-Form hingegen deaktivierten das Neuron. Dies legt nahe, dass das Modell abstrakte Muster wie die V-Form speicherte, die in verschiedenen Kontexten auftauchen können, anstatt unverwandte Konzepte willkürlich zu bündeln.
Skepsis in der Forschungsgemeinschaft
Trotz der Begeisterung einiger KI-Forscher stößt Cammaratas These auch auf Skepsis. Chris Potts von der Stanford University, dessen Team ebenfalls die Funktionsweise von LLMs erforscht, bezeichnet Cammaratas Erkenntnisse als „Vermutung“. Er bezweifelt, dass der Blogbeitrag die grundlegenden Probleme der KI-Verständlichkeit und -Kontrolle tatsächlich einfacher macht.
Cammarata selbst zeigte sich überrascht von der Intensität der Reaktionen auf seinen Beitrag. Er betont, dass seine intensive Beobachtung der Neuronen zu einer „hoffnungsvollen Geschichte“ über die Natur neuronaler Netze geführt hat.
Thema: Technologie / KI allgemein. Quelle/Inspiration: MIT Technology Review.