Eine neue These des Forschers Nick Cammarata vom Interpretierbarkeitslabor Goodfire stellt die bisherige Annahme infrage, dass die internen Abläufe neuronaler Netze, einer Kernkomponente künstlicher Intelligenz (KI), undurchsichtig und schwer zu verstehen sind. In seinem Essay „Neural Networks Are Already Clean“ argumentiert Cammarata, dass die Funktionsweise großer KI-Modelle deutlich transparenter sein könnte als bisher angenommen. Dies hätte weitreichende Folgen für die KI-Sicherheitsforschung.
Ein Umdenken bei der Neuronen-Interpretierbarkeit
Die mechanistische Interpretierbarkeit in der KI-Forschung zielt darauf ab, nicht nur die Ergebnisse eines KI-Modells zu beobachten, sondern auch nachzuvollziehen, wie diese Ergebnisse intern zustande kommen. Bisher galt die sogenannte Polysemie als großes Hindernis: Viele künstliche Neuronen schienen auf völlig unterschiedliche Konzepte zu reagieren. Ein bekanntes Beispiel war ein Neuron im Bildmodell InceptionV1, das sowohl auf Katzenköpfe als auch auf Autofronten ansprach.
Die gängige Erklärung hierfür war die Superposition-Theorie, an deren Entwicklung Cammarata selbst maßgeblich beteiligt war. Diese besagt, dass Netzwerke, wenn ihnen die Neuronen ausgehen, unzusammenhängende Konzepte in denselben Neuronen bündeln. Dies führte dazu, dass viele Labore zweite Modelle, sogenannte Sparse Autoencoder, trainierten, um diese Konzepte wieder zu trennen und stattdessen diese Hilfsmodelle zu untersuchen.
Cammarata revidiert nun seine frühere Ansicht. Er interpretiert das „Katzen-Auto-Neuron“ neu als einen „V-Form-Detektor“, der auf spitze Formen reagiert. Auch eine frühere „Superposition-Schaltung“ aus seiner Arbeit „Zoom In“, bei der ein Auto zwischen Hunde-Neuronen versteckt schien, deutet er nun als gewöhnliche Generalisierung, bei der Autos und Hunde nach ihrer Blickrichtung gruppiert werden. Die vermeintliche Unordnung in älteren Schichten des InceptionV1-Modells führt er auf veraltete Architekturen und schwache Analysetools zurück.
Die verbleibende Ambiguität erklärt Cammarata mit einem Muster namens „rekursive Generalisierung“. Dabei entwickelt sich ein Neuron von spezifischen Erkennungen zu allgemeineren Konzepten, selbst wenn die ursprünglichen Merkmale nicht mehr direkt enthalten sind.
Konkrete Zahlen und Implikationen für die KI-Sicherheit
Für Sprachmodelle präsentiert Cammarata vorläufige Daten: Im Modell Qwen3-32B sollen etwa 90 Prozent der Neuronen eine klare Hauptfunktion haben, weitere 7 Prozent zwei verwandte Aufgaben. Lediglich 2 bis 4 Prozent bleiben unerklärt. Goodfire berichtet von ähnlichen Ergebnissen in Modellen mit bis zu Billionen von Parametern. Die Analyse erfolgte größtenteils durch automatisierte KI-Agenten, die Neuronen in großem Maßstab untersuchten.
Sollte sich Cammaratas These bestätigen, wäre dies eine wichtige Entwicklung für die KI-Sicherheit. Derzeit gibt es nur wenige Möglichkeiten zu erkennen, ob ein Modell Menschen täuscht oder gefährliches Verhalten zeigt. Cammarata bezweifelt, dass das sogenannte Alignment – die Ausrichtung von KI auf menschliche Ziele – ohne Interpretierbarkeit gelöst werden kann, da man sonst nicht wüsste, was man baut. Eine direkte Einsicht in die Schaltkreise des Modells könnte Täuschungen oder Fehler erkennbar machen und eine zielgerichtete Fehlerbehebung ermöglichen.
Geteilte Meinungen in der Forschung
Die neue These sorgt in der Fachwelt für geteilte Reaktionen:
- Roon (OpenAI): Ein einflussreicher Mitarbeiter von OpenAI, der unter diesem Pseudonym postet, zeigte sich begeistert. Er bezeichnet die Arbeit als „historischen Moment“ und glaubt, dass Alignment zu einer „normalen Wissenschaft“ werden könnte. Roon räumt jedoch ein, dass die Ergebnisse noch von anderen Forschenden bestätigt werden müssen und befürchtet, dass Fortschritte in der Interpretierbarkeit auch die Fähigkeiten von KI beschleunigen könnten.
- Neel Nanda (Google DeepMind): Der Leiter des Interpretierbarkeitsteams bei Google DeepMind, der als einer der Gründerväter der mechanistischen Interpretierbarkeit gilt, äußert sich deutlich zurückhaltender. Nanda glaubt weiterhin an die Realität der Superposition, insbesondere da Sprachmodelle weitaus mehr Fakten speichern als sie Neuronen besitzen. Er bezweifelt, dass die Interpretierbarkeit kurz vor einer vollständigen Lösung steht und erwartet, dass neuronbasierte Analysen gravierende Mängel aufweisen und vieles übersehen werden. Er erkennt jedoch den Nutzen dieser Analyse für praktische Fragen und deren Anwendbarkeit auf moderne Modelle an. Sein Team hat die Forschung an Sparse Autoencodern bereits zurückpriorisiert, da der Aufwand im Verhältnis zum Nutzen als zu hoch eingeschätzt wurde.
Die Debatte verdeutlicht die anhaltende Uneinigkeit über die grundlegende Natur und die Zugänglichkeit der internen Prozesse von neuronalen Netzen.
Thema: Technologie / KI allgemein. Quelle/Inspiration: The Decoder.