Die Basis fast aller großen Sprachmodelle (LLMs) bilden seit Jahren sogenannte Transformatoren. Diese Art neuronaler Netze, erstmals 2017 in einem Google-Forschungspapier beschrieben, zeichnet sich durch ihre Effizienz bei der Verarbeitung langer Datenketten, insbesondere Text, aus. Neun Jahre nach ihrer Einführung stellen Transformatoren jedoch zunehmend einen Engpass dar, da die KI-Branche nach noch leistungsfähigeren und effizienteren Modellen strebt.
Die größte Herausforderung der Transformatoren liegt in ihrem sogenannten dichten Aufmerksamkeitsmechanismus (dense attention). Dieser Mechanismus vergleicht jedes Wort – oder genauer: jeden Teil eines Wortes, ein sogenanntes Token – innerhalb eines Textabschnitts mit jedem anderen, um dessen Bedeutung zu erfassen. Mit zunehmender Textlänge steigt der Rechenaufwand exponentiell: Ein Dokument von 10.000 Wörtern kann 50 Millionen Multiplikationen erfordern. Dies führt zu einem enormen Energieverbrauch; OpenAI wird laut Präsident Greg Brockman voraussichtlich 50 Milliarden US-Dollar für Rechenleistung in diesem Jahr ausgeben, und die Internationale Energieagentur (IEA) prognostiziert eine Verdopplung des Stromverbrauchs von Rechenzentren bis 2030.
Zudem sind Transformatoren nicht optimal für die Verarbeitung großer Informationsmengen gleichzeitig ausgelegt, was als ihr Kontextfenster bezeichnet wird. Dies ist jedoch entscheidend für fortgeschrittene Anwendungen wie Argumentationsmodelle, die sich selbst Notizen (eine „Gedankenkette“) machen und diese wieder einlesen, was den Datenumfang zusätzlich erhöht. Das MIT Technology Review bezeichnet die zukünftige Generation dieser Modelle bereits als LLMs+.
Neue Ansätze zur Überwindung der Grenzen
Eine Welle von Startups widmet sich der Entwicklung neuer Architekturen, um die Effizienz, Geschwindigkeit und möglicherweise auch die Intelligenz von LLMs zu verbessern.
Subquadratic: Der Weg zu dünner Aufmerksamkeit
Das in Miami ansässige Startup Subquadratic verfolgt einen direkten Ansatz: Es will den Aufmerksamkeitsmechanismus von Transformatoren ändern. Statt der dichten Aufmerksamkeit setzt Subquadratic auf sogenannte dünne Aufmerksamkeitsmechanismen (sparse attention), die Berechnungen nur für ausgewählte Wortpaare durchführen. Das Unternehmen behauptet, mit seinem Modell SubQ den ersten dünnen Aufmerksamkeitsmechanismus entwickelt zu haben, der in Aufgaben wie Suche und Programmierung mit führenden kommerziellen LLMs mithalten kann. SubQ soll dynamisch entscheiden, welche Wörter in einem Text relevant sind. Tausende Interessenten stehen bereits auf der Warteliste für das Modell.
Manifest AI: Ablösung durch Leistungsretention
Manifest AI aus San Francisco geht einen anderen Weg und ersetzt den Aufmerksamkeitsmechanismus gänzlich durch eine eigene Entwicklung namens Leistungsretention (power retention). Diese Technik speichert nur die relevantesten Informationen für eine bestimmte Aufgabe und stellt eine fortlaufende Zusammenfassung des Kontextfensters bereit, wobei weniger relevante Daten verworfen werden. Manifest AI beansprucht, diese bereits seit zehn Jahren bekannten Prinzipien so aktualisiert zu haben, dass ihre Modelle erstmals mit transformatorbasierten LLMs konkurrieren können. Das Unternehmen demonstrierte dies, indem es das Open-Source-LLM StarCoder in eine Power-Retention-Version namens PowerCoder umwandelte und das Modell Brumby veröffentlichte, das mit Versionen von Alibabas Open-Source-Modell Qwen vergleichbar sein soll. Manifest AI sieht großes Potenzial für Anwendungen, die enorme Datenmengen verarbeiten, wie die Analyse stundenlanger Videos oder die Steuerung von KI-Agenten über Wochen.
Liquid AI: Transformatoren mit flüssigen neuronalen Netzen
Das MIT-Spin-off Liquid AI aus Cambridge, Massachusetts, kombiniert Transformatoren mit eigenen flüssigen neuronalen Netzen (liquid neural networks), um sogenannte Liquid Foundation Models (LFMs) zu erstellen. Die Modelle von Liquid AI sollen deutlich kleiner sein und weniger Energie verbrauchen als die meisten aktuellen LLMs.
Thema: Google. Quelle/Inspiration: MIT Technology Review.