OpenAI beabsichtigt, bis Ende des Jahres ein bis zwei neue KI-Modelle auf den Markt zu bringen. Es ist jedoch unklar, ob das derzeit in Entwicklung befindliche Flaggschiffmodell unter diesen Veröffentlichungen sein wird. Dieses Modell, das eine neuartige Technik namens „Looped Transformer“ einsetzt, benötigt noch umfangreiche „Alignment“-Arbeiten, um sicherzustellen, dass seine Ziele mit den Erwartungen der Forscher und Kunden übereinstimmen, sowie eine Stärkung der Testinfrastruktur.
Die Technik der Looped Transformer
Das neue Flaggschiffmodell verwendet die Technik der „Looped Transformer“, intern auch als „Recurrent Depth“ bezeichnet, die bereits im aktuellen Spitzenmodell Astra von OpenAI zum Einsatz kommt. Anstatt ein Token nur einmal durch die Transformer-Ebenen zu leiten, wird es mehrfach durch dieselben Ebenen geschleift, bevor das nächste Wort ausgegeben wird. Diese Methode steigert die Leistung bei mathematischen und Programmieraufgaben und senkt gleichzeitig die Kosten, da ein kleineres Modell eine höhere Rechenleistung erzielen kann. Ein Nebeneffekt dieser Schleifenbildung ist jedoch, dass ein Teil der „Denkprozesse“ des Modells aus dem lesbaren Text in interne numerische Darstellungen verlagert wird. Dies erschwert die Überwachung der „Chain-of-Thought“, bei der Sicherheitsforscher die Argumentation eines Modells nachvollziehen, um unerwünschtes Verhalten zu erkennen.
Sicherheitsanforderungen und versehentliche Enthüllungen
Nachdem die Führungsebene von OpenAI mit den Sicherheitsbewertungen zufrieden ist, muss das Unternehmen eine weitere Hürde nehmen. Gemäß einer Executive Order der US-Regierung zur Bewertung fortschrittlicher KI-Systeme muss OpenAI der US-Regierung bis zu 30 Tage vor der Freigabe an externe Partner und noch länger vor einer öffentlichen Markteinführung Zugang zu neuen Modellen gewähren.
Details zur Funktionsweise der Looped-Transformer-Technik wurden versehentlich von Microsoft, einem wichtigen Investor von OpenAI, veröffentlicht. Microsoft hatte einen technischen Artikel über GPT-6.1 Sol, eine günstigere Astra-Alternative, publiziert. In einem inzwischen gelöschten Abschnitt wurde GPT-6.1 Sol als ein Modell beschrieben, das „Looping Inference“ verwendet, bei dem das Modell ein Problem in mehreren „Durchläufen“ bearbeitet, bevor es eine Antwort liefert. Microsoft entfernte den Abschnitt, nachdem festgestellt wurde, dass er nicht für die Öffentlichkeit bestimmt war, da Looped Transformer ein sensibler Bereich der Modellentwicklung von OpenAI bleiben.
Verstärkte Sicherheitsbemühungen und Bedenken
OpenAI hat nach einem Vorfall, der als „Hugging Face Incident“ bezeichnet wird, etwa zehn Prozent seiner gesamten Rechenleistung für Alignment und Sicherheit bereitgestellt. Dies entspricht Berechnungen im Wert von Milliarden von Dollar pro Jahr zu Marktpreisen. Jakub Pachocki, Chefwissenschaftler von OpenAI, hat bereits eingeräumt, dass die Überwachung der „Chain-of-Thought“ immer „fragiler“ wird und sich „leider in eine negative Richtung entwickelt“. Er warnte auch vor einem branchenweiten Wettlauf zu Modellen, deren Denkprozesse nicht mehr nachvollziehbar sind.
Thema: OpenAI. Quelle/Inspiration: The Decoder.