Sam Altman, der CEO des führenden KI-Forschungsunternehmens OpenAI, hat in einer Rede an der Stanford University eine bemerkenswerte These aufgestellt. Er äußerte die Ansicht, dass eine ganze Generation von Künstliche-Intelligenz-Forschern den Fortschritt des Feldes gebremst habe, indem sie das Potenzial der Skalierung von KI-Modellen unterschätzten.
Die Bedeutung der Skalierung
Unter Skalierung versteht man im Kontext der Künstlichen Intelligenz primär die Vergrößerung von Modellen durch mehr Trainingsdaten, eine höhere Anzahl von Parametern (also den internen Variablen, die ein Modell lernt) und den Einsatz von mehr Rechenleistung. Insbesondere bei Großen Sprachmodellen (LLMs), wie sie OpenAI mit ChatGPT entwickelt, hat sich gezeigt, dass mit zunehmender Skalierung oft unerwartete Fähigkeiten und eine verbesserte Leistungsfähigkeit einhergehen. Altman argumentiert, dass viele Wissenschaftler in der Vergangenheit die Grenzen dieser Methode zu früh sahen und damit neue Entwicklungspfade nicht ausreichend erkundeten.
Als Beleg für seine These führte Altman die jüngste Widerlegung einer mathematischen Vermutung durch OpenAI an. Diese Leistung, die ohne die massive Skalierung und die damit verbundenen emergenten Fähigkeiten der Modelle kaum denkbar gewesen wäre, dient ihm als Beispiel dafür, welches Potenzial durch die Fokussierung auf größere und leistungsfähigere Modelle freigesetzt werden kann. Seine Äußerungen unterstreichen einen Paradigmenwechsel in der KI-Forschung, weg von rein architektonischen Innovationen hin zur Maximierung der Größe und des Trainingsumfangs von Modellen, um Durchbrüche zu erzielen.
Thema: OpenAI. Quelle/Inspiration: The Decoder.