Richard Sutton, Träger des Turing Awards 2024 und Mitbegründer des modernen Reinforcement Learning, hat gemeinsam mit Khurram Javed das neue Startup Oak Lab in Toronto gegründet. Ziel des Unternehmens ist die Entwicklung von KI-Agenten, die kontinuierlich aus ihrer Umgebung lernen und interne Weltmodelle aufbauen können.
Kritik an aktuellen Deep-Learning-Methoden
Sutton, der zuvor mit Javed bei John Carmacks KI-Unternehmen Keen Technologies tätig war, äußert sich kritisch über aktuelle Deep-Learning-Methoden. Er bezeichnet diese als „schwach und ineffizient“ und argumentiert, dass sie nicht mehr Feinabstimmung, sondern „grundlegend neue Ideen und eine gründliche Überarbeitung“ benötigen, um ehrgeizigere Ziele der Künstlichen Intelligenz zu erreichen.
Im Juni hatte Sutton bereits dargelegt, dass generative KI, die neue Inhalte erzeugt, zwar gut in der Imitation ist, aber nicht in der Lage ist, ihre eigenen Ergebnisse zu bewerten. Dies mache sie unfähig zu echter Entdeckung. Oak Lab soll diese Lücke schließen, indem es auf KI-Agenten setzt, die selbstständig Variation, Bewertung und Auswahl handhaben.
Reinforcement Learning als Kernprinzip
Wie bereits Keen Technologies setzt auch Oak Lab auf das Prinzip des Reinforcement Learning, zu Deutsch verstärkendes Lernen. Bei dieser Methode lernt die KI durch Interaktion mit ihrer Umgebung und erhält Belohnungen für gewünschte Verhaltensweisen. Die Überzeugung dahinter ist, dass KI aus Erfahrungen während des Betriebs lernen sollte, anstatt einmalig auf statischen Datensätzen trainiert zu werden. Das langfristige Ziel von Oak Lab ist die Entwicklung eines Agenten mit „einer Billion Parameter, der in Echtzeit mit 20 Watt Energie lernt und plant“.
Thema: Technologie / KI allgemein. Quelle/Inspiration: The Decoder.