ByteDance, das Mutterunternehmen der Videoplattform TikTok, trainiert derzeit ein großes KI-Modell, das bis zu 10 Billionen Parameter umfassen soll. Dies wäre das Dreifache der Größe von Moonshot’s Kimi K3, dem bisher größten chinesischen Modell. Das Unternehmen befindet sich in der frühen Phase des Pre-Trainings, einem Prozess, der üblicherweise drei bis sechs Monate dauert. Ziel ist es, in der Spitzengruppe der globalen KI-Entwicklung mit US-amerikanischen Laboren wie Anthropic zu konkurrieren.
Ambitionierte Ziele im Parameterwettlauf
Die angestrebte Größe von 10 Billionen Parametern würde das ByteDance-Modell in die Nähe von Anthropic’s fortschrittlichstem System Mythos 5 rücken, welches Branchenschätzungen zufolge etwa 8 Billionen Parameter besitzt. Anthropic’s Fable 5 wird auf rund 5 Billionen Parameter geschätzt. Die Parameteranzahl definiert die grundlegende Kapazität oder Speichergrenze eines Modells für Informationen, wobei die tatsächliche Leistungsfähigkeit auch von Faktoren wie Datenqualität und Trainingsmethoden abhängt. ByteDance verfolgt damit das Ziel, nicht nur aufzuholen, sondern führende US-Entwickler zu übertreffen.
Chinesische Modelle von Moonshot und Alibaba zeigen bereits eine starke Leistung in Benchmarks und liegen in bestimmten Bereichen nur hinter Anthropic’s Fable 5 zurück. Mythos 5, das fortschrittlichste Modell von Anthropic, ist nach einer vorübergehenden Sperre im Juni aufgrund von Sicherheitsbedenken nur für zugelassene Organisationen verfügbar.
Unabhängige Entwicklung als Kernstrategie
Das Entwicklungsteam von ByteDance, Seed genannt und unter der Leitung des ehemaligen Google DeepMind-Wissenschaftlers Wu Yonghui, umfasst rund 2.000 Mitarbeiter weltweit. Das Unternehmen verfolgt seit über einem Jahr einen unabhängigen Entwicklungsansatz, der darauf verzichtet, bestehende Modelle anderer Labore zu „destillieren“ – ein Prozess, bei dem ein großes, komplexes KI-Modell in ein kleineres, schnelleres komprimiert wird, indem das kleinere Modell darauf trainiert wird, das Wissen und die Ausgaben des größeren „Lehrermodells“ zu kopieren. Obwohl dieser Ansatz potenziell zu einer langsameren Entwicklung führen kann, ist das Management, angeführt von Gründer Zhang Yiming, überzeugt, dass nur so langfristig überlegene Modelle entstehen können. Zhang betonte intern, dass das Seed-Team langfristig „weltweit führende Modellfähigkeiten“ anstreben solle, ohne sich kurzfristig von Rückständen beunruhigen zu lassen. Diese Äußerungen von Zhang wurden von den chinesischen Medien Latepost und The Information gemeldet.
Umfassende KI-Investitionen und bestehende Produkte
ByteDance hat in den letzten drei Jahren aggressiver in KI investiert als andere chinesische Tech-Giganten. Dies umfasst den Ausbau von Rechenzentren und die Einstellung von Forschern. Das Cloud-Geschäft, Volcano Engine, bietet KI-Lösungen für Unternehmen an. Zudem bestehen Ambitionen zur Entwicklung eigener KI-Chips. Obwohl ByteDance seine KI-Entwicklung meist im Verborgenen hält, da seine Modelle größtenteils geschlossen sind, sind einige seiner Modelle bekannt: SeeDance zählt zu den fortschrittlichsten globalen Modellen für Videogenerierung, während Doubao mit 324 Millionen monatlich aktiven Nutzern das populärste Endverbraucher-Modell in China ist.
Thema: Anthropic. Quelle/Inspiration: Ars Technica.