Ein deutsches Forschungskonsortium, koordiniert vom KI Bundesverband, hat das offene Sprachmodell Soofi S 30B-A3B veröffentlicht. Das Modell, das auf der Industrial AI Cloud der Deutschen Telekom in München trainiert wurde, soll laut seinem Vorabtrainingsbericht die höchsten Bewertungen unter vollständig offenen Modellen in englischen und deutschen Benchmarks erreichen und dabei frühere Spitzenreiter wie OLMo 3 32B und Apertus 70B übertreffen. Die Veröffentlichung wurde jedoch von der Korrektur eines Kontaminationsvorfalls in den Trainingsdaten begleitet, der durch die Community entdeckt wurde.
Modellarchitektur und Leistungsmerkmale
Soofi S ist ein Mixture-of-Experts (MoE)-Modell mit insgesamt 31,6 Milliarden Parametern. Pro generiertem Token werden jedoch nur etwa 3,2 Milliarden Parameter aktiviert, wodurch die Rechenkosten eher einem 3-Milliarden-Parameter-Modell entsprechen. Das Konsortium hat die hybride Architektur von Nvidias Nemotron 3 Nano übernommen, die Mamba-2-Schichten mit Standard-Attention-Schichten kombiniert. Ein wesentlicher Vorteil dieser Architektur ist das Speicherverhalten: Im Gegensatz zu konventionellen Modellen, bei denen der KV-Cache (ein Speicher für vorherige Tokens zur Aufmerksamkeitsberechnung) linear mit der Kontextlänge wächst, pflegen nur 6 der 52 Schichten von Soofi S einen solchen Cache. Dies führt zu einem deutlich höheren Durchsatz. Bei einer Kontextlänge von 40.000 Tokens und 32 parallelen Anfragen generiert Soofi S etwa achtmal mehr Tokens pro Sekunde pro GPU als dichte Modelle im Bereich von 14 bis 24 Milliarden Parametern. Der Durchsatz bleibt dabei zwischen 4.000 und 256.000 Tokens nahezu konstant. Ähnliches Verhalten wurde nur bei Alibabas Qwen3.5 35B-A3B gemessen, das ebenfalls eine hybride Architektur nutzt.
Kontamination der Trainingsdaten
In Version 3.0 seines Technikberichts bestätigte das Konsortium, dass Testfragen des Wissenschafts-Benchmarks GPQA versehentlich in den Trainingsdaten enthalten waren. Der Fehler wurde von der Community durch die Prüfung der öffentlich zugänglichen Daten entdeckt. Betroffen war das QA-Basis-Datenset, das eigentlich nur umformulierte Trainings-Splits von 25 Standard-Benchmarks enthalten sollte, die dem Modell Testformate beibringen sollten. Die Ursache lag in einer Besonderheit von GPQA auf Hugging Face, wo das Testmaterial unter der Standardbezeichnung „train“ abgelegt ist und die Datenpipeline Inhalte basierend auf diesen Bezeichnungen auswählte. Nach der Entdeckung entfernte das Team GPQA vollständig aus seiner Bewertung und berechnete die Ergebnisse für alle 16 verglichenen Modelle neu. Die Rangfolge der Modelle änderte sich dabei nicht. Obwohl das Modell auf den betroffenen GPQA-Aufgaben von 32,3 auf 43,4 Punkte verbesserte, lag dieser Zuwachs im normalen Bereich und gab keine spezifischen Warnsignale. Um zukünftige Kontaminationen zu verhindern, überprüft das Team die Trainingsdaten nun automatisch mit allen Testfragen, anstatt sich auf oft irreführende Labels zu verlassen. Nicolas Flores Herr vom Fraunhofer IAIS hob den Vorfall als Beleg für die Wirksamkeit des offenen Ansatzes hervor, da die Community das Problem nur aufgrund der öffentlichen Datenlage finden konnte. Eine separate Bewertung durch den Konsortialpartner Ellamind, die eigene, bewusst zurückgehaltene Testdaten verwendete, bestätigte die Ergebnisse. Der betroffene Anteil machte laut Konsortium nur einen winzigen Bruchteil des Gesamtkorpus aus.
Kritik an Skalierungsgesetzen und Gegendarstellung
Nach der Veröffentlichung äußerten Kritiker Bedenken, Soofi S sei nach den Standards der klassischen Chinchilla-Skalierungsgesetze von Google DeepMind „übertrainiert“. Diese 2022 veröffentlichten Gesetze beschreiben ein optimales Verhältnis von Modellgröße und Trainingsdaten von etwa 20 Tokens pro Parameter. Soofi S überschreitet dieses Verhältnis mit etwa 27 Billionen Tokens und 30 Milliarden Parametern deutlich, was ein Verhältnis von mehreren Hundert zu eins ergibt. Unter Berücksichtigung der pro Token aktiven 3,2 Milliarden Parameter steigt dieses Verhältnis sogar auf mehrere Tausend zu eins. Michael Fromm, Teil der technischen Leitung des Projekts, widersprach dieser Kritik. Er argumentierte, dass die alten Skalierungsgesetze für dichte Modelle nicht auf MoE-Architekturen übertragbar seien, da neue Forschung zeige, dass einzelne Experten davon profitieren, dieselben Dokumente zu sehen. Wiederholte Daten in einem großen, qualitativ hochwertigen Datensatz seien bei MoE-Modellen weniger problematisch. Als Vergleichspunkt nannte Fromm Nvidia, die eigene Modelle mit bis zu 25 Billionen Tokens trainierten.
Trainingsprozess und Fokus auf Deutsch
Das Konsortium verarbeitete insgesamt etwa 27 Billionen Tokens in drei Phasen. In der ersten Phase lernte das Modell Sprachgrundlagen aus rund 20 Billionen Tokens, die aus einer breiten Mischung von Web-, Code-, Mathematik- und fachspezifischen Texten stammten. Eine zweite Phase folgte mit etwa 6 Billionen Tokens aus höherwertigen Quellen, um die gelernten Muster zu verfeinern. Eine kürzere dritte Phase erweiterte das Kontextfenster durch Training mit sehr langen Dokumenten von bis zu einer Million Tokens. Ein zentraler Aspekt war die bewusste Gewichtung des Deutschen: In der ersten Phase machte Deutsch 7,2 Prozent des Trainingsmixes aus, in der zweiten Phase stieg dieser Anteil auf 15,3 Prozent. Zum Vergleich: In Nvidias Nemotron-Referenzrezept machen alle nicht-englischen Sprachen zusammen nur etwa 5 Prozent aus. Die feinabgestimmten Instruct- und Reasoning-Varianten befinden sich derzeit im Beta-Test und sollen in den kommenden Wochen unter einer permissiven Lizenz veröffentlicht werden. Das größere Soofi L-Modell befindet sich bereits im Training.
Thema: Technologie / KI allgemein. Quelle/Inspiration: The Decoder.