Metas Superintelligence Labs hat Muse Voice Transcribe veröffentlicht, ein Echtzeit-Transkriptionsmodell. Es verarbeitet Sprache in 80-Millisekunden-Abschnitten, unterscheidet Sprecher und erkennt Satzgrenzen. Laut einer unabhängigen Bewertung von Artificial Analysis bietet das Modell die genaueste Streaming-Transkription zum niedrigsten Preis auf dem Markt.
Echtzeit-Verarbeitung und dynamische Anpassung
Das Modell der Spark-Familie zerlegt eingehende Audiodaten in 80-Millisekunden-Häppchen. Nach jedem Abschnitt entscheidet es, ob es weiter zuhören oder das nächste Wort als Text ausgeben soll. Dies steuert, wie viel Kontext es sammelt, bevor es sich auf eine Transkription festlegt. Eine längere Wartezeit führt zu höherer Genauigkeit, aber auch zu längeren Verzögerungen.
Muse Voice Transcribe passt die Wartezeit dynamisch für jedes Wort an dessen Schwierigkeitsgrad an. Leichte Wörter werden schneller transkribiert, während schwierigere Wörter mehr Hörzeit erhalten. Dieses Verhalten wurde durch verstärkendes Lernen (Reinforcement Learning) trainiert, das das Modell gleichzeitig für niedrige Fehlerraten und kurze Verzögerungen belohnt.
Umfassende Sprach- und Sprechererkennung
Meta integriert alle Funktionen in dasselbe Modell, ohne separate Systeme. Für die Sprecherzuordnung markiert das Modell Sprecherwechsel im laufenden Text und kennzeichnet jede Passage mit einem Buchstaben-Identifikator von A bis Z. Es kann mehr als 20 Sprecher gleichzeitig unterscheiden und Aufnahmen von über einer Stunde Länge ohne Nachbearbeitung verarbeiten. Bei der Erkennung von Satzgrenzen markiert es den Beginn und das Ende jeder Äußerung. Beide Aufgaben werden gemeinsam mit der Spracherkennung trainiert.
Das Modell wurde mit Daten aus über 70 Sprachen trainiert, wobei 25 Sprachen eingehend getestet wurden. Es unterstützt auch Code-Switching, also den Wechsel zwischen zwei Sprachen mitten im Satz. Hinweise zu Sprache, Schlüsselwörtern und Kontext können die Genauigkeit weiter verbessern, insbesondere bei Eigennamen.
Leistung und Preis im Wettbewerb
Artificial Analysis bestätigt Metas Angaben: Muse Voice Transcribe erreicht eine Worterkennungsfehlerrate (Word Error Rate, WER) von 3,1 Prozent für Englisch, 0,16 Sekunden nachdem ein Sprecher seine Äußerung beendet hat. Zum Vergleich: ElevenLabs Scribe v2 Realtime erreicht 3,6 Prozent bei 0,14 Sekunden und AssemblyAI Universal-3.5 Pro Realtime 4,0 Prozent. Cartesia Ink-2 liegt bei 3,4 oder 4,0 Prozent, abhängig davon, ob das Modell Äußerungsenden selbst erkennt.
Meta unterbietet die Konkurrenz preislich. Mit 0,18 US-Dollar pro Stunde oder 3 US-Dollar pro 1.000 Audiominuten ist es günstiger als Cartesia Ink-2 (4 US-Dollar), ElevenLabs Scribe v2 Realtime (6,50 US-Dollar) und Deepgram Flux (ebenfalls 6,50 US-Dollar). Meta verfolgt damit eine Strategie, bei der der Preis statt der Spitzenleistung im Vordergrund steht. Das Unternehmen hat die Anzahl der Modellparameter, das Volumen der Trainingsdaten oder die Audioquellen nicht offengelegt.
Grundlage für persönliche KI-Assistenten
Meta sieht das Modell als Baustein für persönliche KI-Agenten, die über Geräte wie Kamerabrillen Gespräche verfolgen können. Dies passt zu Mark Zuckerbergs Vision einer „persönlichen Superintelligenz“. Eine Demo zeigte, wie das System in Echtzeit Wörter acht verschiedenen Sprechern in einem Raum zuordnet. Muse Voice Transcribe wird bereits für die Spracheingabe in Meta AI und Muse Code verwendet und ist über die Meta Model API verfügbar. Nutzer können es ausprobieren, indem sie in jeder App die „Fn“-Taste gedrückt halten.
In Deutschland wurde kürzlich ein Verbot von Metas Kamerabrillen diskutiert, die Bundesnetzagentur entschied sich jedoch dagegen.
Thema: Meta. Quelle/Inspiration: The Decoder.