Nvidia hat ein neues Künstliche-Intelligenz-Modell namens Nemotron 3 Diarization veröffentlicht. Dieses Modell ist darauf ausgelegt, in einer Konversation zu erkennen, welcher Sprecher zu einem bestimmten Zeitpunkt spricht. Es verfügt über rund 100 Millionen Parameter, und seine Gewichte – die gelernten internen Werte des Modells – sind frei verfügbar.
Funktionsweise und Fähigkeiten
Das Nemotron 3 Diarization-Modell kann bis zu acht verschiedene Sprecher voneinander unterscheiden und zudem erkennen, wenn mehrere Personen gleichzeitig sprechen. In Kombination mit einem Spracherkennungssystem, wie beispielsweise Parakeet, ist das Modell in der Lage, Transkripte mit Sprecherkennzeichnungen zu erstellen. Diese Kennzeichnungen sind anonymisiert, beispielsweise als „speaker_2“.
Das System ist sowohl für aufgezeichnete Audioinhalte als auch für Live-Audio einsetzbar. Die Genauigkeit des Modells kann jedoch durch eine höhere Anzahl von Teilnehmern, starke Hintergrundgeräusche oder Nachhall beeinträchtigt werden, was zu erhöhten Fehlerraten führt.
Technische Details und Leistung
Für die Audioverarbeitung kann ein Puffer mit vier verschiedenen Einstellungen gewählt werden, die von 30,4 Sekunden bis hin zu 0,32 Sekunden reichen. Kürzere Pufferzeiten führen in der Regel zu einer geringeren Genauigkeit der Erkennung.
Auf der Benchmark-Plattform Diarization-Bench von VoiceArena belegt Nemotron 3 Diarization aktuell den ersten Platz. Es erreicht eine Fehlerrate von 14,72 Prozent und liegt damit vor dem zweitbesten System, das eine Fehlerrate von 19,3 Prozent aufweist. Der Benchmark gilt als streng, da er auch überlappende Sprache berücksichtigt und selbst kleinste Fehlanpassungen bei Sprecherwechseln als Fehler wertet.
Im Vergleich zu seinem Vorgängermodell, Streaming Sortformer, konnte das neue Modell die Fehlerrate um durchschnittlich 41 Prozent reduzieren. Dieser Wert wurde über acht Testszenarien hinweg ermittelt, wobei ein Puffer von 1,04 Sekunden verwendet wurde.
Thema: Nvidia. Quelle/Inspiration: The Decoder.