Mistral AI hat Voxtral 3 vorgestellt, eine neue Suite von Sprachmodellen, die für den Einsatz in Echtzeit-Sprachagenten konzipiert ist. Das System, das ab 0,0035 US-Dollar pro Minute für die Transkription verfügbar ist, integriert Spracherkennung, Sprachsynthese und ein Software Development Kit für Sprachagenten. Es ermöglicht Agenten, in über 50 Sprachen zuzuhören und in mehr als 35 Sprachen mit emotionaler Anpassung zu sprechen.
Aufbau und Funktionsweise von Voxtral 3
Voxtral 3 setzt sich aus mehreren Kernkomponenten zusammen. Dazu gehören das Spracherkennungsmodell Voxtral Small Transcribe 3, das gesprochene Sprache in Text umwandelt, sowie das Sprachsynthesemodell Voxtral Mini TTS 3, das Text in natürliche Sprache umwandelt. Ein weiteres Element ist das auf LiveKit basierende Voice Agent SDK (Software Development Kit), das Entwicklern die Werkzeuge zur Erstellung von Sprachagenten bereitstellt.
Das System ist darauf ausgelegt, Zuhören, Denken, die Nutzung externer Werkzeuge und das Sprechen in einem einzigen, durchgängigen Prozess zu vereinen. Sprachagenten können während laufender Gespräche auf externe Systeme zugreifen, um beispielsweise Termine zu buchen oder Rechnungen zu prüfen.
Umfassende Sprachunterstützung und flexible Bereitstellung
Die Transkriptionsfunktion von Voxtral 3 unterstützt mehr als 50 Sprachen. Die Sprachsynthese bietet Unterstützung für über 35 Sprachen und 50 Dialekte, inklusive der Anpassung an emotionale Nuancen. Mistral AI gibt an, dass Voxtral 3 entweder auf der eigenen Infrastruktur der Kunden oder über in der EU gehostete APIs (Programmierschnittstellen) betrieben werden kann, um die Kontrolle über die Daten zu gewährleisten.
Die Preisgestaltung beginnt bei 0,0035 US-Dollar pro Minute für die Transkription.
Thema: Mistral. Quelle/Inspiration: The Decoder.