Elevenlabs hat zwei neue Speech-to-Speech-Modelle unter dem Namen Eleven Realtime vorgestellt, die speziell für Echtzeit-KI-Konversationen entwickelt wurden. Die leistungsstärkere Variante, v1 Max, erreicht auf dem Big Bench Audio Benchmark eine Genauigkeit von 98,8 Prozent bei einer Reaktionszeit von 0,57 Sekunden. Laut Elevenlabs existiert derzeit kein anderes Modell auf dem Artificial Analysis Leaderboard, das sowohl schneller als auch genauer ist.
Leistungsmerkmale der Eleven Realtime Modelle
Die neuen Speech-to-Speech-Modelle von Elevenlabs sind darauf ausgelegt, gesprochene Sprache direkt in gesprochene Sprache umzuwandeln, um so KI-Stimmen in Echtzeit zu generieren oder zu modifizieren. Die Variante v1 Max zeichnet sich durch eine Kombination aus Geschwindigkeit und Präzision aus. Der Big Bench Audio Benchmark ist ein Standardtest zur Bewertung der Leistung von Audio-KI-Modellen, bei dem v1 Max mit der genannten Genauigkeit und Reaktionszeit überzeugte. Die Aussage von Elevenlabs, dass kein Modell auf dem Artificial Analysis Leaderboard – einer Rangliste zur Leistungseinschätzung von KI-Modellen – sowohl schneller als auch präziser sei, unterstreicht die Positionierung von v1 Max für komplexe Anwendungsfälle wie den Kundensupport.
Parallel dazu wurde die kleinere Variante v1 Mini entwickelt, die auf natürliche Konversationen zu geringeren Kosten abzielt. Dieses Modell kann erkennen, wann eine Person ihre Äußerung beendet hat oder lediglich zustimmende Laute wie „mm-hmm“ von sich gibt.
Zugang und Kostenstruktur
Beide Modelle sind über die ElevenAgents Plattform und eine OpenAI-kompatible Realtime API verfügbar. Die ElevenAgents Plattform ist eine von Elevenlabs bereitgestellte Umgebung, die den Zugang zu ihren KI-Sprachdiensten ermöglicht. Die Realtime API, eine Programmierschnittstelle, erlaubt es Entwicklern, die Modelle direkt in eigene Anwendungen zu integrieren und sofortige Antworten zu erhalten.
Die Abrechnung der Nutzung erfolgt pro Minute zuzüglich Token-Kosten. Dabei fallen für die v1 Max-Variante höhere Kosten an als für v1 Mini.
Thema: Technologie / KI allgemein. Quelle/Inspiration: The Decoder.