Antwort nach gut einer halben Sekunde: ElevenLabs bringt Sprachmodelle Eleven Realtime
ElevenLabs stellt mit Eleven Realtime Mini und Max zwei Speech-to-Speech-Modelle für Sprachagenten vor. Sie unterstützen über 90 Sprachen und sind mit der Realtime-Schnittstelle von OpenAI kompatibel.
Foto: Rafał Masłow / Wikimedia Commons, CC BY-SA 4.0 (zugeschnitten und skaliert)
Video: YouTube · ElevenLabs · youtube.com
Das KI-Audio-Unternehmen ElevenLabs hat mit Eleven Realtime eine neue Familie von Speech-to-Speech-Modellen für Sprachagenten vorgestellt. Es gibt sie in zwei Varianten: Mini für Assistenten, Lernbegleiter und interaktive Figuren, Max für Kundenservice und mehrstufige Abläufe mit Werkzeugaufrufen. Bis zur ersten Audioausgabe vergehen im Schnitt 0,57 Sekunden bei Max und 0,62 Sekunden bei Mini. Unterstützt werden mehr als 90 Sprachen und die über 17.000 Stimmen der ElevenLabs-Bibliothek.
In Tests von Artificial Analysis erreichte Max beim gesprochenen Schlussfolgern (Big Bench Audio) 98,8 Prozent, Mini 75,9 Prozent; bei Werkzeugaufgaben lagen die Werte bei 87,1 beziehungsweise 60,3 Prozent. Beim natürlichen Gesprächsfluss mit Pausen und Unterbrechungen lag Mini mit 95,8 Prozent knapp vorn. „Man sollte kein Konfigurationsexperte werden müssen, um einen natürlich klingenden Sprachagenten zu bauen“, schreibt ElevenLabs.
Die Modelle laufen über die Plattform ElevenAgents und folgen dem Protokoll der Realtime-API von OpenAI – Entwickler können also durch Ändern von Endpunkt und Modellname wechseln. Die Verbindung läuft allerdings nur über WebSockets, Anwendungen mit WebRTC müssen umgestellt werden. Laut The New Stack bietet nur Max einen Modus ohne Datenspeicherung.