Отговор за малко над половин секунда: ElevenLabs пуска гласовите модели Eleven Realtime

Компанията за ИИ аудио ElevenLabs представи Eleven Realtime – ново семейство модели „реч към реч“ за гласови агенти. Те се предлагат в два варианта: Mini за асистенти, учебни помощници и интерактивни персонажи и Max за обслужване на клиенти и многоетапни процеси с извикване на инструменти. До първия аудиоотговор минават средно 0,57 секунди при Max и 0,62 секунди при Mini. Поддържат се над 90 езика и над 17 000 гласа от библиотеката на ElevenLabs.

В тестове на Artificial Analysis Max постига 98,8% при говоримо разсъждение (Big Bench Audio), а Mini – 75,9%; при задачи с инструменти резултатите са съответно 87,1% и 60,3%. При естествения ход на разговора с паузи и прекъсвания Mini е леко напред с 95,8%. „Не би трябвало да ставате експерт по конфигуриране, за да създадете гласов агент, който звучи естествено“, пише ElevenLabs.

Моделите работят през платформата ElevenAgents и следват протокола на Realtime API на OpenAI – разработчиците могат да преминат, като сменят крайната точка и името на модела. Връзката обаче е само през WebSockets, а приложенията с WebRTC трябва да бъдат преустроени. Според The New Stack само Max предлага режим без съхранение на данни.