豆包大模型：重塑对话式AI实时交互的未来
小鱼发表于 2024-08-17 03:38:13
字节跳动旗下火山引擎今日宣布推出对话式 AI 实时交互解决方案，搭载火山方舟大模型服务平台。
生成式人工智能正以令人惊叹的速度实现突破，像与 ChatGPT、豆包这类 AI 智能助手对话，不再局限于文字，也可以通过语音通话进行实时、生动的交流。语音是人类最自然便捷的沟通方式，语音交互大幅降低与 AI 对话的门槛。人们只需说出需求，AI 就能快速理解并反应，无需复杂的操作，都在简单的话语中。
在这一趋势推动下，诸多领域出现 AI 实时语音创新应用，如 AI 社交陪伴、AI 口语学习、游戏 AI NPC 及 AI 呼叫中心等。这些应用既展现 AI 技术潜力，也体现人们对更自然、更丰富的 AI 交流体验的期望。
该方案通过火山引擎 RTC 实现语音数据的采集、处理和传输，并深度整合豆包 语音识别模型和豆包 语音合成模型，简化语音到文本和文本到语音的转换过程，提供智能对话和自然语言处理能力，帮助应用实现用户和云端大模型的实时语音通话。
字节跳动介绍称，对话式 AI 实时交互解决方案支持开箱即用快速搭建，只需调用标准的 OpenAPI 接口即可配置所需的语音识别（ASR）、大语音模型（LLM）、语音合成（TTS）类型和参数。而火山引擎 AIGC RTC-Server 负责边缘用户接入、云端资源调度、文本与语音转换处理以及数据订阅传输等环节。
该技术拥有三大亮点：
- 支持随时打断，甚至直接插话；
- 不受限于 AI 服务部署区域，整体响应延时可低至 1s；
- 客户端提供音频帧级别的语音活动性检测（VAD），可以检测出音频信号中何时有人正在说话，何时是静默状态。