贾栾：用火山RTC实现实时视频语音通话

贾栾：用火山RTC实现实时视频语音通话 贾栾：用火山RTC实现实时视频语音通话 Modified November 27, 2025 No access 20251105082750 rec 00:00 No access 20251104091518 rec 00:00 构建音视频通话房间后，你可调用启动智能体 StartVoiceChat 快速接入 ASR、LLM 和 TTS 服务将智能体加入该房间，实现用户与智能体一对一通话。 三、结束对话、退出房间 对话结束后，为避免不必要的资源消耗和计费，你可以： • 调用 StopVoiceChat 接口结束当前服务端智能体任务。 • 在客户端调用 leaveRoom 使真人用户离开房间。 • 在客户端调用 destroyRTCEngine 销毁房间，释放资源。 四、进阶功能 在实现基本的 AI 对话能力后，你还可以集成更多高级功能来提升用户体验，例如实时字幕、打断智能体、接收智能体状态、实时视觉理解等。支持的功能及具体实现可参看进阶功能。 2.3 本地运行指南 2.3.1 下载代码（web 版） 项目源码地址：https://github.com/volcengine/rtc aigc demo，使用 mian 分支即可。 2.3.2 根据 readme 说明修改配置参数 2.3.3 分别运行后端项目、前端项目 后端： 1. 进入 server 目录 2. 安装依赖：npm install 3. 启动：node app.js 前端： 1、进入项目根目录 2、安装依赖：npm install （可能有些依赖包版本低会报错，交给 AI 来修改） 3、运行前端：npm run dev 2.3.4 运行效果 本地访问：http://localhost:3000/ No access 20251104141813 rec 00:00 3. 高阶拓展 3.1 与数字人对话 参考官方文档，成本较高，有具体需求可按说明开通接入 https://www.volcengine.com/docs/6348/1848567 3.2 接入扣子智能体 注意：调用 Coze 智能体前，该智能体必须发布为 API。 使用 Coze 平台时，StartVoiceChat.LLMConfig 结构核心配置参数示例如下： Code block JSON Copy { "LLMConfig": { "Mode": "CozeBot", "CozeBotConfig": { "Url": "https://api.coze.cn", "BotId": "73 68", "APIKey": "czu UEE2mJn6 MHxLCVv9uQ7H", "UserId": "123", "HistoryLength": 3, "Prefill": false, "EnableConversation": false } } } 完整参数及说明可参看 StartVoiceChat 接口。 能力限制：以下 Coze 能力， RTC 对话式 AI 场景下暂不支持： • 视觉理解能力 • Function Calling 功能 • 端插件能力 • 动态变量能力 如需使用以上能力，可使用 Coze 服务端 + RTC SDK 方案。 相关文档： 官方体验demo：https://www.coze.cn/open platform/realtime/playground No access RTC+扣子API 00:00 智能音视频概述：https://www.coze.cn/open/docs/dev how to guides/realtime overview 接入流程：https://www.coze.cn/open/docs/dev how to guides/access process 根据官方说明，可以实现RTC+扣子智能体+视频通话，但是目前视频通话过程中有个bug，抓取的视频帧图片无法访问，导致流程走不通，已反馈官方排查 END 感兴趣的同学添加关注，持续更新分享更多实战内容～ 我的开源知识库： ✅ AIGC之路社群知识库 ⛱️ 个人简介 贾栾 一个喜欢跑马的 AI 研究者 | 专注于 AIGC 应用落地。 ～全马 PB324，半马 127～ 10 年+研发管理经验、7 年+创业，传统软件公司转型中，目前 All in AI。 致力于打造让每个人都能用的 AI 应用工具。 个人微信 服务号：WayToAIGC You don't have permission to access this synced block. Please log in and try again. Log In 启动智能体 StartVoiceChat StopVoiceChat leaveRoom destroyRTCEngine 进阶功能 StartVoiceChat Coze 服务端 + RTC SDK 方案 ✅ AIGC之路社群知识库 No access 20251105082750 rec 00:00 No access 20251105082750 rec 00:00 No access 20251104091518 rec 00:00 No access 20251104091518 rec 00:00 构建音视频通话房间后，你可调用启动智能体 StartVoiceChat 快速接入 ASR、LLM 和 TTS 服务将智能体加入该房间，实现用户与智能体一对一通话。 启动智能体 StartVoiceChat 三、结束对话、退出房间 对话结束后，为避免不必要的资源消耗和计费，你可以： • 调用 StopVoiceChat 接口结束当前服务端智能体任务。 StopVoiceChat • 在客户端调用 leaveRoom 使真人用户离开房间。 leaveRoom • 在客户端调用 destroyRTCEngine 销毁房间，释放资源。 destroyRTCEngine 四、进阶功能 在实现基本的 AI 对话能力后，你还可以集成更多高级功能来提升用户体验，例如实时字幕、打断智能体、接收智能体状态、实时视觉理解等。支持的功能及具体实现可参看进阶功能。 进阶功能 2.3 本地运行指南 2.3.1 下载代码（web 版） 项目源码地址：https://github.com/volcengine/rtc aigc demo，使用 mian 分支即可。 2.3.2 根据 readme 说明修改配置参数 2.3.3 分别运行后端项目、前端项目 后端： 1. 进入 server 目录 2. 安装依赖：npm install 3. 启动：node app.js 前端： 1、进入项目根目录 2、安装依赖：npm install （可能有些依赖包版本低会报错，交给 AI 来修改） 3、运行前端：npm run dev 2.3.4 运行效果 本地访问：http://localhost:3000/ No access 20251104141813 rec 00:00 No access 20251104141813 rec 00:00 3. 高阶拓展 3.1 与数字人对话 参考官方文档，成本较高，有具体需求可按说明开通接入 https://www.volcengine.com/docs/6348/1848567 3.2 接入扣子智能体 注意：调用 Coze 智能体前，该智能体必须发布为 API。 使用 Coze 平台时，StartVoiceChat.LLMConfig 结构核心配置参数示例如下： 完整参数及说明可参看 StartVoiceChat 接口。 StartVoiceChat 完整参数及说明可参看 StartVoiceChat 接口。 StartVoiceChat 能力限制：以下 Coze 能力， RTC 对话式 AI 场景下暂不支持： • 视觉理解能力 • Function Calling 功能 • 端插件能力 • 动态变量能力 如需使用以上能力，可使用 Coze 服务端 + RTC SDK 方案。 Coze 服务端 + RTC SDK 方案 相关文档： 官方体验demo：https://www.coze.cn/open platform/realtime/playground No access RTC+扣子API 00:00 No access RTC+扣子API 00:00 智能音视频概述：https://www.coze.cn/open/docs/dev how to guides/realtime overview 接入流程：https://www.coze.cn/open/docs/dev how to guides/access process 根据官方说明，可以实现RTC+扣子智能体+视频通话，但是目前视频通话过程中有个bug，抓取的视频帧图片无法访问，导致流程走不通，已反馈官方排查 END 感兴趣的同学添加关注，持续更新分享更多实战内容～ 我的开源知识库： ✅ AIGC之路社群知识库 ✅ AIGC之路社群知识库 ⛱️ 个人简介 贾栾 一个喜欢跑马的 AI 研究者 | 专注于 AIGC 应用落地。 ～全马 PB324，半马 127～ 10 年+研发管理经验、7 年+创业，传统软件公司转型中，目前 All in AI。 致力于打造让每个人都能用的 AI 应用工具。 个人简介 贾栾 一个喜欢跑马的 AI 研究者 | 专注于 AIGC 应用落地。 ～全马 PB324，半马 127～ 10 年+研发管理经验、7 年+创业，传统软件公司转型中，目前 All in AI。 致力于打造让每个人都能用的 AI 应用工具。 个人微信 服务号：WayToAIGC 个人微信 服务号：WayToAIGC You don't have permission to access this synced block. Please log in and try again. Log In 👉 背景： 要在扣子智能体中接入实时视频语音通话，目前扣子智能体中自带的语音、视频通话效果体验较差，现在需要研究如何能接入火山引擎的实时音视频服务能力。 要求：实时对话、最好可视频、体验拟人化、接入扣子自定义回复流程。 背景： 要在扣子智能体中接入实时视频语音通话，目前扣子智能体中自带的语音、视频通话效果体验较差，现在需要研究如何能接入火山引擎的实时音视频服务能力。 要求：实时对话、最好可视频、体验拟人化、接入扣子自定义回复流程。 先看这个视频，之前很火，通过本方案完全可以搭建一个跟你辩论的豆包 1. 能力分析 1.1 火山实时对话式 AI Demo 运行效果 如视频所示，运行效果整体还是不错的，语音对话、视频理解效果很不错。 1.2 能力简介 概述： 火山引擎的实时对话式 AI 场景方案，让人与 AI 的交互不再局限于文字，还能进行自然、流畅、真人感的实时语音对话，可应用于 AI 智能助手、AI 客服、AI 陪伴、AI 口语教学、AI 游戏 NPC、智能硬件等场景。 功能特性 1.3 三分钟跑通官方demo 官方demo地址：跑通实时对话式 AI Demo 跑通实时对话式 AI Demo 按提示开通相关的资源服务（RTC、ASR、TTS、LLM）并配置，可以立即在线体验。 1.4 集成方式 👉 通过火山引擎 RTC SDK 和服务端 OpenAPI，快速构建具备超低延时、实时交互能力的对话式 AI 应用。 通过火山引擎 RTC SDK 和服务端 OpenAPI，快速构建具备超低延时、实时交互能力的对话式 AI 应用。 适用平台 此集成方案适用于 Android、iOS、Windows、macOS、Linux、Web、Electron、Flutter、微信小程序、Unity、抖音小游戏、React Native 平台。 2. 开始集成 2.1 前置准备 详情参考官方文档：https://www.volcengine.com/docs/6348/1315561 AI 实时互动的实现流程如下图所示： 2.1.1 开通服务（RTC、ASR、TTS、LLM） 注意：需要开通资源较多，开通后每月会有免费额度，测试用完全足够。如果不使用，记得及时关闭，避免扣费。 步骤 1：开通 RTC 服务 参看开通教程，开通 RTC 服务。开通后系统会自动新建一个默认应用，可直接使用且享受赠送额度。如需多个应用可自行创建。 开通教程 步骤 2：开通 ASR 和 TTS 服务 1. 登录豆包语音控制台。 豆包语音控制台 2. 单击创建应用按钮，在弹出的抽屉栏中填写应用名称和应用简介，并选择服务。和本方案相关的服务、选择要求和建议如下表所示。 3. 点击确定按钮，完成应用创建。 步骤 3：开通 LLM 服务 2.1.2 配置不同权限账号调用智能体 1. 根据实际需求选择接口调用身份（主账号还是子账号）和调用位置（服务端还是客户端）。不同的选择，安全性和配置复杂度不同。 2. 根据选择进行授权操作。 2.2 集成指引（以 web 端集成为例） 参考官方文档：https://www.volcengine.com/docs/6348/1310560 一、实现音视频通话 首先，需要在你的应用中集成 RTC SDK，实现基础的音视频通话能力，为 AI 智能体的加入创建环境。主要分为以下三个核心环节： 各平台示例项目源码：https://www.volcengine.com/docs/6348/1163793 二、发起 AI 实时对话