MacBook 跑通 [2]：火山引擎 视频实时理解

MacBook 跑通 [2]：火山引擎 视频实时理解 🕶️ MacBook 跑通 [2]：火山引擎 视频实时理解 Modified April 17, 2025 Audio or video is not supported Please download the file and open it with the appropriate software. 火山引擎实时视频对话.mov · 61.26MB 火山引擎实时视频对话 00:00 词改后 • 修改 backend/run.sh 中配置，填入刚刚获取的API key 修改前 修改后 1.3.2 前端参数 • 修改 frontend/run.sh 中配置，填入刚刚获取的APP ID和 Access Token 配置变量名 说明 ASR APP ID 流式语音识别模型 APP ID流式语音识别模型 APP ID ASR ACCESS TOKEN 流式语音识别模型 Access Token 改前 改后 1.4 安装后端依赖 进入backend cd demohouse/video analyser/backend Code block Bash Copy poetry install 1.3.3 启动后端服务 在 demohouse/video analyser/backend 目录，运行 Code block Bash Copy bash run.sh 保持这个窗口，不要关闭 1.4 启动前端 新打开一个终端，进入frontend 目录，运行run.sh Code block Bash Copy cd demohouse/video analyser/frontend bash run.sh 保持这个窗口，不要关闭 二 体验 访问 https://localhost:8080/ 🚀 关于茉卷 🚀 关于茉卷 Audio or video is not supported Please download the file and open it with the appropriate software. 火山引擎实时视频对话.mov · 61.26MB 火山引擎实时视频对话 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. 火山引擎实时视频对话.mov · 61.26MB 火山引擎实时视频对话 00:00 词改后 • 修改 backend/run.sh 中配置，填入刚刚获取的API key 修改前 修改后 1.3.2 前端参数 • 修改 frontend/run.sh 中配置，填入刚刚获取的APP ID和 Access Token 配置变量名 说明 ASR APP ID 流式语音识别模型 APP ID流式语音识别模型 APP ID ASR ACCESS TOKEN 流式语音识别模型 Access Token 配置变量名 配置变量名 说明 说明 ASR APP ID ASR APP ID 流式语音识别模型 APP ID流式语音识别模型 APP ID 流式语音识别模型 APP ID流式语音识别模型 APP ID ASR ACCESS TOKEN ASR ACCESS TOKEN 流式语音识别模型 Access Token 流式语音识别模型 Access Token 改前 改后 1.4 安装后端依赖 进入backend cd demohouse/video analyser/backend 1.3.3 启动后端服务 在 demohouse/video analyser/backend 目录，运行 保持这个窗口，不要关闭 1.4 启动前端 新打开一个终端，进入frontend 目录，运行run.sh 保持这个窗口，不要关闭 二 体验 访问 https://localhost:8080/ 🚀 关于茉卷 🚀 关于茉卷 场景介绍 基于豆包 视觉理解模型实现的具有视频通话功能的应用。它能够对摄像头传输的实时画面进行分析，精准理解画面中的关键信息，包括图表论文人物表情、动作细节、场景环境等。同时支持高清流畅的视频通话，实现和大模型面对面的即时交流体验。 https://console.volcengine.com/ark/region:ark+cn beijing/application/detail?id=bot vlm procode preset 各种 KEY 的获取 参考 🕶️ MacBook 跑通 [1]： 火山文生视频+自动剪辑方案 中的 【一 开通服务】 部分 [🕶️ MacBook 跑通 [1]： 火山文生视频+自动剪辑方案](https://xqibjsw774k.feishu.cn/docx/I7xldNhnCouXzJxpOO1c5BvanXd?from=from copylink) 效果 一 环境搭建 1.1 代码下载 火山应用实验室的这些项目 都在下面这个git 里面，下一次其他项目的代码都有了。 1.2 python 虚拟环境安装及设置 请参考 🕶️ MacBook 跑通 [1]： 火山文生视频+自动剪辑方案 中的 【2.2 配置代码环境】 部分关于虚拟环境的安装及设置 [🕶️ MacBook 跑通 [1]： 火山文生视频+自动剪辑方案](https://xqibjsw774k.feishu.cn/docx/I7xldNhnCouXzJxpOO1c5BvanXd?from=from copylink) 1.3 配置关键参数+ 启动服务 进入demohouse/video analyser 目录 （注意，我们还在虚拟环境中： myenv） 1.3.1 后端参数 • 修改backend/code/config.py 中配置，填入刚刚获取的API keys， endpoint id 和 APP ID和 Access Token （各种 KEY 的获取 参考 🕶️ MacBook 跑通 [1]： 火山文生视频+自动剪辑方案 中的 【一 开通服务】 部分） [🕶️ MacBook 跑通 [1]： 火山文生视频+自动剪辑方案](https://xqibjsw774k.feishu.cn/docx/I7xldNhnCouXzJxpOO1c5BvanXd?from=from copylink) 配置变量名 说明 VLM ENDPOINT doubao vision pro 32k endpoint id LLM ENDPOINT doubao pro 32k endpoint id TTS APP ID 语音合成模型 APP ID TTS ACCESS TOKEN 语音合成模型 Access Token ARK API KEY 火山方舟 API Key 配置变量名 配置变量名 说明 说明 VLM ENDPOINT VLM ENDPOINT doubao vision pro 32k endpoint id doubao vision pro 32k endpoint id LLM ENDPOINT LLM ENDPOINT doubao pro 32k endpoint id doubao pro 32k endpoint id TTS APP ID TTS APP ID 语音合成模型 APP ID 语音合成模型 APP ID TTS ACCESS TOKEN TTS ACCESS TOKEN 语音合成模型 Access Token 语音合成模型 Access Token ARK API KEY ARK API KEY 火山方舟 API Key 火山方舟 API Key 修改前