Voice Agent 开源利器——TEN Framework
Voice Agent 开源利器——TEN Framework
Voice Agent 开源利器——TEN Framework Voice Agent 开源利器——TEN Framework Modified September 18, 2025 No access TEN 介绍短片 00:00 No access calling 00:00 目前已支持 ESP 32，你可以直接与 ESP 32进行低延迟、可打断的对话，让他给你讲个故事。 No access esp32 eng subtitle 00:00 3.3 TEN + 数字人：虚拟陪伴 TEN目前支持 Trulience avatars 虚拟形象，让你的 AI 导购/虚拟宠物/AI 游戏陪玩...... 你可以让小狗与你切换为威尔士口音、苏格兰口音，无缝进行语音交流； 也可以和 AI 一起下棋，动嘴就能操控，解放双手。 No access TENcase dog avatar 00:00 No access ten oai tru chess 720p 00:00 3.4 TEN + Computer Use：语音操控电脑 自然语言交互界面（LUI）会越来越进入我们的生活。 用语音开启浏览器、电脑 App、记 memo......你也可以用 TEN 打造自己的“贾维斯”。 No access computer use 0320 00:00 3.5 TEN + 游戏：AI游戏陪玩 语音剧本杀之东方快车谋杀案。 跟 NPC 聊聊案件发生时 TA 们都在做什么，沉浸式体验，一个人也可以玩剧本杀。 No access 西部世界demo带字幕 00:00 3.6 TEN + Gemini 2.0：看得见的个人助理 在使用 Gemini 2.0 模型时，TEN 不仅能听见，还能看见！ 当通过摄像头/屏幕共享与 TEN 分享图片时，他不仅可以精准地认出小猫咪的颜色，还能辨别出具体品种！🐱 No access Gemini+TEN：Cat recognition 00:00 3.7 TEN + 能说能画的故事机 TEN 提供了 Storyteller 作为 usecase，内置文生图模型插件，可引导用户去共同完成一个故事，同时生成精彩的配套图片！ No access story teller 00:00 4. 📒 教程：如何使用 TEN 4.1 基础教程 如果您是新手，希望能够 step by step 的学习如果使用 TEN Agent，欢迎参考油管博主 Developer Digest 的教程👇 No access Build Your Own Voice AI Agent with Ten Agent 00:00 No access TEN视频by T8 00:00 视频 by 小红书@T8.star 4.2 最新教程 如果您已经基本了解 TEN 了，也欢迎尝试最新上线的虚拟人 TEN + Trulience👇 No access TEN avatar 00:00 More tutorials are coming soon, stay tuned !😎 5. 活动预告 💥 Upcoming： TEN 已经与微软、AWS 等伙伴举办了线下 workshop，与开发者们一起手捏自己的首个 Voice Agent。 TEN 也会与更多的全球开发者一起开启 Voice Agent ！ 🇯🇵 日本·东京 ｜ TEN x 微软 x Dify 工作坊，2025/4/22，https://lu.ma/4k5qzg59 🇺🇸 美国·旧金山｜TENx Saastr 工作坊，2025/5/15，https://www.aicamp.ai/event/eventdetails/W2025051613 🇫🇷 法国·巴黎｜TEN x Vivatech side event ，2025/6/11，https://lu.ma/7jlh6tq6 🇯🇵 日本·京都 ｜ TEN x IVS，2025/7/2，https://lu.ma/68alt9d2 🌍 全球｜TEN Global Hackathon 全球开发者大赛，2025/9 ... 此外，更多国内活动线下 meetup，敬请期待！ 6. 加入社区 欢迎加入社群，讨论技术问题，了解、参与 TEN 的最新活动！ 微信 添加微信：cyfyifanchen Discord 频道 https://discord.gg/ppXf7ck3 点击链接进入频道 X 官方 @TenFramework 布道师 @elliotchen100 💥 开源社区需要开发者的支持，如果也觉得 TEN 不错，欢迎点星 🌟 https://github.com/TEN framework/ten framework 布道师 @elliotchen100 No access TEN 介绍短片 00:00 No access TEN 介绍短片 00:00 No access calling 00:00 No access calling 00:00 No access calling 00:00 No access calling 00:00 目前已支持 ESP 32，你可以直接与 ESP 32进行低延迟、可打断的对话，让他给你讲个故事。 No access esp32 eng subtitle 00:00 目前已支持 ESP 32，你可以直接与 ESP 32进行低延迟、可打断的对话，让他给你讲个故事。 目前已支持 ESP 32，你可以直接与 ESP 32进行低延迟、可打断的对话，让他给你讲个故事。 No access esp32 eng subtitle 00:00 No access esp32 eng subtitle 00:00 No access esp32 eng subtitle 00:00 3.3 TEN + 数字人：虚拟陪伴 TEN目前支持 Trulience avatars 虚拟形象，让你的 AI 导购/虚拟宠物/AI 游戏陪玩...... 你可以让小狗与你切换为威尔士口音、苏格兰口音，无缝进行语音交流； 也可以和 AI 一起下棋，动嘴就能操控，解放双手。 No access TENcase dog avatar 00:00 No access ten oai tru chess 720p 00:00 TEN目前支持 Trulience avatars 虚拟形象，让你的 AI 导购/虚拟宠物/AI 游戏陪玩...... 你可以让小狗与你切换为威尔士口音、苏格兰口音，无缝进行语音交流； 也可以和 AI 一起下棋，动嘴就能操控，解放双手。 TEN目前支持 Trulience avatars 虚拟形象，让你的 AI 导购/虚拟宠物/AI 游戏陪玩...... 你可以让小狗与你切换为威尔士口音、苏格兰口音，无缝进行语音交流； 也可以和 AI 一起下棋，动嘴就能操控，解放双手。 No access TENcase dog avatar 00:00 No access ten oai tru chess 720p 00:00 No access TENcase dog avatar 00:00 No access TENcase dog avatar 00:00 No access ten oai tru chess 720p 00:00 No access ten oai tru chess 720p 00:00 3.4 TEN + Computer Use：语音操控电脑 自然语言交互界面（LUI）会越来越进入我们的生活。 用语音开启浏览器、电脑 App、记 memo......你也可以用 TEN 打造自己的“贾维斯”。 No access computer use 0320 00:00 自然语言交互界面（LUI）会越来越进入我们的生活。 用语音开启浏览器、电脑 App、记 memo......你也可以用 TEN 打造自己的“贾维斯”。 自然语言交互界面（LUI）会越来越进入我们的生活。 用语音开启浏览器、电脑 App、记 memo......你也可以用 TEN 打造自己的“贾维斯”。 No access computer use 0320 00:00 No access computer use 0320 00:00 No access computer use 0320 00:00 3.5 TEN + 游戏：AI游戏陪玩 语音剧本杀之东方快车谋杀案。 跟 NPC 聊聊案件发生时 TA 们都在做什么，沉浸式体验，一个人也可以玩剧本杀。 No access 西部世界demo带字幕 00:00 语音剧本杀之东方快车谋杀案。 跟 NPC 聊聊案件发生时 TA 们都在做什么，沉浸式体验，一个人也可以玩剧本杀。 语音剧本杀之东方快车谋杀案。 跟 NPC 聊聊案件发生时 TA 们都在做什么，沉浸式体验，一个人也可以玩剧本杀。 No access 西部世界demo带字幕 00:00 No access 西部世界demo带字幕 00:00 No access 西部世界demo带字幕 00:00 3.6 TEN + Gemini 2.0：看得见的个人助理 在使用 Gemini 2.0 模型时，TEN 不仅能听见，还能看见！ 当通过摄像头/屏幕共享与 TEN 分享图片时，他不仅可以精准地认出小猫咪的颜色，还能辨别出具体品种！🐱 No access Gemini+TEN：Cat recognition 00:00 在使用 Gemini 2.0 模型时，TEN 不仅能听见，还能看见！ 当通过摄像头/屏幕共享与 TEN 分享图片时，他不仅可以精准地认出小猫咪的颜色，还能辨别出具体品种！🐱 在使用 Gemini 2.0 模型时，TEN 不仅能听见，还能看见！ 当通过摄像头/屏幕共享与 TEN 分享图片时，他不仅可以精准地认出小猫咪的颜色，还能辨别出具体品种！🐱 No access Gemini+TEN：Cat recognition 00:00 No access Gemini+TEN：Cat recognition 00:00 No access Gemini+TEN：Cat recognition 00:00 3.7 TEN + 能说能画的故事机 TEN 提供了 Storyteller 作为 usecase，内置文生图模型插件，可引导用户去共同完成一个故事，同时生成精彩的配套图片！ No access story teller 00:00 TEN 提供了 Storyteller 作为 usecase，内置文生图模型插件，可引导用户去共同完成一个故事，同时生成精彩的配套图片！ TEN 提供了 Storyteller 作为 usecase，内置文生图模型插件，可引导用户去共同完成一个故事，同时生成精彩的配套图片！ No access story teller 00:00 No access story teller 00:00 No access story teller 00:00 4. 📒 教程：如何使用 TEN 4.1 基础教程 如果您是新手，希望能够 step by step 的学习如果使用 TEN Agent，欢迎参考油管博主 Developer Digest 的教程👇 No access Build Your Own Voice AI Agent with Ten Agent 00:00 No access Build Your Own Voice AI Agent with Ten Agent 00:00 No access TEN视频by T8 00:00 No access TEN视频by T8 00:00 视频 by 小红书@T8.star 4.2 最新教程 如果您已经基本了解 TEN 了，也欢迎尝试最新上线的虚拟人 TEN + Trulience👇 No access TEN avatar 00:00 No access TEN avatar 00:00 More tutorials are coming soon, stay tuned !😎 5. 活动预告 💥 Upcoming： TEN 已经与微软、AWS 等伙伴举办了线下 workshop，与开发者们一起手捏自己的首个 Voice Agent。 TEN 也会与更多的全球开发者一起开启 Voice Agent ！ 🇯🇵 日本·东京 ｜ TEN x 微软 x Dify 工作坊，2025/4/22，https://lu.ma/4k5qzg59 🇺🇸 美国·旧金山｜TENx Saastr 工作坊，2025/5/15，https://www.aicamp.ai/event/eventdetails/W2025051613 🇫🇷 法国·巴黎｜TEN x Vivatech side event ，2025/6/11，https://lu.ma/7jlh6tq6 🇯🇵 日本·京都 ｜ TEN x IVS，2025/7/2，https://lu.ma/68alt9d2 🌍 全球｜TEN Global Hackathon 全球开发者大赛，2025/9 ... 此外，更多国内活动线下 meetup，敬请期待！ Upcoming： TEN 已经与微软、AWS 等伙伴举办了线下 workshop，与开发者们一起手捏自己的首个 Voice Agent。 TEN 也会与更多的全球开发者一起开启 Voice Agent ！ 🇯🇵 日本·东京 ｜ TEN x 微软 x Dify 工作坊，2025/4/22，https://lu.ma/4k5qzg59 🇺🇸 美国·旧金山｜TENx Saastr 工作坊，2025/5/15，https://www.aicamp.ai/event/eventdetails/W2025051613 🇫🇷 法国·巴黎｜TEN x Vivatech side event ，2025/6/11，https://lu.ma/7jlh6tq6 🇯🇵 日本·京都 ｜ TEN x IVS，2025/7/2，https://lu.ma/68alt9d2 🌍 全球｜TEN Global Hackathon 全球开发者大赛，2025/9 ... 此外，更多国内活动线下 meetup，敬请期待！ 6. 加入社区 欢迎加入社群，讨论技术问题，了解、参与 TEN 的最新活动！ 微信 添加微信：cyfyifanchen Discord 频道 https://discord.gg/ppXf7ck3 点击链接进入频道 X 官方 @TenFramework 布道师 @elliotchen100 微信 添加微信：cyfyifanchen 微信 添加微信：cyfyifanchen Discord 频道 https://discord.gg/ppXf7ck3 点击链接进入频道 Discord 频道 https://discord.gg/ppXf7ck3 点击链接进入频道 X 官方 @TenFramework 布道师 @elliotchen100 X 官方 @TenFramework 布道师 @elliotchen100 💥 开源社区需要开发者的支持，如果也觉得 TEN 不错，欢迎点星 🌟 https://github.com/TEN framework/ten framework 开源社区需要开发者的支持，如果也觉得 TEN 不错，欢迎点星 🌟 https://github.com/TEN framework/ten framework 布道师 @elliotchen100 语音是 AI 应用公司的一个关键机遇。作为人类最高频（且信息密度最大）的沟通方式，语音这项基础能力在 AI 时代首次实现「可编程化」。 我们目前正从 AI 语音的基础设施层过渡到应用层。随着 AI 模型的不断进步，语音将成为一个关键的切入点，而不是最终产品本身。我们特别看好那些利用这种「语音优先」方法来解锁更广阔平台机遇的初创公司。 ——《AI Voice Agents 2025》，Olivia Moore，A16Z 合伙人 语音是 AI 应用公司的一个关键机遇。作为人类最高频（且信息密度最大）的沟通方式，语音这项基础能力在 AI 时代首次实现「可编程化」。 我们目前正从 AI 语音的基础设施层过渡到应用层。随着 AI 模型的不断进步，语音将成为一个关键的切入点，而不是最终产品本身。我们特别看好那些利用这种「语音优先」方法来解锁更广阔平台机遇的初创公司。 ——《AI Voice Agents 2025》，Olivia Moore，A16Z 合伙人 欢迎来到多模态的工程所！欢迎来到用语音开启 AI 的时代。对于任何想要搭建实时Voice Agent 的小伙伴，我们推荐一个对话式 Voice Agent 开源框架——TEN Framework。 🔥 TEN 现已支持 MCP，欢迎体验！ 用 TEN 你可以做出什么？可以让你的 AI Agent 能听能说！ 💥 基于TEN，你可以搭建任何 Voice Agent，让 AI 能听能说。 Github Star: 7.6 K 🌟 Github Trending: 1st Repository of the Day 😺 快速体验链接：https://agent.theten.ai/ 💻 本地部署 Github 链接： https://github.com/TEN framework/ten framework 💥 基于TEN，你可以搭建任何 Voice Agent，让 AI 能听能说。 Github Star: 7.6 K 🌟 Github Trending: 1st Repository of the Day 😺 快速体验链接：https://agent.theten.ai/ 💻 本地部署 Github 链接： https://github.com/TEN framework/ten framework 💥 基于TEN，你可以搭建任何 Voice Agent，让 AI 能听能说。 Github Star: 7.6 K 🌟 Github Trending: 1st Repository of the Day 😺 快速体验链接：https://agent.theten.ai/ 💻 本地部署 Github 链接： https://github.com/TEN framework/ten framework 基于TEN，你可以搭建任何 Voice Agent，让 AI 能听能说。 Github Star: 7.6 K 🌟 Github Trending: 1st Repository of the Day 😺 快速体验链接：https://agent.theten.ai/ 💻 本地部署 Github 链接： https://github.com/TEN framework/ten framework 🌟 欢迎 star 项目，支持并跟进项目最新动态，感谢开发者的支持！ https://github.com/TEN framework/ten framework 欢迎 star 项目，支持并跟进项目最新动态，感谢开发者的支持！ https://github.com/TEN framework/ten framework 1. 🤔 什么是 TEN TEN 是一个实时对话式 Voice Agent 引擎，可以帮助开发者快速搭建可音视频交互的 AI Agent。 目前已经支持包括 Deepseek、OpenAI、Gemini 等在内的全球各大主流 STT、LLM、TTS 厂商。 同时 TEN 可以支持接入 Dify 与 Coze，只需配置 bot ID/API，就能让你的 bot 开口说话。 🔥 TEN 现已支持 MCP，欢迎体验！ TEN 已经支持的 extension TEN 是一个实时对话式 Voice Agent 引擎，可以帮助开发者快速搭建可音视频交互的 AI Agent。 目前已经支持包括 Deepseek、OpenAI、Gemini 等在内的全球各大主流 STT、LLM、TTS 厂商。 同时 TEN 可以支持接入 Dify 与 Coze，只需配置 bot ID/API，就能让你的 bot 开口说话。 🔥 TEN 现已支持 MCP，欢迎体验！ TEN 是一个实时对话式 Voice Agent 引擎，可以帮助开发者快速搭建可音视频交互的 AI Agent。 目前已经支持包括 Deepseek、OpenAI、Gemini 等在内的全球各大主流 STT、LLM、TTS 厂商。 同时 TEN 可以支持接入 Dify 与 Coze，只需配置 bot ID/API，就能让你的 bot 开口说话。 🔥 TEN 现已支持 MCP，欢迎体验！ TEN 已经支持的 extension TEN 已经支持的 extension 2. 🤩 优势：为什么需要用 TEN 搭建 Voice Agent 就像是把大象装进冰箱，看上去只有三步很简单：1）选择 LLM/STT/TTS 大模型；2）接入 WebRTC 或 WebSockets 进行实时传输；3）调整参数封装。 但在实际使用过程中，困难重重： “😫回声太大、噪音太多” “人声太杂听不清👂” “人工智能如智障，说话都不能打断🤐” “😫回声太大、噪音太多” “😫回声太大、噪音太多” “人声太杂听不清👂” “人声太杂听不清👂” “人工智能如智障，说话都不能打断🤐” “人工智能如智障，说话都不能打断🤐” “延迟太高反应慢🐢” “又有新模型了又要重新接😞” “三段式看着简单实现的工程太难💻” “延迟太高反应慢🐢” “延迟太高反应慢🐢” “又有新模型了又要重新接😞” “又有新模型了又要重新接😞” “三段式看着简单实现的工程太难💻” “三段式看着简单实现的工程太难💻” “多模态数据间的实时传输太麻烦了、搞不定啊 🤯” CPU 消耗怎么这么高？！！😢 “多模态数据间的实时传输太麻烦了、搞不定啊 🤯” “多模态数据间的实时传输太麻烦了、搞不定啊 🤯” CPU 消耗怎么这么高？！！😢 CPU 消耗怎么这么高？！！😢 TEN Framework 应运而生！TEN 解决了 Voice Agent 搭建过程中与多模态数据传输复杂、延迟高的问题，并且将LLM、STT、TTS 等模型进行模块化、自由调用，为开发者减少实现时的工程问题，更加聚焦于场景与业务内容，快速完成产品的落地与验证，并能够真正用于实际生产 💪 2.1 支持多模态传输：可满足语音、文本和图像的输入与输出 ◦ 支持语音、文本、图像等数据传输，充分发挥多模态优势 ◦ 同时支持级联模式（STT LLM TTS）与端到端模式（End to End）打造音视频交互 ◦ 支持语音、文本、图像等数据传输，充分发挥多模态优势 ◦ 同时支持级联模式（STT LLM TTS）与端到端模式（End to End）打造音视频交互 2.2 低延迟、可打断：内置优化后的实时通信能力，提供低延时、可打断的交互体验 ◦ 内置 RTC，解决语音交互时的延迟问题，基于TEN Framework 搭建的 Agent，优化最佳情况下延迟仅 650ms ◦ 自带 VAD，在与 AI 语音交流过程中可以随时打断、还原真实对话 ◦ 内置 RTC，解决语音交互时的延迟问题，基于TEN Framework 搭建的 Agent，优化最佳情况下延迟仅 650ms ◦ 自带 VAD，在与 AI 语音交流过程中可以随时打断、还原真实对话 2.3 插件丰富、灵活编排：支持接入全球主流 STT、LLM和 TTS，快速使用 ◦ 已支持全球主流的 STT、LLM、TTS 等插件，配置 key 即可 ◦ 及时跟进最新技术，24h 内完成接入 OpenAI Realtime API、Gemini 2.0 ◦ 已支持全球主流的 STT、LLM、TTS 等插件，配置 key 即可 ◦ 及时跟进最新技术，24h 内完成接入 OpenAI Realtime API、Gemini 2.0 2.4 多语言、跨平台：支持主流语言，Agent 可跨平台无缝衔接 ◦ 支持 C++/Go/Python/Node.JS 等各类编程语言（JavaScript 即将支持） ◦ 支持 Windows/Mac/Linux/移动端等各平台开发 ◦ 支持 C++/Go/Python/Node.JS 等各类编程语言（JavaScript 即将支持） ◦ 支持 Windows/Mac/Linux/移动端等各平台开发 3. 🤖 Use Case：用 TEN 你可以做出什么 3.1 TEN + SIP：AI 外呼中心 AI 外呼中心，如：企业客服/外呼中心/专业咨询...... 让客户打电话给你定制的 AI Agent 专家！ Demo 里演示的是心理咨询专家，可以看到 Agent 在听到“我”说心情不好时语气也低沉了下来，语音在这种场景下比文字更合适。 AI 外呼中心，如：企业客服/外呼中心/专业咨询...... 让客户打电话给你定制的 AI Agent 专家！ Demo 里演示的是心理咨询专家，可以看到 Agent 在听到“我”说心情不好时语气也低沉了下来，语音在这种场景下比文字更合适。 3.2 TEN + 硬件：智能玩具 故事机/智能音箱/AI 玩具/智能家居......