智能纪要:10-22 | 🎙️IndexTTS:让声音更有温度👨🏫 讲师:思绎:bilibili IndexTTS 语音大模型首席算法专家/紫泽:bilibili 语音大模型产品运营专家 WaytoAGI晚8点共学 2025年10月22日
智能纪要:10-22 | 🎙️IndexTTS:让声音更有温度👨🏫 讲师:思绎:bilibili IndexTTS 语音大模型首席算法专家/紫泽:bilibili 语音大模型产品运营专家 WaytoAGI晚8点共学 2025年10月22日
智能纪要:10 22 | 🎙️IndexTTS:让声音更有温度👨🏫 讲师:思绎:bilibili IndexTTS 语音大模型首席算法专家/紫泽:bilibili 语音大模型产品运营专家 WaytoAGI晚8点共学 2025年10月22日 智能纪要:10 22 | 🎙️IndexTTS:让声音更有温度👨🏫 讲师:思绎:bilibili IndexTTS 语音大模型首席算法专家/紫泽:bilibili 语音大模型产品运营专家 WaytoAGI晚8点共学 2025年10月22日 Modified December 17, 2025 • 问题解答环节 ◦ 影视行业应用问题 ▪ 长句音色解耦:对于长句中音色随情绪变化的问题,子泽表示可将长音频分成两到三段,通过调节情感权重实现情感渐变;也可通过情绪参考音频、情感向量或情感描述文本改变情绪,同时保持音色参考音频不变,使生成音频音色一致。 ▪ 外星语言模拟:赛博娜娜想在科幻片中模拟外星语言,子泽认为中英文混杂没问题,但模拟外星语言较难,建议用有音色和吐字韵律信息的音频作参考,输入类似 “哔哩歪比、巴卜” 的文字,再通过后期加速、减速、变调等方式处理。 ▪ 气声实现:对于表演中对气声的要求,子泽建议在情感参考音频中提供气声音频,通过调整情感权重参数微调。 ◦ 硬件部署问题 ▪ GPU 调用与安装问题:针对目前存在调用 GPU 较少的问题,思毅表示关注较少,可查看 TTSR 的生态,可能有开源开发者共创解决;对于 Mac 系统英特尔芯片安装失败的问题,建议在开源社区提单子,后续确认 Mac 系统能否安装。 ▪ 显卡支持问题:子泽解答,index TTS2 对显卡的要求是显存 12GB 及以上,与显卡代数无关,目前只支持 n 卡,a 卡和英特尔的卡暂不支持。 ◦ 语言支持问题 ▪ 口音与方言支持:思毅表示,对于不同口音,可通过调节情绪参考音频来实现细微调节;对于方言,与普通话接近的如北京话、东北话等可通过调节韵律实现,粤语、吴语等差距较大的方言目前无法支持。 ▪ 多语言混合支持:目前 index TTS2 只支持中文和英文混合,未来支持其他语言后,所有支持的语言都可混合。 ◦ 其他问题 ▪ 商业版权问题:子泽强调,商用作品使用真人样音需要真人授权,关于模型推理出来的音频的商用问题,可到 GitHub 查看主页的法律介绍。 ▪ 时长控制问题:思毅补充,模型的时长控制是句级别的,无法做到字级别的控制,若有明显的字级控制要求,可能需靠后期剪辑。 ▪ 音频生成时长问题:思毅称,目前模型 150 个字左右的生成比较 ok,训练时主要用 30 秒以内的音频,长文本合成可通过长句拆短句实现。 ▪ 笑声哭声生成问题:子泽建议,生成自然的笑声和哭声时,最好提供有相应情绪的参考音频。 ▪ 自定义标签与声音微调问题:思毅表示,目前模型不支持自定义标签,有相关计划在未来迭代中支持;开源的只有推理代码,若需要声音微调,可能需自己写代码。 ▪ 模型版本问题:对于 8G 版本,思毅称可能是热心网友做了量化或加速,基于开源模型整合而成,但具体优化操作不太清楚。子泽推荐大家可查看秋芝 up 主关于 index TTS2 的介绍视频。 ▪ 拼音输入功能:子泽演示,遇到生僻字或发音问题时,可将字转换成拼音(字母后加数字表示声调,两个拼音间加空格)输入,模型能正确发音。 待办 配音效果实践:实践通过时长控制功能卡口型及画面点位对轨,利用标点符号控制长句节奏,完成后与团队展开讨论 user 4426 安装问题跟进:确认 Mac 系统英特尔芯片安装失败,提示 touch 版本过高且无法降级的问题,是否可在开源社区提单子解决,并确认 Mac 系统能否安装(来自许键) 会议最佳表现成员 Log in or sign up to use this feature. 相关链接 • 文字记录 ◦ 10 22 | 🎙️IndexTTS:让声音更有温度👨🏫 讲师:思绎:bilibili IndexTTS 语音大模型首席算法专家/紫泽:bilibili 语音大模型产品运营专家 WaytoAGI晚8点共学 2025年10月22日 相关会议纪要 📌 智能纪要:12 17 | Claude Code 进阶教程:手把手玩转 MCP、Skills x等工具! 智能纪要:12 16 | Claude Code/CodeX+Skills安装配置全攻略 智能纪要:12 13 | 鹿演 Vol.007:Mulan.pro:从家庭主妇到 AI 公司创始人 普通人真的可以逆袭吗WaytoAGI晚8点共学 2025年12月13日 智能纪要:12 09 | 如何用AI做IP形象/WaytoAGI晚8点共学 2025年12月9日 智能纪要:12 06 | AI+教育 WaytoAGI晚8点共学 2025年12月6日 智能纪要:12 06 | 少儿AI春晚 绘本共学屋,孩子们的创意海报 2025年12月6日 智能纪要:12 05 | AI音乐零基础入门之Suno实操|百度「AI星企划」数字角色选秀大赛创作指南📌特邀嘉宾:【JKMiles】 华腾杯全国AI作品创新大奖赛全国金奖 WaytoAGI社区音乐板块共创者WaytoAGI晚8点共学 2025年12月5日 智能纪要:12 04 | “秒哒 让创意变生意”之应用变现教学讲解系列第一期来啦! WaytoAGI晚8点共学 2025年12月4日 智能纪要:12 02 | MCP插件召集令插件开发大赛冲刺倒计时6天!百宝箱 |通义灵码| 👨💻【分享嘉宾】吴昞:国际知名房地产咨询外企高级财务经理、WaytoAGI赛事先锋官孔立刚:世界五百强售后运营经理、WaytoAGI训练营优秀结业学员&助教WaytoAGI晚8点共学 2025年12月2日 智能纪要:WaytoAGI晚8点共学 2025年11月29日 智能纪要:11 28 | 百度×乐华娱乐×WaytoAGI「AI星企划」数字角色选秀大赛正式启动!WaytoAGI晚8点共学 2025年11月28日 智能纪要:11 27 | WaytoAGI晚8点共学 2025年11月27日 智能纪要:11 26 | 鹿演Vol.005:Creaibo——专为优质内容而生的AI🎙️ WaytoAGI晚8点共学 2025年11月26日 智能纪要:11 26 | 千问APP众测 WaytoAGI晚8点共学 2025年11月26日 智能纪要:11 25 | MCP插件召集令插件开发大赛攻略来袭 💰奖金池丰富:解锁16万巨额现金激励🔥保姆式教学:全流程系统讲解,直击痛点问题 📌不写一行代码:用lingma基于FastMCP开发demo一键部署到百宝箱 2025年11月25日 智能纪要:11 12 | 带你冲20万大奖,豆包应用创作挑战赛来袭!不止冲奖,更能学硬核技巧,1小时搞定投稿!讲师:许键WaytoAGI晚8点共学 2025年11月12日 智能纪要:11 03 | WaytoAGI校园AIPO训练营 讲师:AJ 学习AI的工作流 WaytoAGI晚8点共学 2025年11月3日 智能纪要:11 02 | AI训练营第二期:Agent智能体实战训练营 ,嘉宾:罗文,weina,王磊, WaytoAGI晚8点共学 2025年11月2日 智能纪要:11 01 | AIPO训练营Part2 从 0 1 聚焦校园场景搭建自己的 AI 搭子WaytoAGI晚8点共学 2025年11月1日 智能纪要:10 31 | AI训练营第一期: n8n训练营结营 WaytoAGI晚8点共学 2025年10月31日 智能纪要:10 30 | AIPO 训练营 从 0 1 聚焦校园场景搭建自己的 AI 搭子WaytoAGI晚8点共学 2025年10月30日 智能纪要:10 29 | 【AI训练营】AI智能体项目实战分享WaytoAGI晚8点共学 2025年10月29日 智能纪要:10 28 | 海外最大AI视频比赛Chroma Awards解读 WaytoAGI晚8点共学 2025年10月28日 第三届AIPO启动会 智能纪要:10 24 | AI 编程实战技巧分享,30分钟从入门到沉迷|Vibe Coze!扣子 AI 挑战赛教程💻 WaytoAGI晚8点共学 2025年10月24日 智能纪要:10 23 | WaytoAGI晚8点共学 2025年10月23日 智能纪要:09 10 | WaytoAGI晚8点共学 2025年9月10日 智能纪要:09 09 | 智能体工作流设计模式教学,WaytoAGI晚8点共学 2025年9月9日 智能纪要:09 08 | 拆解AI摆摊实验,提炼「商业落地金字塔」完整框架 WaytoAGI晚8点共学 2025年9月8日 智能纪要:09 07 | Qoder食用说明书:从入门到惊艳WaytoAGI晚8点共学 2025年9月7日 智能纪要:09 06 | WaytoAGI晚8点共学 2025年9月6日 智能纪要:09 05 | 阿里云百炼 AI Agent 创客开发实战课 讲师:许键 WaytoAGI晚8点共学 2025年9月5日 智能纪要:09 04 | Zho:X百万流量,最全NanoBanana指南 WaytoAGI晚8点共学 2025年9月4日 智能纪要:09 03 | WaytoAGI晚8点共学 2025年9月3日 智能纪要:09 02 | WaytoAGI晚8点共学 2025年9月2日 智能纪要:08 29 | 全面盘点Vibe Coding工具,选对工具效率翻倍!主持人:Ben WaytoAGI晚8点共学 2025年8月29日 智能纪要:08 28 | 解锁 Qwen Image 技术秘籍与创作灵感! WaytoAGI晚8点共学 2025年8月28日 智能纪要:08 27 | WaytoAGI晚8点共学 2025年8月27日 智能纪要:08 26 | 最强生图模型?nano banana实测 !WaytoAGI晚8点共学 2025年8月26日 智能纪要:08 22 | 社区伦敦亮相+workshop直播 WaytoAGI晚8点共学 2025年8月22日 智能纪要:08 21 | 🔥 今晚8点!鹿演Vol.004:OpenCreator 内容创作者的一站式画布WaytoAGI晚8点共学 2025年8月21日 智能纪要:08 19 | 鹿演Vol.003:ListenHub:能帮创作者赚钱的AI嘴替WaytoAGI晚8点共学 2025年8月19日 智能纪要:08 18 | 娜乌斯佳:AI视频最新教程,我AI北京大赛分享WaytoAGI晚8点共学 2025年8月18日 视频教程08 13 | 一句话让创意到变现的超级工具箱,秒哒使用指南WaytoAGI共学 2025年8月13日 智能纪要:08 11 | 一个人如何用AI完成一部动画 【瑞克和莫蒂勇闯刻板印象宇宙】WaytoAGI晚8点共学 2025年8月11日 智能纪要:08 06 | Coze开源很可能带来“第二波商业化红利”,一起探讨,找到属于你的机遇!WaytoAGI晚8点共学 2025年8月6日 08 02 | Vibe Coding 迷你黑客松 奇思妙想秀 WaytoAGI晚8点共学 2025年8月2日 智能纪要:07 31 | 月入万刀的Agent开发者经验分享, Myshell手把手搭建,WaytoAGI晚8点共学 2025年7月31日 智能纪要:07 23 | AI+应用创作第一课:百度秒哒"一句话建应用"实战课 WaytoAGI晚8点共学 2025年7月23日 智能纪要:07 22 | 玩转扣子空间 网页设计新功能上线 WaytoAGI晚8点共学 2025年7月22日 智能纪要:07 16 | Jaaz 开源多模态Agent工具首发WaytoAGI晚8点共学 2025年7月16日 智能纪要:07 15 | AI 助手带你玩转数据分析!通义灵码保姆级教学 WaytoAGI晚8点共学 2025年7月15日 智能纪要:WaytoAGI晚8点共学 2025年7月9日 智能纪要:07 07 | WaytoAGI晚8点共学 2025年7月7日 10 22 | 🎙️IndexTTS:让声音更有温度👨🏫 讲师:思绎:bilibili IndexTTS 语音大模型首席算法专家/紫泽:bilibili 语音大模型产品运营专家 WaytoAGI晚8点共学 2025年10月22日 智能纪要:12 17 | Claude Code 进阶教程:手把手玩转 MCP、Skills x等工具! 智能纪要:12 16 | Claude Code/CodeX+Skills安装配置全攻略 智能纪要:12 13 | 鹿演 Vol.007:Mulan.pro:从家庭主妇到 AI 公司创始人 普通人真的可以逆袭吗WaytoAGI晚8点共学 2025年12月13日 智能纪要:12 09 | 如何用AI做IP形象/WaytoAGI晚8点共学 2025年12月9日 智能纪要:12 06 | AI+教育 WaytoAGI晚8点共学 2025年12月6日 智能纪要:12 06 | 少儿AI春晚 绘本共学屋,孩子们的创意海报 2025年12月6日 智能纪要:12 05 | AI音乐零基础入门之Suno实操|百度「AI星企划」数字角色选秀大赛创作指南📌特邀嘉宾:【JKMiles】 华腾杯全国AI作品创新大奖赛全国金奖 WaytoAGI社区音乐板块共创者WaytoAGI晚8点共学 2025年12月5日 智能纪要:12 04 | “秒哒 让创意变生意”之应用变现教学讲解系列第一期来啦! WaytoAGI晚8点共学 2025年12月4日 智能纪要:12 02 | MCP插件召集令插件开发大赛冲刺倒计时6天!百宝箱 |通义灵码| 👨💻【分享嘉宾】吴昞:国际知名房地产咨询外企高级财务经理、WaytoAGI赛事先锋官孔立刚:世界五百强售后运营经理、WaytoAGI训练营优秀结业学员&助教WaytoAGI晚8点共学 2025年12月2日 智能纪要:WaytoAGI晚8点共学 2025年11月29日 智能纪要:11 28 | 百度×乐华娱乐×WaytoAGI「AI星企划」数字角色选秀大赛正式启动!WaytoAGI晚8点共学 2025年11月28日 智能纪要:11 27 | WaytoAGI晚8点共学 2025年11月27日 智能纪要:11 26 | 鹿演Vol.005:Creaibo——专为优质内容而生的AI🎙️ WaytoAGI晚8点共学 2025年11月26日 智能纪要:11 26 | 千问APP众测 WaytoAGI晚8点共学 2025年11月26日 智能纪要:11 25 | MCP插件召集令插件开发大赛攻略来袭 💰奖金池丰富:解锁16万巨额现金激励🔥保姆式教学:全流程系统讲解,直击痛点问题 📌不写一行代码:用lingma基于FastMCP开发demo一键部署到百宝箱 2025年11月25日 智能纪要:11 12 | 带你冲20万大奖,豆包应用创作挑战赛来袭!不止冲奖,更能学硬核技巧,1小时搞定投稿!讲师:许键WaytoAGI晚8点共学 2025年11月12日 智能纪要:11 03 | WaytoAGI校园AIPO训练营 讲师:AJ 学习AI的工作流 WaytoAGI晚8点共学 2025年11月3日 智能纪要:11 02 | AI训练营第二期:Agent智能体实战训练营 ,嘉宾:罗文,weina,王磊, WaytoAGI晚8点共学 2025年11月2日 智能纪要:11 01 | AIPO训练营Part2 从 0 1 聚焦校园场景搭建自己的 AI 搭子WaytoAGI晚8点共学 2025年11月1日 智能纪要:10 31 | AI训练营第一期: n8n训练营结营 WaytoAGI晚8点共学 2025年10月31日 智能纪要:10 30 | AIPO 训练营 从 0 1 聚焦校园场景搭建自己的 AI 搭子WaytoAGI晚8点共学 2025年10月30日 智能纪要:10 29 | 【AI训练营】AI智能体项目实战分享WaytoAGI晚8点共学 2025年10月29日 智能纪要:10 28 | 海外最大AI视频比赛Chroma Awards解读 WaytoAGI晚8点共学 2025年10月28日 第三届AIPO启动会 智能纪要:10 24 | AI 编程实战技巧分享,30分钟从入门到沉迷|Vibe Coze!扣子 AI 挑战赛教程💻 WaytoAGI晚8点共学 2025年10月24日 智能纪要:10 23 | WaytoAGI晚8点共学 2025年10月23日 智能纪要:09 10 | WaytoAGI晚8点共学 2025年9月10日 智能纪要:09 09 | 智能体工作流设计模式教学,WaytoAGI晚8点共学 2025年9月9日 智能纪要:09 08 | 拆解AI摆摊实验,提炼「商业落地金字塔」完整框架 WaytoAGI晚8点共学 2025年9月8日 智能纪要:09 07 | Qoder食用说明书:从入门到惊艳WaytoAGI晚8点共学 2025年9月7日 智能纪要:09 06 | WaytoAGI晚8点共学 2025年9月6日 智能纪要:09 05 | 阿里云百炼 AI Agent 创客开发实战课 讲师:许键 WaytoAGI晚8点共学 2025年9月5日 智能纪要:09 04 | Zho:X百万流量,最全NanoBanana指南 WaytoAGI晚8点共学 2025年9月4日 智能纪要:09 03 | WaytoAGI晚8点共学 2025年9月3日 智能纪要:09 02 | WaytoAGI晚8点共学 2025年9月2日 智能纪要:08 29 | 全面盘点Vibe Coding工具,选对工具效率翻倍!主持人:Ben WaytoAGI晚8点共学 2025年8月29日 智能纪要:08 28 | 解锁 Qwen Image 技术秘籍与创作灵感! WaytoAGI晚8点共学 2025年8月28日 智能纪要:08 27 | WaytoAGI晚8点共学 2025年8月27日 智能纪要:08 26 | 最强生图模型?nano banana实测 !WaytoAGI晚8点共学 2025年8月26日 智能纪要:08 22 | 社区伦敦亮相+workshop直播 WaytoAGI晚8点共学 2025年8月22日 智能纪要:08 21 | 🔥 今晚8点!鹿演Vol.004:OpenCreator 内容创作者的一站式画布WaytoAGI晚8点共学 2025年8月21日 智能纪要:08 19 | 鹿演Vol.003:ListenHub:能帮创作者赚钱的AI嘴替WaytoAGI晚8点共学 2025年8月19日 智能纪要:08 18 | 娜乌斯佳:AI视频最新教程,我AI北京大赛分享WaytoAGI晚8点共学 2025年8月18日 视频教程08 13 | 一句话让创意到变现的超级工具箱,秒哒使用指南WaytoAGI共学 2025年8月13日 智能纪要:08 11 | 一个人如何用AI完成一部动画 【瑞克和莫蒂勇闯刻板印象宇宙】WaytoAGI晚8点共学 2025年8月11日 智能纪要:08 06 | Coze开源很可能带来“第二波商业化红利”,一起探讨,找到属于你的机遇!WaytoAGI晚8点共学 2025年8月6日 08 02 | Vibe Coding 迷你黑客松 奇思妙想秀 WaytoAGI晚8点共学 2025年8月2日 智能纪要:07 31 | 月入万刀的Agent开发者经验分享, Myshell手把手搭建,WaytoAGI晚8点共学 2025年7月31日 智能纪要:07 23 | AI+应用创作第一课:百度秒哒"一句话建应用"实战课 WaytoAGI晚8点共学 2025年7月23日 智能纪要:07 22 | 玩转扣子空间 网页设计新功能上线 WaytoAGI晚8点共学 2025年7月22日 智能纪要:07 16 | Jaaz 开源多模态Agent工具首发WaytoAGI晚8点共学 2025年7月16日 智能纪要:07 15 | AI 助手带你玩转数据分析!通义灵码保姆级教学 WaytoAGI晚8点共学 2025年7月15日 智能纪要:WaytoAGI晚8点共学 2025年7月9日 智能纪要:07 07 | WaytoAGI晚8点共学 2025年7月7日 • 问题解答环节 ◦ 影视行业应用问题 ▪ 长句音色解耦:对于长句中音色随情绪变化的问题,子泽表示可将长音频分成两到三段,通过调节情感权重实现情感渐变;也可通过情绪参考音频、情感向量或情感描述文本改变情绪,同时保持音色参考音频不变,使生成音频音色一致。 ▪ 外星语言模拟:赛博娜娜想在科幻片中模拟外星语言,子泽认为中英文混杂没问题,但模拟外星语言较难,建议用有音色和吐字韵律信息的音频作参考,输入类似 “哔哩歪比、巴卜” 的文字,再通过后期加速、减速、变调等方式处理。 ▪ 气声实现:对于表演中对气声的要求,子泽建议在情感参考音频中提供气声音频,通过调整情感权重参数微调。 ◦ 硬件部署问题 ▪ GPU 调用与安装问题:针对目前存在调用 GPU 较少的问题,思毅表示关注较少,可查看 TTSR 的生态,可能有开源开发者共创解决;对于 Mac 系统英特尔芯片安装失败的问题,建议在开源社区提单子,后续确认 Mac 系统能否安装。 ▪ 显卡支持问题:子泽解答,index TTS2 对显卡的要求是显存 12GB 及以上,与显卡代数无关,目前只支持 n 卡,a 卡和英特尔的卡暂不支持。 ◦ 语言支持问题 ▪ 口音与方言支持:思毅表示,对于不同口音,可通过调节情绪参考音频来实现细微调节;对于方言,与普通话接近的如北京话、东北话等可通过调节韵律实现,粤语、吴语等差距较大的方言目前无法支持。 ▪ 多语言混合支持:目前 index TTS2 只支持中文和英文混合,未来支持其他语言后,所有支持的语言都可混合。 ◦ 其他问题 ▪ 商业版权问题:子泽强调,商用作品使用真人样音需要真人授权,关于模型推理出来的音频的商用问题,可到 GitHub 查看主页的法律介绍。 ▪ 时长控制问题:思毅补充,模型的时长控制是句级别的,无法做到字级别的控制,若有明显的字级控制要求,可能需靠后期剪辑。 ▪ 音频生成时长问题:思毅称,目前模型 150 个字左右的生成比较 ok,训练时主要用 30 秒以内的音频,长文本合成可通过长句拆短句实现。 ▪ 笑声哭声生成问题:子泽建议,生成自然的笑声和哭声时,最好提供有相应情绪的参考音频。 ▪ 自定义标签与声音微调问题:思毅表示,目前模型不支持自定义标签,有相关计划在未来迭代中支持;开源的只有推理代码,若需要声音微调,可能需自己写代码。 ▪ 模型版本问题:对于 8G 版本,思毅称可能是热心网友做了量化或加速,基于开源模型整合而成,但具体优化操作不太清楚。子泽推荐大家可查看秋芝 up 主关于 index TTS2 的介绍视频。 ▪ 拼音输入功能:子泽演示,遇到生僻字或发音问题时,可将字转换成拼音(字母后加数字表示声调,两个拼音间加空格)输入,模型能正确发音。 ◦ 影视行业应用问题 ▪ 长句音色解耦:对于长句中音色随情绪变化的问题,子泽表示可将长音频分成两到三段,通过调节情感权重实现情感渐变;也可通过情绪参考音频、情感向量或情感描述文本改变情绪,同时保持音色参考音频不变,使生成音频音色一致。 ▪ 外星语言模拟:赛博娜娜想在科幻片中模拟外星语言,子泽认为中英文混杂没问题,但模拟外星语言较难,建议用有音色和吐字韵律信息的音频作参考,输入类似 “哔哩歪比、巴卜” 的文字,再通过后期加速、减速、变调等方式处理。 ▪ 气声实现:对于表演中对气声的要求,子泽建议在情感参考音频中提供气声音频,通过调整情感权重参数微调。 ▪ 长句音色解耦:对于长句中音色随情绪变化的问题,子泽表示可将长音频分成两到三段,通过调节情感权重实现情感渐变;也可通过情绪参考音频、情感向量或情感描述文本改变情绪,同时保持音色参考音频不变,使生成音频音色一致。 ▪ 外星语言模拟:赛博娜娜想在科幻片中模拟外星语言,子泽认为中英文混杂没问题,但模拟外星语言较难,建议用有音色和吐字韵律信息的音频作参考,输入类似 “哔哩歪比、巴卜” 的文字,再通过后期加速、减速、变调等方式处理。 ▪ 气声实现:对于表演中对气声的要求,子泽建议在情感参考音频中提供气声音频,通过调整情感权重参数微调。 ◦ 硬件部署问题 ▪ GPU 调用与安装问题:针对目前存在调用 GPU 较少的问题,思毅表示关注较少,可查看 TTSR 的生态,可能有开源开发者共创解决;对于 Mac 系统英特尔芯片安装失败的问题,建议在开源社区提单子,后续确认 Mac 系统能否安装。 ▪ 显卡支持问题:子泽解答,index TTS2 对显卡的要求是显存 12GB 及以上,与显卡代数无关,目前只支持 n 卡,a 卡和英特尔的卡暂不支持。 ▪ GPU 调用与安装问题:针对目前存在调用 GPU 较少的问题,思毅表示关注较少,可查看 TTSR 的生态,可能有开源开发者共创解决;对于 Mac 系统英特尔芯片安装失败的问题,建议在开源社区提单子,后续确认 Mac 系统能否安装。 ▪ 显卡支持问题:子泽解答,index TTS2 对显卡的要求是显存 12GB 及以上,与显卡代数无关,目前只支持 n 卡,a 卡和英特尔的卡暂不支持。 ◦ 语言支持问题 ▪ 口音与方言支持:思毅表示,对于不同口音,可通过调节情绪参考音频来实现细微调节;对于方言,与普通话接近的如北京话、东北话等可通过调节韵律实现,粤语、吴语等差距较大的方言目前无法支持。 ▪ 多语言混合支持:目前 index TTS2 只支持中文和英文混合,未来支持其他语言后,所有支持的语言都可混合。 ▪ 口音与方言支持:思毅表示,对于不同口音,可通过调节情绪参考音频来实现细微调节;对于方言,与普通话接近的如北京话、东北话等可通过调节韵律实现,粤语、吴语等差距较大的方言目前无法支持。 ▪ 多语言混合支持:目前 index TTS2 只支持中文和英文混合,未来支持其他语言后,所有支持的语言都可混合。 ◦ 其他问题 ▪ 商业版权问题:子泽强调,商用作品使用真人样音需要真人授权,关于模型推理出来的音频的商用问题,可到 GitHub 查看主页的法律介绍。 ▪ 时长控制问题:思毅补充,模型的时长控制是句级别的,无法做到字级别的控制,若有明显的字级控制要求,可能需靠后期剪辑。 ▪ 音频生成时长问题:思毅称,目前模型 150 个字左右的生成比较 ok,训练时主要用 30 秒以内的音频,长文本合成可通过长句拆短句实现。 ▪ 笑声哭声生成问题:子泽建议,生成自然的笑声和哭声时,最好提供有相应情绪的参考音频。 ▪ 自定义标签与声音微调问题:思毅表示,目前模型不支持自定义标签,有相关计划在未来迭代中支持;开源的只有推理代码,若需要声音微调,可能需自己写代码。 ▪ 模型版本问题:对于 8G 版本,思毅称可能是热心网友做了量化或加速,基于开源模型整合而成,但具体优化操作不太清楚。子泽推荐大家可查看秋芝 up 主关于 index TTS2 的介绍视频。 ▪ 拼音输入功能:子泽演示,遇到生僻字或发音问题时,可将字转换成拼音(字母后加数字表示声调,两个拼音间加空格)输入,模型能正确发音。 ▪ 商业版权问题:子泽强调,商用作品使用真人样音需要真人授权,关于模型推理出来的音频的商用问题,可到 GitHub 查看主页的法律介绍。 ▪ 时长控制问题:思毅补充,模型的时长控制是句级别的,无法做到字级别的控制,若有明显的字级控制要求,可能需靠后期剪辑。 ▪ 音频生成时长问题:思毅称,目前模型 150 个字左右的生成比较 ok,训练时主要用 30 秒以内的音频,长文本合成可通过长句拆短句实现。 ▪ 笑声哭声生成问题:子泽建议,生成自然的笑声和哭声时,最好提供有相应情绪的参考音频。 ▪ 自定义标签与声音微调问题:思毅表示,目前模型不支持自定义标签,有相关计划在未来迭代中支持;开源的只有推理代码,若需要声音微调,可能需自己写代码。 ▪ 模型版本问题:对于 8G 版本,思毅称可能是热心网友做了量化或加速,基于开源模型整合而成,但具体优化操作不太清楚。子泽推荐大家可查看秋芝 up 主关于 index TTS2 的介绍视频。 ▪ 拼音输入功能:子泽演示,遇到生僻字或发音问题时,可将字转换成拼音(字母后加数字表示声调,两个拼音间加空格)输入,模型能正确发音。 待办 配音效果实践:实践通过时长控制功能卡口型及画面点位对轨,利用标点符号控制长句节奏,完成后与团队展开讨论 user 4426 安装问题跟进:确认 Mac 系统英特尔芯片安装失败,提示 touch 版本