CrabNote螃蟹笔记

谁是最强开源TTS?9款主流开源TTS大测评

谁是最强开源TTS?9款主流开源TTS大测评

谁是最强开源TTS?9款主流开源TTS大测评 谁是最强开源TTS?9款主流开源TTS大测评 Modified January 30 F5 TTS F5 多音字 F5 数字 F5 绕口令 fish speech fish 多音字 fish 数字 fish 绕口令 Spark TTS spark 多音字 spark 数字 spark 绕口令 Kokoro TTS kokoro 多音字 推理失败 kokoro 绕口令 Index TTS 7d5ef1d9 6772 4bc0 9b78 b30b56 银行行长重走长征路发现重量级重复数据需 7d5ef1d9 baebdca3 7f11 46b8 aac7 efbba0 2023年10月15日我买了20盒月饼 baebdca3 7572cf43 a641 4a73 a1c0 03cafc 牛郎恋刘娘刘娘念牛郎牛郎年年恋刘娘 7572cf43 MegaTTS3 megatts 多音字 megatts 数字 megatts 绕口令 Step Audio EditX 克隆 emotion angry 克隆 style whisper 克隆 style act coy • 多音字:gptsovits、MegaTTS出现一处错误(多抽卡应该可以避免),cosyvoice与spark tts全对,f5 tts很拉胯,fish speech出现几处错误,index tts全对(即使不对,可以用拼音标注正确读音),但是断句可能需要微调。 • 数字:gptsovits数字都念对了,但出现了吞字。cosyvoice、MegaTTS、indextts均出现一处错误(G1260),f5 tts很拉胯,spark tts错误很多,fish speech全对。 • 绕口令:gptsovits在后半段出现断句错误。cosyvoice最后出现一处错误。f5 tts与spark tts全对,fish speech没顶住压力测试鬼畜起来了,index tts、MegaTTS表现完美。 • Step Audio EditX 在音色克隆模式下表现都还不错,部分地方会出错,但是编辑模式问题比较大。 10. 混合压力测试 语气助词、口癖、气口音、结巴等人类独有的东西,图灵测试的又一个里程碑 参考音频 什么是你眼中的大庆?是一缕金光,唤醒沉睡万年的大地。 Unable to preview. Please download the file. 素材来源 B站:BV14H4y1Q7LA 输入文本 那、那个…呃…各位听好了哈!这——这个方案嘛——啊嚏!其实、其实就就就是…把把把数据导到云、云端对吧?哎哟喂!可是…第3页的的的折线图它它它突然就…跟预期差差差老鼻子远了!要、要不咱们先…在在在周五前重新跑跑跑一遍模型?啧,这这这玩意儿真真真是…要了亲命了! GPT SoVITS gptsovits 语气词 Unable to preview. Please download the file. CosyVoice output (28) Unable to preview. Please download the file. F5 TTS F5 语气词 Unable to preview. Please download the file. fish speech fish 语气词 Unable to preview. Please download the file. Spark TTS spark 语气词 Unable to preview. Please download the file. Kokoro TTS kokoro 语气词 Unable to preview. Please download the file. Index TTS 7b50346b 3f7c 4f91 af51 866a51 那那个呃各位听好了哈这这个方 7b50346b Unable to preview. Please download the file. MegaTTS3 megatts 语气词 Unable to preview. Please download the file. Step Audio EditX 克隆 Unable to preview. Please download the file. 副语言 Unable to preview. Please download the file. • gptsovits在部分语气助词上拉了胯,并且出现了严重的吞字问题。cosyvoice、spark tts和MegaTTS表现惊艳。f5 tts和fish speech应该是缺少语气词方面的训练数据,所以几乎识别不到语气词。index tts 2表现惊艳。Step Audio EditX 推荐搭配使用副语言模式(paralinguistic)更加自然。 • Cosyvoice 3.0 0.5B 测试副语言: Code block Plain Text 那、那个…呃…各位听好了哈![cough]这——这个方案嘛——啊嚏![laughter]其实、其实就就就是…把把把数据导到云、云端对吧?[breath]哎哟喂!可是…第3页的的的折线图它它它突然就…跟预期差差差老鼻子远了!要、要不咱们先…在在在周五前重新跑跑跑一遍模型?[sigh]啧,这这这玩意儿真真真是…要了亲命了![laughter] 使用TTS可以做哪些好玩的 1. 接入开源阅读软件,让喜欢的CV给自己读小说 2. 接入小酒馆(SillyTavern),捏一个可语音对话的赛博伴侣 3. 微调一个你们那的方言模型 4. 为短片/游戏中的人物配音 5. 数字人,数字孪生 F5 TTS F5 多音字 F5 数字 F5 绕口令 F5 TTS F5 TTS F5 多音字 F5 多音字 F5 多音字 F5 数字 F5 数字 F5 数字 F5 绕口令 F5 绕口令 F5 绕口令 fish speech fish 多音字 fish 数字 fish 绕口令 fish speech fish speech fish 多音字 fish 多音字 fish 多音字 fish 数字 fish 数字 fish 数字 fish 绕口令 fish 绕口令 fish 绕口令 Spark TTS spark 多音字 spark 数字 spark 绕口令 Spark TTS Spark TTS spark 多音字 spark 多音字 spark 多音字 spark 数字 spark 数字 spark 数字 spark 绕口令 spark 绕口令 spark 绕口令 Kokoro TTS kokoro 多音字 推理失败 kokoro 绕口令 Kokoro TTS Kokoro TTS kokoro 多音字 kokoro 多音字 kokoro 多音字 推理失败 推理失败 kokoro 绕口令 kokoro 绕口令 kokoro 绕口令 Index TTS 7d5ef1d9 6772 4bc0 9b78 b30b56 银行行长重走长征路发现重量级重复数据需 7d5ef1d9 baebdca3 7f11 46b8 aac7 efbba0 2023年10月15日我买了20盒月饼 baebdca3 7572cf43 a641 4a73 a1c0 03cafc 牛郎恋刘娘刘娘念牛郎牛郎年年恋刘娘 7572cf43 Index TTS Index TTS 7d5ef1d9 6772 4bc0 9b78 b30b56 银行行长重走长征路发现重量级重复数据需 7d5ef1d9 7d5ef1d9 6772 4bc0 9b78 b30b56 银行行长重走长征路发现重量级重复数据需 7d5ef1d9 7d5ef1d9 6772 4bc0 9b78 b30b56 银行行长重走长征路发现重量级重复数据需 7d5ef1d9 baebdca3 7f11 46b8 aac7 efbba0 2023年10月15日我买了20盒月饼 baebdca3 baebdca3 7f11 46b8 aac7 efbba0 2023年10月15日我买了20盒月饼 baebdca3 baebdca3 7f11 46b8 aac7 efbba0 2023年10月15日我买了20盒月饼 baebdca3 7572cf43 a641 4a73 a1c0 03cafc 牛郎恋刘娘刘娘念牛郎牛郎年年恋刘娘 7572cf43 7572cf43 a641 4a73 a1c0 03cafc 牛郎恋刘娘刘娘念牛郎牛郎年年恋刘娘 7572cf43 7572cf43 a641 4a73 a1c0 03cafc 牛郎恋刘娘刘娘念牛郎牛郎年年恋刘娘 7572cf43 MegaTTS3 megatts 多音字 megatts 数字 megatts 绕口令 MegaTTS3 MegaTTS3 megatts 多音字 megatts 多音字 megatts 多音字 megatts 数字 megatts 数字 megatts 数字 megatts 绕口令 megatts 绕口令 megatts 绕口令 Step Audio EditX 克隆 emotion angry 克隆 style whisper 克隆 style act coy Step Audio EditX Step Audio EditX 克隆 emotion angry 克隆 克隆 emotion angry emotion angry 克隆 style whisper 克隆 克隆 style whisper style whisper 克隆 style act coy 克隆 克隆 style act coy style act coy • 多音字:gptsovits、MegaTTS出现一处错误(多抽卡应该可以避免),cosyvoice与spark tts全对,f5 tts很拉胯,fish speech出现几处错误,index tts全对(即使不对,可以用拼音标注正确读音),但是断句可能需要微调。 • 数字:gptsovits数字都念对了,但出现了吞字。cosyvoice、MegaTTS、indextts均出现一处错误(G1260),f5 tts很拉胯,spark tts错误很多,fish speech全对。 • 绕口令:gptsovits在后半段出现断句错误。cosyvoice最后出现一处错误。f5 tts与spark tts全对,fish speech没顶住压力测试鬼畜起来了,index tts、MegaTTS表现完美。 • Step Audio EditX 在音色克隆模式下表现都还不错,部分地方会出错,但是编辑模式问题比较大。 10. 混合压力测试 语气助词、口癖、气口音、结巴等人类独有的东西,图灵测试的又一个里程碑 语气助词、口癖、气口音、结巴等人类独有的东西,图灵测试的又一个里程碑 参考音频 什么是你眼中的大庆?是一缕金光,唤醒沉睡万年的大地。 Unable to preview. Please download the file. 参考音频 参考音频 什么是你眼中的大庆?是一缕金光,唤醒沉睡万年的大地。 Unable to preview. Please download the file. 什么是你眼中的大庆?是一缕金光,唤醒沉睡万年的大地。 Unable to preview. Please download the file. 什么是你眼中的大庆?是一缕金光,唤醒沉睡万年的大地。 Unable to preview. Please download the file. 素材来源 B站:BV14H4y1Q7LA 素材来源 素材来源 B站:BV14H4y1Q7LA B站:BV14H4y1Q7LA 输入文本 那、那个…呃…各位听好了哈!这——这个方案嘛——啊嚏!其实、其实就就就是…把把把数据导到云、云端对吧?哎哟喂!可是…第3页的的的折线图它它它突然就…跟预期差差差老鼻子远了!要、要不咱们先…在在在周五前重新跑跑跑一遍模型?啧,这这这玩意儿真真真是…要了亲命了! 输入文本 输入文本 那、那个…呃…各位听好了哈!这——这个方案嘛——啊嚏!其实、其实就就就是…把把把数据导到云、云端对吧?哎哟喂!可是…第3页的的的折线图它它它突然就…跟预期差差差老鼻子远了!要、要不咱们先…在在在周五前重新跑跑跑一遍模型?啧,这这这玩意儿真真真是…要了亲命了! 那、那个…呃…各位听好了哈!这——这个方案嘛——啊嚏!其实、其实就就就是…把把把数据导到云、云端对吧?哎哟喂!可是…第3页的的的折线图它它它突然就…跟预期差差差老鼻子远了!要、要不咱们先…在在在周五前重新跑跑跑一遍模型?啧,这这这玩意儿真真真是…要了亲命了! GPT SoVITS gptsovits 语气词 Unable to preview. Please download the file. GPT SoVITS GPT SoVITS gptsovits 语气词 Unable to preview. Please download the file. gptsovits 语气词 Unable to preview. Please download the file. gptsovits 语气词 Unable to preview. Please download the file. CosyVoice output (28) Unable to preview. Please download the file. CosyVoice CosyVoice output (28) Unable to preview. Please download the file. output (28) Unable to preview. Please download the file. output (28) Unable to preview. Please download the file. F5 TTS F5 语气词 Unable to preview. Please download the file. F5 TTS F5 TTS F5 语气词 Unable to preview. Please download the file. F5 语气词 Unable to preview. Please download the file. F5 语气词 Unable to preview. Please download the file. fish speech fish 语气词 Unable to preview. Please download the file. fish speech fish speech fish 语气词 Unable to preview. Please download the file. fish 语气词 Unable to preview. Please download the file. fish 语气词 Unable to preview. Please download the file. Spark TTS spark 语气词 Unable to preview. Please download the file. Spark TTS Spark TTS spark 语气词 Unable to preview. Please download the file. spark 语气词 Unable to preview. Please download the file. spark 语气词 Unable to preview. Please download the file. Kokoro TTS kokoro 语气词 Unable to preview. Please download the file. Kokoro TTS Kokoro TTS kokoro 语气词 Unable to preview. Please download the file. kokoro 语气词 Unable to preview. Please download the file. kokoro 语气词 Unable to preview. Please download the file. Index TTS 7b50346b 3f7c 4f91 af51 866a51 那那个呃各位听好了哈这这个方 7b50346b Unable to preview. Please download the file. Index TTS Index TTS 7b50346b 3f7c 4f91 af51 866a51 那那个呃各位听好了哈这这个方 7b50346b Unable to preview. Please download the file. 7b50346b 3f7c 4f91 af51 866a51 那那个呃各位听好了哈这这个方 7b50346b Unable to preview. Please download the file. 7b50346b 3f7c 4f91 af51 866a51 那那个呃各位听好了哈这这个方 7b50346b Unable to preview. Please download the file. MegaTTS3 megatts 语气词 Unable to preview. Please download the file. MegaTTS3 MegaTTS3 megatts 语气词 Unable to preview. Please download the file. megatts 语气词 Unable to preview. Please download the file. megatts 语气词 Unable to preview. Please download the file. Step Audio EditX 克隆 Unable to preview. Please download the file. 副语言 Unable to preview. Please download the file. Step Audio EditX Step Audio EditX 克隆 Unable to preview. Please download the file. 副语言 Unable to preview. Please download the file. 克隆 Unable to preview. Please download the file. 克隆 Unable to preview. Please download the file. 副语言 Unable to preview. Please download the file. 副语言 Unable to preview. Please download the file. • gptsovits在部分语气助词上拉了胯,并且出现了严重的吞字问题。cosyvoice、spark tts和MegaTTS表现惊艳。f5 tts和fish speech应该是缺少语气词方面的训练数据,所以几乎识别不到语气词。index tts 2表现惊艳。Step Audio EditX 推荐搭配使用副语言模式(paralinguistic)更加自然。 • Cosyvoice 3.0 0.5B 测试副语言: 使用TTS可以做哪些好玩的 1. 接入开源阅读软件,让喜欢的CV给自己读小说 2. 接入小酒馆(SillyTavern),捏一个可语音对话的赛博伴侣 3. 微调一个你们那的方言模型 4. 为短片/游戏中的人物配音 5. 数字人,数字孪生 🏝️ 我是 user 2545 ,作为一个声控,TTS(文本转语音)技术是我自2023年来一直特别关注的一个方向,得益于开源社区的日益壮大,近两年越来越多优秀的TTS开源项目和产品进入了我们的视野,但与此同时也增加了我们的选择困难。我对AI工具的选择始终坚持着一个原则:只用那1 2个最好的,或者说最适合自己的。这些TTS各自有什么优劣势?适用于哪些场景?了解这些,我们才能最终做出选择。 今天我就针对目前主流的8款优秀的开源TTS做一个(相对)全面的测评,先叠个buff😁,我不是技术出身,测评可能不够专业和严谨,但作为一个高强度(几乎每天)使用TTS的用户,我会从完全客观中立的视角,以实用主义为原则,带你全面认识它们,话不多说,Let's ROCK!🤘 ❗声明:测评中使用的参考音频仅为测试开源TTS效果使用,本人承诺没有任何盈利性质,并且均标注了素材来源,部分来源不详,欢迎补充告知。若声音来源方介意,请联系我删除。 我是 user 2545 ,作为一个声控,TTS(文本转语音)技术是我自2023年来一直特别关注的一个方向,得益于开源社区的日益壮大,近两年越来越多优秀的TTS开源项目和产品进入了我们的视野,但与此同时也增加了我们的选择困难。我对AI工具的选择始终坚持着一个原则:只用那1 2个最好的,或者说最适合自己的。这些TTS各自有什么优劣势?适用于哪些场景?了解这些,我们才能最终做出选择。 今天我就针对目前主流的8款优秀的开源TTS做一个(相对)全面的测评,先叠个buff😁,我不是技术出身,测评可能不够专业和严谨,但作为一个高强度(几乎每天)使用TTS的用户,我会从完全客观中立的视角,以实用主义为原则,带你全面认识它们,话不多说,Let's ROCK!🤘 ❗声明:测评中使用的参考音频仅为测试开源TTS效果使用,本人承诺没有任何盈利性质,并且均标注了素材来源,部分来源不详,欢迎补充告知。若声音来源方介意,请联系我删除。 ❗声明:测评中使用的参考音频仅为测试开源TTS效果使用,本人承诺没有任何盈利性质,并且均标注了素材来源,部分来源不详,欢迎补充告知。若声音来源方介意,请联系我删除。 📢 持续更新计划 • 开源TTS的迭代速度很快,为了确保测评内容不过时,本文会持续更新!!! • 如果您想对测评内容提出建议,或希望增加更多的项目,请直接在本文底部评论区留言。 • 我平时还有全职工作,更新不易,如有不周,请多谅解! • 如果觉得本文对您有用,请您在本文底部点个赞👍,或转发给感兴趣的朋友,多谢您的支持! ℹ️ 更新日志 ✅ 2025.12.17 • 加入 Fun CosyVoice 3.0 0.5B 测试结果、项目介绍 ✅ 2025.11.16 • 加入 Step Audio EditX 测试结果、项目介绍及使用 tips ✅ 2025.09.09 • 更新 index TTS 2 测试结果及项目介绍 ✅2025.05.31 • 更新 index TTS 1.5 测试结果 ✅2025.04.10 • 加入 MegaTTS3 测试结果、项目介绍 TTS专业术语 开始之前,先介绍几个关于TTS的专业术语,可以帮你更好地理解和使用TTS,当然也可以选择不看,对本文的测评影响不大: • TTS:Text To Speech,即文本转语音 • 预训练模型:是指在大规模数据集上预先训练好的模型,通常用于学习通用的语言特征或语音特征。它可以在后续任务中被微调或直接使用 • 微调模型:在预训练模型的基础上,针对特定数据集进行进一步训练出的模型,以获得特定说话人的特征 • Zero Shot:即零样本,在TTS中,是指不微调,用户仅需上传一段参考音频,推理出预训练数据集中不存在的说话人音色、情绪、风格等 • top k:从模型输出的概率分布中选择概率最高的k个选项,然后从中随机选择一个作为结果。它用于控制生成的多样性和稳定性。 • top p:选择累积概率达到某个阈值p的最小选项集合,然后从中随机选择。它比Top k更灵活,能更好地平衡多样性和质量。 • temperature:可以理解为温度,温度越高,生成结果越随机、越多样化;温度越低,生成结果越稳定 • TTS:Text To Speech,即文本转语音 • 预训练模型:是指在大规模数据集上预先训练好的模型,通常用于学习通用的语言特征或语音特征。它可以在后续任务中被微调或直接使用 • 微调模型:在预训练模型的基础上,针对特定数据集进行进一步训练出的模型,以获得特定说话人的特征 • Zero Shot:即零样本,在TTS中,是指不微调,用户仅需上传一段参考音频,推理出预训练数据集中不存在的说话人音色、情绪、风格等 • top k:从模型输出的概率分布中选择概率最高的k个选项,然后从中随机选择一个作为结果。它用于控制生成的多样性和稳定性。 • top p:选择累积概率达到某个阈值p的最小选项集合,然后从中随机选择。它比Top k更灵活,能更好地平衡多样性和质量。 • temperature:可以理解为温度,温度越高,生成结果越随机、越多样化;温度越低,生成结果越稳定 测评模型介绍 本次参与测评的有9个项目(排序不分先后,向这些开发者致敬🖖) 1. GPT SoVITS 项目地址:https://github.com/RVC Boss/GPT SoVITS 版本:V3 开发者:花佬,B站ID:花儿不哭 斗胆锐评:我开源TTS的领路人,极高的可玩性,3 10秒音频零样本克隆,1分钟数据集即可训练微调模型,支持中/粤/韩/日/英跨语种推理,最新V3的GPT训练集时长7K小时,增加支持并行推理。 斗胆锐评:我开源TTS的领路人,极高的可玩性,3 10秒音频零样本克隆,1分钟数据集即可训练微调模型,支持中/粤/韩/日/英跨语种推理,最新V3的GPT训练集时长7K小时,增加支持并行推理。 2. Fun CosyVoice 项目地址:https://github.com/FunAudioLLM/CosyVoice 版本:3.0 0.5B 开发者:阿里巴巴通义实验室语音团队 斗胆锐评:Fun CosyVoice 3.0 是一个基于大语言模型(LLM)的先进文本转语音(TTS)系统,在内容一致性、说话人相似性和韵律自然度方面超越了其前身(CosyVoice 2.0)。它专为自然场景中的零样本多语言语音合成而设计。 • 支持中文拼音和英文 CMU 音素的发音修复。 • 支持文本输入流和音频输出流,同时实现低至 150 毫秒的延迟。 • 支持读取数字、特殊符号和多种文本格式。 • 涵盖 9 种常用语言(中文、英语、日语、韩语、德语、西班牙语、法语、意大利语、俄语)。18 种以上的中文方言/口音(广东、闽南、四川、东北、山西、陕西、上海、天津、山东、宁夏、甘肃等)。 • 支持多种指令,如语言、方言、情绪、速度、音量等。 斗胆锐评:Fun CosyVoice 3.0 是一个基于大语言模型(LLM)的先进文本转语音(TTS)系统,在内容一致性、说话人相似性和韵律自然度方面超越了其前身(CosyVoice 2.0)。它专为自然场景中的零样本多语言语音合成而设计。 • 支持中文拼音和英文 CMU 音素的发音修复。 • 支持文本输入流和音频输出流,同时实现低至 150 毫秒的延迟。 • 支持读取数字、特殊符号和多种文本格式。 • 涵盖 9 种常用语言(中文、英语、日语、韩语、德语、西班牙语、法语、意大利语、俄语)。18 种以上的中文方言/口音(广东、闽南、四川、东北、山西、陕西、上海、天津、山东、宁夏、甘肃等)。 • 支持多种指令,如语言、方言、情绪、速度、音量等。 3. F5 TTS 项目地址:https://github.com/SWivid/F5 TTS 版本:V1 开发者:上海交通大学、剑桥大学和吉利汽车研究院(宁波)有限公司 斗胆锐评:优秀的音色克隆和音质,支持微调,可并行批量推理,推理速度较快,但是很可惜只支持中/英,复杂情感和语调自然度相对较弱,为了更好地使用可以仔细阅读一下官方指南。 官方指南 斗胆锐评:优秀的音色克隆和音质,支持微调,可并行批量推理,推理速度较快,但是很可惜只支持中/英,复杂情感和语调自然度相对较弱,为了更好地使用可以仔细阅读一下官方指南。 官方指南 4. MegaTTS3 项目地址:https://github.com/bytedance/MegaTTS3 版本: 开发者:字节跳动 斗胆锐评:只有0.45B参数的超轻量级模型,支持零样本声音克隆和中英双语,对极端/强烈的情绪也能很好地还原。特色是可以调节口音强度,还可以用来生成具有韵律的说唱。但是声音克隆的参考音频必须先上传至官方网盘,由官方审核npy文件后才能使用。 官方网盘 斗胆锐评:只有0.45B参数的超轻量级模型,支持零样本声音克隆和中英双语,对极端/强烈的情绪也能很好地还原。特色是可以调节口音强度,还可以用来生成具有韵律的说唱。但是声音克隆的参考音频必须先上传至官方网盘,由官方审核npy文件后才能使用。 官方网盘 5. Spark TTS 项目地址:https://github.com/SparkAudio/Spark TTS 版本: 开发者:SparkAudio 斗胆锐评:基于 Qwen2.5 微调,参数量只有0.5B,不错的零样本声音克隆,对文本情绪有不错的表现力,支持多种语言的跨语种推理。 斗胆锐评:基于 Qwen2.5 微调,参数量只有0.5B,不错的零样本声音克隆,对文本情绪有不错的表现力,支持多种语言的跨语种推理。 6. Kokoro TTS 项目地址:https://huggingface.co/hexgrad/Kokoro 82M 版本:V1.1 开发者:hexgrad 斗胆锐评:参数量仅0.082B的超轻量模型,推理速度接近实时,暂未公布训练方法,不支持声音克隆。抱脸的demo页内置了多种音色 demo页 斗胆锐评:参数量仅0.082B的超轻量模型,推理速度接近实时,暂未公布训练方法,不支持声音克隆。抱脸的demo页内置了多种音色 demo页 7. fish speech 项目地址:https://github.com/fishaudio/fish speech 版本:1.5 开发者:fishaudio/冷月大神,B站ID:冷月2333 斗胆锐评:不错的推理速度和零样本声音克隆效果,支持多种语言:英语、日语、韩语、中文、法语、德语、阿拉伯语和西班牙语。在官方的SDK、API 或 Playground中,可以实现细粒度的控制,比如特定单词/汉字的发音、语气词、停顿等,详见官方指南 官方指南 斗胆锐评:不错的推理速度和零样本声音克隆效果,支持多种语言:英语、日语、韩语、中文、法语、德语、阿拉伯语和西班牙语。在官方的SDK、API 或 Playground中,可以实现细粒度的控制,比如特定单词/汉字的发音、语气词、停顿等,详见官方指南 官方指南 8. index tts 项目地址:https://github.com/index tts/index tts 版本:2 开发者:Bilibili 斗胆锐评:IndexTTS2 通过多种输入模态启用了情感可控能力,实现了情感表达和说话人身份的解耦,使得音色和情感可以独立控制。另外提供精确合成时长控制的自回归 TTS 模型,支持可控和不可控模式(尚未启用)。IndexTTS2 在词错误率、说话人相似度和情感保真度方面优于最先进的零样本 TTS 模型。 斗胆锐评:IndexTTS2 通过多种输入模态启用了情感可控能力,实现了情感表达和说话人身份的解耦,使得音色和情感可以独立控制。另外提供精确合成时长控制的自回归 TTS 模型,支持可控和不可控模式(尚未启用)。IndexTTS2 在词错误率、说话人相似度和情感保真度方面优于最先进的零样本 TTS 模型。 9. Step Audio EditX 项目地址:https://github.com/stepfun ai/Step Audio EditX 版本: 开发者:stepfun ai(阶跃星辰) 斗胆锐评:Step Audio EditX不仅是一个3B参数的TTS(文本转语音)模型,它更是一个强大的基于大语言模型的强化学习音频编辑模型,专门用于表达性和迭代性音频编辑,擅长编辑情感、说话风格和副语言。后续计划逐步开放以下功能:多音节发音控制,更多副语言标签([咳嗽, 哭泣, 压力等]),填充词移除。不过由于暂未支持VLLM,所以生成速度较慢。官方demo 官方demo 下面,我将使用这9个项目,分别测试以下10个方向的表现,无所不用其极地刁难AI 1. 音色克隆:使用同一段参考音频,比较音色相似度以及稳定性。 2. 多情感:测试开心、恐惧、厌恶、愤怒、悲伤等情绪的表现力及可控性。 3. 极端情绪:如怒吼、尖叫、失声、口齿不清等。 4. 长文本:输入一段长文本,比较错字率及语感/抑扬顿挫的自然度。 5. 泛用性:这里是指在zero shot前提下,给定一段参考音频,输入文本为不同的情绪,看表现力如何。以及音质 较差的参考音频的推理效果等 6. 推理速度:比较同样硬件配置下的音频生成速度 7. 跨语种:给一段中文参考音频,输入文本为英文、日语、韩语等 8. 方言:参考音频为方言,测试粤语、闽南语、四川话、东北话、河南话 9. 多音字/数字/绕口令:不对发音微调的前提下,测试多音字、数字不同念法、绕口令的准确度 10. 混合压力测试:语气助词、口癖、气口音、结巴等 测评效果展示 1. 音色克隆 这将影响角色对话的一致性,以及对音色相似度有较高要求的应用场景,比如AI郭德纲相声 这将影响角色对话的一致性,以及对音色相似度有较高要求的应用场景,比如AI郭德纲相声 参考音频 古话说,天下大事,分久必合,合久必分 嗯毕竟第四年了,它不像第一年,第一年我们没有任何压力,没有任何负担。 儿子,你爸出门买酒去了。妈妈想跟你说,妈妈知道,你爱妈妈。 参考音频 参考音频 古话说,天下大事,分久必合,合久必分 古话说,天下大事,分久必合,合久必分 古话说,天下大事,分久必合,合久必分 嗯毕竟第四年了,它不像第一年,第一年我们没有任何压力,没有任何负担。 嗯毕竟第四年了,它不像第一年,第一年我们没有任何压力,没有任何负担。 嗯毕竟第四年了,它不像第一年,第一年我们没有任何压力,没有任何负担。 儿子,你爸出门买酒去了。妈妈想跟你说,妈妈知道,你爱妈妈。 儿子,你爸出门买酒去了。妈妈想跟你说,妈妈知道,你爱妈妈。 儿子,你爸出门买酒去了。妈妈想跟你说,妈妈知道,你爱妈妈。 素材来源 吴俊全 沈腾 步非烟 素材来源 素材来源 吴俊全 吴俊全 沈腾 沈腾 步非烟 步非烟 输入文本 混沌未分天地乱,茫茫渺渺无人见。自从盘古破鸿蒙,开辟从兹清浊辨。覆载群生仰至仁,发明万物皆成善。 我原本想整部电影一镜到底,是不是很大胆?就这个三体,就完全是质子视角,一镜到底。 人生下来的时候都只有一半,为了找到另一半而在人世间行走。有的人幸运,很快就找到了。而有人却要找一辈子。 输入文本 输入文本 混沌未分天地乱,茫茫渺渺无人见。自从盘古破鸿蒙,开辟从兹清浊辨。覆载群生仰至仁,发明万物皆成善。 混沌未分天地乱,茫茫渺渺无人见。自从盘古破鸿蒙,开辟从兹清浊辨。覆载群生仰至仁,发明万物皆成善。 我原本想整部电影一镜到底,是不是很大胆?就这个三体,就完全是质子视角,一镜到底。 我原本想整部电影一镜到底,是不是很大胆?就这个三体,就完全是质子视角,一镜到底。 人生下来的时候都只有一半,为了找到另一半而在人世间行走。有的人幸运,很快就找到了。而有人却要找一辈子。 人生下来的时候都只有一半,为了找到另一半而在人世间行走。有的人幸运,很快就找到了。而有人却要找一辈子。 GPT SoVITS gptsovits 音色克隆1 gptsovits 音色克隆 2 gptsovits 音色克隆 3 GPT SoVITS GPT SoVITS gptsovits 音色克隆1 gptsovits 音色克隆1 g