Stuart：免费 AI 真人语音入门： GPT-SoVITS + Bert-VITS2

Stuart：免费 AI 真人语音入门： GPT SoVITS + Bert VITS2 Stuart：免费 AI 真人语音入门： GPT SoVITS + Bert VITS2 两个项目提供的在线模型中均采用了很多网络红人的语音作为训练集。 本篇主要针对预训练好的模型进行讲解， 目的是让大家可以快速了解这两个 TTS 工具的能力， 感受它们生成语音的效果。 GPT SoVITS Bert VITS2 使用技巧 可变参数就是 AIGC 最有趣的地方， 语音生成也一样： 可变参数就是使用技巧。 1. 更换音色 🎵 一开始会感觉很简单， 就只是字生成语音， 能选的也就是不同的音色。 音色因为基于网络红人训练， 因此生成的语音音色会和对应的网络红人非常相像。 只要选择和自己需要非常接近的音色即可。 如果没有接近的音色， 也可以自己训练一个， 参考 WaytoAGI 的知识库： GPT SoVITS实现声音克隆 📚 但是真正准备开始用就会发现， 只改音色不够用了。 😓 我们真正说话， 或者配音的时候， 通常是边思考边说话， 因此经常带着一些口头禅， 类似 “嗯”， “啊”， 甚至更离谱的 “m3？” 😂 说话过程中有些重音， 停顿和一句手写语句也不全相同。 2. 口语化输入句子 💬 在我们的实战中， 我们有这么一句话： 我们要找你的主人, 他有什么特征吗 说话的角色是一只可可爱爱的小猫猫快递员。 我这里选择了“嘉然”的音色， 如果直接生成是以下效果： 我们要找你的主人, 他有什么特征吗 Audio or video is not supported 但是如果修改了输入的词， 加入口头禅， 加入一些停顿， 猫猫马上可爱感上升 100%。 我们要找, 额, 你的主人, 他..有什么特征吗？ Audio or video is not supported 比如最近微软因其真实感爆棚而爆火的语音， 仔细观察下输入的句子， 你会发现就用了这个技巧。 句子中有很多的 “嗯”， “呵呵” 这种在书面语中不太会出现的口头禅， 同时也会有更多的“，”来断句。 📚 到这里为止， 在线社区提供的 GPT SoVITS 的功能“似乎”都用尽了。 但是我们说话时， 经常会有情绪， 而这些情绪会体现在说话的语气和语速里。 比如愤怒的时候， 说话可能会卡壳， 可能会说的很快， 语调会很高。 3. 语气 + 语调 🐟 在 GPT SoVITS 里， 一种方式是多抽， 但是没有方法的多抽， 无异于海底捞针， 越抽越绝望。 这里意外发现 GPT SoVITS 的一种调整语气和语调的方式， 就是换参考音频： 比如这句话， 期望表现出愤怒💢的情绪： “你凭什么， 随便检查我的手机？” 以下是分别参考了两条不同语音带来的结果。 参考音频： 第一条亢奋， 第二条比较平静 其他无恶不作的不良人，我操，客为了哈哈！ Audio or video is not supported 你知道尔威香水多少钱吗？尔威香水两千多一瓶。 Audio or video is not supported 对应的生成结果： 生成效果， 第一条更接近愤怒💢的情绪。 你凭什么, 随便检查我的手机(3) Audio or video is not supported 你凭什么, 随便检查我的手机 Audio or video is not supported 在 Bert VITS2 里， 则不是以参考音频的方式， 而是提供了更多可玩的参数： 但是实测“情感调节”效果并不是很明显。 📚 到这里为止， 在线社区提供的 GPT SoVITS 的功能似乎都用尽了。 但是我们说话时， 经常会有情绪， 而这些情绪会体现在说话的语气和语速里。 4. 语速 ⏩ 在 GPT SoVITS 里， 比较难调整语速， 只能通过切换参考音频+抽卡的方式。 在 Bert VITS2 里， 语速快慢倒是很明显， 主要体现在 “生成长度”上， 以下是这个值为 0.5， 1， 和 1.5 的对比。 0.5 1 1.5 在剪辑工具里通过拉速度曲线， 也可以实现差不多的效果。 5. 重音 🏁 理论上， 生成出来的说话的重音， 会因为输入的语句的停顿点而发生变化， 但是在实际的测试里效果并不是特别明显。 目目前还没有什么办法能让特定的字符发出重音。 📚 其他好玩儿的。 6. 随机性 🫤 完全相同的参数， 生成结果也有些差别， 因此需要“抽卡”， 选觉得最合适的。 要求越高， 越难抽。 ⚠️ 注： 单个字很容易被忽略不发生 尽量减少单个字的断句。 你凭什么, 随便检查我的手机(2) Audio or video is not supported 你凭什么, 随便检查我的手机(1) Audio or video is not supported 7. 语言 🎢 如果用日语参考， 生成日语， 虽然听不懂， 但是很有趣， 可以拿去做点小游戏， 猜原文什么的： 早晨起来, 就能看到朝阳, 真开心!(日语) Audio or video is not supported 早晨起来, 就能看到朝阳, 真开心!(中) Audio or video is not supported 8. 效果不明确 这是在线社区提供的 Bert VITS2 2.3 特有的功能。 看起来像是为了提供类似 GPT SoVITS 的参考语句的方式来提供语气加成， 但是实测效果非常不明显也不稳定。 猜测可能需要预训练的语料库中也有同类语气的语音才行。 GPT SoVITS实现声音克隆 两个项目提供的在线模型中均采用了很多网络红人的语音作为训练集。 本篇主要针对预训练好的模型进行讲解， 目的是让大家可以快速了解这两个 TTS 工具的能力， 感受它们生成语音的效果。 GPT SoVITS Bert VITS2 GPT SoVITS GPT SoVITS Bert VITS2 Bert VITS2 使用技巧 可变参数就是 AIGC 最有趣的地方， 语音生成也一样： 可变参数就是使用技巧。 1. 更换音色 🎵 一开始会感觉很简单， 就只是字生成语音， 能选的也就是不同的音色。 音色因为基于网络红人训练， 因此生成的语音音色会和对应的网络红人非常相像。 只要选择和自己需要非常接近的音色即可。 如果没有接近的音色， 也可以自己训练一个， 参考 WaytoAGI 的知识库： GPT SoVITS实现声音克隆 GPT SoVITS实现声音克隆 📚 但是真正准备开始用就会发现， 只改音色不够用了。 😓 我们真正说话， 或者配音的时候， 通常是边思考边说话， 因此经常带着一些口头禅， 类似 “嗯”， “啊”， 甚至更离谱的 “m3？” 😂 说话过程中有些重音， 停顿和一句手写语句也不全相同。 但是真正准备开始用就会发现， 只改音色不够用了。 😓 我们真正说话， 或者配音的时候， 通常是边思考边说话， 因此经常带着一些口头禅， 类似 “嗯”， “啊”， 甚至更离谱的 “m3？” 😂 说话过程中有些重音， 停顿和一句手写语句也不全相同。 2. 口语化输入句子 💬 在我们的实战中， 我们有这么一句话： 我们要找你的主人, 他有什么特征吗 说话的角色是一只可可爱爱的小猫猫快递员。 我这里选择了“嘉然”的音色， 如果直接生成是以下效果： 我们要找你的主人, 他有什么特征吗 Audio or video is not supported 我们要找你的主人, 他有什么特征吗 Audio or video is not supported 但是如果修改了输入的词， 加入口头禅， 加入一些停顿， 猫猫马上可爱感上升 100%。 我们要找, 额, 你的主人, 他..有什么特征吗？ Audio or video is not supported 我们要找, 额, 你的主人, 他..有什么特征吗？ Audio or video is not supported 比如最近微软因其真实感爆棚而爆火的语音， 仔细观察下输入的句子， 你会发现就用了这个技巧。 句子中有很多的 “嗯”， “呵呵” 这种在书面语中不太会出现的口头禅， 同时也会有更多的“，”来断句。 📚 到这里为止， 在线社区提供的 GPT SoVITS 的功能“似乎”都用尽了。 但是我们说话时， 经常会有情绪， 而这些情绪会体现在说话的语气和语速里。 比如愤怒的时候， 说话可能会卡壳， 可能会说的很快， 语调会很高。 到这里为止， 在线社区提供的 GPT SoVITS 的功能“似乎”都用尽了。 但是我们说话时， 经常会有情绪， 而这些情绪会体现在说话的语气和语速里。 比如愤怒的时候， 说话可能会卡壳， 可能会说的很快， 语调会很高。 3. 语气 + 语调 🐟 在 GPT SoVITS 里， 一种方式是多抽， 但是没有方法的多抽， 无异于海底捞针， 越抽越绝望。 这里意外发现 GPT SoVITS 的一种调整语气和语调的方式， 就是换参考音频： 比如这句话， 期望表现出愤怒💢的情绪： “你凭什么， 随便检查我的手机？” 以下是分别参考了两条不同语音带来的结果。 参考音频： 第一条亢奋， 第二条比较平静 其他无恶不作的不良人，我操，客为了哈哈！ Audio or video is not supported 你知道尔威香水多少钱吗？尔威香水两千多一瓶。 Audio or video is not supported 其他无恶不作的不良人，我操，客为了哈哈！ Audio or video is not supported 其他无恶不作的不良人，我操，客为了哈哈！ Audio or video is not supported 其他无恶不作的不良人，我操，客为了哈哈！ Audio or video is not supported 你知道尔威香水多少钱吗？尔威香水两千多一瓶。 Audio or video is not supported 你知道尔威香水多少钱吗？尔威香水两千多一瓶。 Audio or video is not supported 你知道尔威香水多少钱吗？尔威香水两千多一瓶。 Audio or video is not supported 对应的生成结果： 生成效果， 第一条更接近愤怒💢的情绪。 你凭什么, 随便检查我的手机(3) Audio or video is not supported 你凭什么, 随便检查我的手机 Audio or video is not supported 你凭什么, 随便检查我的手机(3) Audio or video is not supported 你凭什么, 随便检查我的手机(3) Audio or video is not supported 你凭什么, 随便检查我的手机(3) Audio or video is not supported 你凭什么, 随便检查我的手机 Audio or video is not supported 你凭什么, 随便检查我的手机 Audio or video is not supported 你凭什么, 随便检查我的手机 Audio or video is not supported 在 Bert VITS2 里， 则不是以参考音频的方式， 而是提供了更多可玩的参数： 但是实测“情感调节”效果并不是很明显。 📚 到这里为止， 在线社区提供的 GPT SoVITS 的功能似乎都用尽了。 但是我们说话时， 经常会有情绪， 而这些情绪会体现在说话的语气和语速里。 到这里为止， 在线社区提供的 GPT SoVITS 的功能似乎都用尽了。 但是我们说话时， 经常会有情绪， 而这些情绪会体现在说话的语气和语速里。 4. 语速 ⏩ 在 GPT SoVITS 里， 比较难调整语速， 只能通过切换参考音频+抽卡的方式。 在 Bert VITS2 里， 语速快慢倒是很明显， 主要体现在 “生成长度”上， 以下是这个值为 0.5， 1， 和 1.5 的对比。 0.5 1 1.5 0.5 0.5 0.5 1 1 1 1.5 1.5 1.5 在剪辑工具里通过拉速度曲线， 也可以实现差不多的效果。 5. 重音 🏁 理论上， 生成出来的说话的重音， 会因为输入的语句的停顿点而发生变化， 但是在实际的测试里效果并不是特别明显。 目目前还没有什么办法能让特定的字符发出重音。 📚 其他好玩儿的。 其他好玩儿的。 6. 随机性 🫤 完全相同的参数， 生成结果也有些差别， 因此需要“抽卡”， 选觉得最合适的。 要求越高， 越难抽。 ⚠️ 注： 单个字很容易被忽略不发生 尽量减少单个字的断句。 你凭什么, 随便检查我的手机(2) Audio or video is not supported 你凭什么, 随便检查我的手机(1) Audio or video is not supported 你凭什么, 随便检查我的手机(2) Audio or video is not supported 你凭什么, 随便检查我的手机(2) Audio or video is not supported 你凭什么, 随便检查我的手机(2) Audio or video is not supported 你凭什么, 随便检查我的手机(1) Audio or video is not supported 你凭什么, 随便检查我的手机(1) Audio or video is not supported 你凭什么, 随便检查我的手机(1) Audio or video is not supported 7. 语言 🎢 如果用日语参考， 生成日语， 虽然听不懂， 但是很有趣， 可以拿去做点小游戏， 猜原文什么的： 早晨起来, 就能看到朝阳, 真开心!(日语) Audio or video is not supported 早晨起来, 就能看到朝阳, 真开心!(日语) Audio or video is not supported 早晨起来, 就能看到朝阳, 真开心!(中) Audio or video is not supported 早晨起来, 就能看到朝阳, 真开心!(中) Audio or video is not supported 8. 效果不明确 这是在线社区提供的 Bert VITS2 2.3 特有的功能。 看起来像是为了提供类似 GPT SoVITS 的参考语句的方式来提供语气加成， 但是实测效果非常不明显也不稳定。 猜测可能需要预训练的语料库中也有同类语气的语音才行。 📚 实践源于 WaytoAGI 社区“离谱村黑客松”实践学习， 这是我们杭州代表队， 两天赶工交的 AI 视频作业 【《玲珑猫》 离谱视频切磋大会】 所有视频中的语音全是 AI 生成。 实践中采用了 2 个开源模型， GPT SoVITS + Bert VITS2， 提供的在线生成模型均已达到商用标准。 • GPT SoVITS 在线一键语音生成合集（Xz 乔希） • Bert VITS2 在线一键语音生成合集（Xz 乔希） 《玲珑猫》 离谱视频切磋大会】 GPT SoVITS 在线一键语音生成合集（Xz 乔希） Bert VITS2 在线一键语音生成合集（Xz 乔希） 实践源于 WaytoAGI 社区“离谱村黑客松”实践学习， 这是我们杭州代表队， 两天赶工交的 AI 视频作业 【《玲珑猫》 离谱视频切磋大会】 所有视频中的语音全是 AI 生成。 《玲珑猫》 离谱视频切磋大会】 实践中采用了 2 个开源模型， GPT SoVITS + Bert VITS2， 提供的在线生成模型均已达到商用标准。 • GPT SoVITS 在线一键语音生成合集（Xz 乔希） GPT SoVITS 在线一键语音生成合集（Xz 乔希） • Bert VITS2 在线一键语音生成合集（Xz 乔希） Bert VITS2 在线一键语音生成合集（Xz 乔希） 工具简介 首先这两个项目都是免费的， 也很好用， 直接找到需要用到的音色， 输入文字， 点击“合成语音”生成后就能下载了。