Stuart：一夜爆火的 ChatTTS 实测

Stuart：一夜爆火的 ChatTTS 实测 Stuart：一夜爆火的 ChatTTS 实测 Modified August 1, 2025 我在西单偶遇AJ，她竟然.... Unable to preview. Please download the file. No access chatTTS 00:00 3. 功能试玩：提供的功能很简单 a. 音色更换 ▪ 效果对比 • Audio seed: 2; Text seed: 42; input text: 每个孩子是生下来就自带大模型的，他们天然有超强的数据处理能力。家庭教育是让孩子的大模型“本地化”。我们对孩子的教育，就是一种大模型的微调，最多起到 10%的作用。我们要做的是顺势而为，让孩子的先天大模型发挥最好的作用。 audio (6) Unable to preview. Please download the file. audio (7) Unable to preview. Please download the file. • 可以看到上面的 text 都被修改过，加过一些[uv break]之类的标记之外，仔细看会发现里面会加入一些口头禅之类的词，让文本看起来更顺。实际上 TTS 里都会涉及这样的设计。 audio (8) Unable to preview. Please download the file. • 更换一个音色： Audio seed: 1； Text seed: 42; input text: 每个孩子是生下来就自带大模型的，他们天然有超强的数据处理能力。家庭教育是让孩子的大模型“本地化”。我们对孩子的教育，就是一种大模型的微调，最多起到 10%的作用。我们要做的是顺势而为，让孩子的先天大模型发挥最好的作用。 audio (9) Unable to preview. Please download the file. b. 语气停顿更换 ▪ 这是 chatTTS 中最有价值的功能。目前开源项目提供了三个提示词，玩法类似 Suno 里的提示词，这些词不会被直接念出来，但是会结合上下文来调整原有语音。从官方说法，他们将逐渐支持更多这类嵌入的提示词（见下图）。 audio (15) Unable to preview. Please download the file. audio (16) Unable to preview. Please download the file. Code block Markdown cd ChatTTS pip install r requirements.txt pip install gradio pip install WeTextProcessing 3. 启动 webui 的 demo 程序，然后用浏览器登陆这个服务器的 ip:8080 就能试玩了 Code block Markdown python ./webui.py server port 8080 这个 demo 本身提供了 3 个参数： server name: 服务器的 ip 地址，默认 0.0.0.0 servic port: 即将开启的端口号 local path: 模型存储的本地路径 4. 第一次启动后生成语音时，需要看下控制台输出，它会下载一些模型文件，因此比较慢，而且可能因为网络的问题有各种失败。但是第一次加载成功了，后面就顺利了。 5. 基于这个基础已经可以开始拓展了，比如把它集成到 agent 的工具中去，比如结合 chatgpt 来做更拟人化的实时沟通。 6. webui 上可以设置的几个参数说明：（参考下图） ◦ text:指的是需要转换成语音的文字内容。 ◦ Refine text:选择是否自动对输入的文本进行优化处理。 ◦ Audio Seed: 语音种子，这是一个数字参数，用于选择声音的类型，默认值为 2，是一个很知性的女孩子的声音。 ◦ Text Seed: 文本种子，这是一个正整数参数，用于 refine 文本的停顿。实测文本的停顿设置会影响音色，音调。 ◦ 额外提示词（可以写在 input Text 里）:用于添加笑声、停顿等效果。例如，可以设置为[oral 2][laugh 0][break 6]。目前存在的问题 1. 语音生成基本功能 a. 支持的语音时长不超过 30s，超过 30 秒的需要特别修复。 b. 某些 audio seed 在念某些语句时会丢失一些语句。 c. Refine 过程中有些字会被丢失，比如“儿童节”在大概率会被 refine 成“童节”，丢失一个“儿”字。 i. 解决方法：跳过自动 refine，以手动修改文本的方式来控制停顿。 d. 即使同一个 audio seed，如果使用不同的语句分段方式，或者不同的 text seed，生成的音色也不是很稳定，会给人感觉不是同一个人的声音。 2. 代码 Bug: a. uv break 等提示词可能会在 refine 之后缺少[]，甚至有时候在有中括号的情况下也会被念出来，听多了，容易被洗脑，不自觉的自己说话也念出 uv break 作为口头禅。（多听几遍，很有那种 m3？的洗脑上头效果😂） audio (10) Unable to preview. Please download the file. 3. 没提供微调 SFT 的接口 a. 当然在底模已经提供的情况下，我们自己调用模型来做微调是可以的，但是项目本身没有提供相关的代码，对于大多数人来说，微调，或者说声音克隆就成了一个门槛。 4. 本模型特别申明：不支持商用，仅用于学术研究。 a. ⚠️ 在生成的语音内，作者加了听不见的噪音水印，可以很容易的被检测出来是他的模型生成的语音。 🤖 ChatTTS 还没放出训练代码无法自己克隆声音作者还只放出了4w小时训练的版本，确保这个模型的声音能被ai检测出来。作者还留着一个10w小时训练数据的版本关于 chatTTS 未来的思考 1. 产品化这只是一个基础模型，包括 webui 也只是写的一个建议的演示。使用下来，如果需要产品化，需要通过大量的测试，来固化配置几种音色，并赋予他们从文字上比较容易理解的音色标签，方便用户选择。比如 “可爱萝莉音”， “男娘音”之类的。同时它 1 秒才生成 1～2 秒音频的推理速度也是值得诟病的一个问题，需要极大的优化。 2. 合成检测和声音版权问题从声音的拟人化越来越像开始，社会上就一直在思考这两个问题：反诈骗，和声音的版权。相信未来这两个领域会随着 TTS 越来越成熟，也越来越急迫需要得到解决。相关链接 Huggingface: https://huggingface.co/2Noise/ChatTTS ChatTTS Github: https://github.com/2noise/ChatTTS ChatTTS UI ： https://github.com/jianchang512/ChatTTS ui GPT SoVITS Github: https://github.com/RVC Boss/GPT SoVITS 第三方地址： https://chattts.com/ （非官方网站） ChatTTS出来好几天了，一直没看见replicate上有能直接运行的模型项目，就自己动手写了一个。链接：https://replicate.com/thlz998/chat tts 设置为public的，可以直接运行或者调用API。其他TTS项目 Bark 是 Suno AI 提出的基于 transformer 的 TTS 模型。该模型能够生成各种音频输出，包括语音、音乐、背景噪音以及简单的音效。此外，它还可以产生非语言语音，如笑声、叹息声和抽泣声等。其中以语气和笑声效果作为主要优势。项目地址: https://github.com/suno ai/bark Piper TTS（Text to Speech）是一个基于神经网络的文本到语音系统，专门为低功耗计算机和硬件如树莓派（Raspberry Pi()）优化。其核心在于快速、灵活且易于部署的文本到语音解决方案，特别适合需要在资源受限的设备上运行的场景。项目地址: https://github.com/rhasspy/piper GradTTS 作为灵活性架构模型的代表，其通过结合扩散概率模型()、生成分数匹配和单调对齐搜索等先进技术，提供了一种高效且高质量的文本到语音解决方案。其灵活的框架和广泛的应用前景使其成为当前文本到语音领域的一个重要里程碑。项目地址: https://github.com/WelkinYang/GradTTS Matcha TTS 提供了一种高效、自然且易于使用的非自回归神经TTS解决方案，适用于多种应用场景。项目地址: https://github.com/shivammehta25/Matcha TTS bertvits2 FishAudio下的全新自回归TTS Fish Speech现已可用，效果为目前开源SOTA水准，且在持续维护，推荐使用该项目作为BV2/GSV的替代。本项目短期内不再进行维护项目地址:https://github.com/fishaudio/Bert VITS2 Fish Speech FishAudio下的全新自回归TTS Fish Speech现已可用，效果为目前开源SOTA水准，且在持续维护，推荐使用该项目作为BV2/GSV的替代支持中/日/英三语合成项目地址:https://github.com/fishaudio/fish speech 推理地址：https://fs.firefly.matce.cn/ 项目开发&FishAudio leader： @冷月2333 Demo Video: https://www.bilibili.com/video/BV18E421371Q Tech slides Video: https://www.bilibili.com/video/BV1zJ4m1K7cj 声音克隆产品推荐来自倪小末开源： 1. GPT SoVITS： https://github.com/RVC Boss/GPT SoVITS 对中、英、日语言支持良好，需要 10 分钟左右干素材，瞬时 clone 功能未开放。 2. OpenVoice： https://github.com/myshell ai/OpenVoice 对中文支持较好，主打瞬时 clone，发展势头良好，一个月前测试时中文声音 clone 有英语味道。商业的产品： 1. ElevenLab： https://elevenlabs.io 支持最多语言种类，支持瞬时 clone，综合效果最好，本人是 22$每月的订阅用户，已用于内部配音产品。 2. Reecho： https://reecho.ai 中国团队，支持长音频和瞬时声音 clone，据说与火山引擎的声音 clone 技术同源。 3. 自得语音： https://zideai.com 中国团队，支持瞬时声音 clone 和声音定制，尚未测试。 4. DiD ：欢迎关注公众号，收获更多智能体分享： WayToAGI Agent探索我在西单偶遇AJ，她竟然.... Unable to preview. Please download the file. 我在西单偶遇AJ，她竟然.... Unable to preview. Please download the file. No access chatTTS 00:00 No access chatTTS 00:00 3. 功能试玩：提供的功能很简单 a. 音色更换 ▪ 效果对比 • Audio seed: 2; Text seed: 42; input text: 每个孩子是生下来就自带大模型的，他们天然有超强的数据处理能力。家庭教育是让孩子的大模型“本地化”。我们对孩子的教育，就是一种大模型的微调，最多起到 10%的作用。我们要做的是顺势而为，让孩子的先天大模型发挥最好的作用。 audio (6) Unable to preview. Please download the file. audio (7) Unable to preview. Please download the file. • 可以看到上面的 text 都被修改过，加过一些[uv break]之类的标记之外，仔细看会发现里面会加入一些口头禅之类的词，让文本看起来更顺。实际上 TTS 里都会涉及这样的设计。 audio (8) Unable to preview. Please download the file. • 更换一个音色： Audio seed: 1； Text seed: 42; input text: 每个孩子是生下来就自带大模型的，他们天然有超强的数据处理能力。家庭教育是让孩子的大模型“本地化”。我们对孩子的教育，就是一种大模型的微调，最多起到 10%的作用。我们要做的是顺势而为，让孩子的先天大模型发挥最好的作用。 audio (9) Unable to preview. Please download the file. b. 语气停顿更换 ▪ 这是 chatTTS 中最有价值的功能。目前开源项目提供了三个提示词，玩法类似 Suno 里的提示词，这些词不会被直接念出来，但是会结合上下文来调整原有语音。从官方说法，他们将逐渐支持更多这类嵌入的提示词（见下图）。 audio (15) Unable to preview. Please download the file. audio (16) Unable to preview. Please download the file. a. 音色更换 ▪ 效果对比 • Audio seed: 2; Text seed: 42; input text: 每个孩子是生下来就自带大模型的，他们天然有超强的数据处理能力。家庭教育是让孩子的大模型“本地化”。我们对孩子的教育，就是一种大模型的微调，最多起到 10%的作用。我们要做的是顺势而为，让孩子的先天大模型发挥最好的作用。 audio (6) Unable to preview. Please download the file. audio (7) Unable to preview. Please download the file. • 可以看到上面的 text 都被修改过，加过一些[uv break]之类的标记之外，仔细看会发现里面会加入一些口头禅之类的词，让文本看起来更顺。实际上 TTS 里都会涉及这样的设计。 audio (8) Unable to preview. Please download the file. • 更换一个音色： Audio seed: 1； Text seed: 42; input text: 每个孩子是生下来就自带大模型的，他们天然有超强的数据处理能力。家庭教育是让孩子的大模型“本地化”。我们对孩子的教育，就是一种大模型的微调，最多起到 10%的作用。我们要做的是顺势而为，让孩子的先天大模型发挥最好的作用。 audio (9) Unable to preview. Please download the file. ▪ 效果对比 • Audio seed: 2; Text seed: 42; input text: 每个孩子是生下来就自带大模型的，他们天然有超强的数据处理能力。家庭教育是让孩子的大模型“本地化”。我们对孩子的教育，就是一种大模型的微调，最多起到 10%的作用。我们要做的是顺势而为，让孩子的先天大模型发挥最好的作用。 audio (6) Unable to preview. Please download the file. audio (7) Unable to preview. Please download the file. • 可以看到上面的 text 都被修改过，加过一些[uv break]之类的标记之外，仔细看会发现里面会加入一些口头禅之类的词，让文本看起来更顺。实际上 TTS 里都会涉及这样的设计。 audio (8) Unable to preview. Please download the file. • 更换一个音色： Audio seed: 1； Text seed: 42; input text: 每个孩子是生下来就自带大模型的，他们天然有超强的数据处理能力。家庭教育是让孩子的大模型“本地化”。我们对孩子的教育，就是一种大模型的微调，最多起到 10%的作用。我们要做的是顺势而为，让孩子的先天大模型发挥最好的作用。 audio (9) Unable to preview. Please download the file. • Audio seed: 2; Text seed: 42; input text: 每个孩子是生下来就自带大模型的，他们天然有超强的数据处理能力。家庭教育是让孩子的大模型“本地化”。我们对孩子的教育，就是一种大模型的微调，最多起到 10%的作用。我们要做的是顺势而为，让孩子的先天大模型发挥最好的作用。 audio (6) Unable to preview. Please download the file. audio (6) Unable to preview. Please download the file. audio (6) Unable to preview. Please download the file. audio (7) Unable to preview. Please download the file. audio (7) Unable to preview. Please download the file. • 可以看到上面的 text 都被修改过，加过一些[uv break]之类的标记之外，仔细看会发现里面会加入一些口头禅之类的词，让文本看起来更顺。实际上 TTS 里都会涉及这样的设计。 audio (8) Unable to preview. Please download the file. audio (8) Unable to preview. Please download the file. audio (8) Unable to preview. Please download the file. • 更换一个音色： Audio seed: 1； Text seed: 42; input text: 每个孩子是生下来就自带大模型的，他们天然有超强的数据处理能力。家庭教育是让孩子的大模型“本地化”。我们对孩子的教育，就是一种大模型的微调，最多起到 10%的作用。我们要做的是顺势而为，让孩子的先天大模型发挥最好的作用。 audio (9) Unable to preview. Please download the file. audio (9) Unable to preview. Please download the file. audio (9) Unable to preview. Please download the file. b. 语气停顿更换 ▪ 这是 chatTTS 中最有价值的功能。目前开源项目提供了三个提示词，玩法类似 Suno 里的提示词，这些词不会被直接念出来，但是会结合上下文来调整原有语音。从官方说法，他们将逐渐支持更多这类嵌入的提示词（见下图）。 audio (15) Unable to preview. Please download the file. audio (16) Unable to preview. Please download the file. ▪ 这是 chatTTS 中最有价值的功能。目前开源项目提供了三个提示词，玩法类似 Suno 里的提示词，这些词不会被直接念出来，但是会结合上下文来调整原有语音。从官方说法，他们将逐渐支持更多这类嵌入的提示词（见下图）。 audio (15) Unable to preview. Please download the file. audio (16) Unable to preview. Please download the file. audio (15) Unable to preview. Please download the file. audio (15) Unable to preview. Please download the file. audio (16) Unable to preview. Please download the file. audio (16) Unable to preview. Please download the file. 3. 启动 webui 的 demo 程序，然后用浏览器登陆这个服务器的 ip:8080 就能试玩了 Code block Markdown python ./webui.py server port 8080 这个 demo 本身提供了 3 个参数： server name: 服务器的 ip 地址，默认 0.0.0.0 servic port: 即将开启的端口号 local path: 模型存储的本地路径这个 demo 本身提供了 3 个参数： server name: 服务器的 ip 地址，默认 0.0.0.0 servic port: 即将开启的端口号 local path: 模型存储的本地路径 4. 第一次启动后生成语音时，需要看下控制台输出，它会下载一些模型文件，因此比较慢，而且可能因为网络的问题有各种失败。但是第一次加载成功了，后面就顺利了。 5. 基于这个基础已经可以开始拓展了，比如把它集成到 agent 的工具中去，比如结合 chatgpt 来做更拟人化的实时沟通。 6. webui 上可以设置的几个参数说明：（参考下图） ◦ text:指的是需要转换成语音的文字内容。 ◦ Refine text:选择是否自动对输入的文本进行优化处理。 ◦ Audio Seed: 语音种子，这是一个数字参数，用于选择声音的类型，默认值为 2，是一个很知性的女孩子的声音。 ◦ Text Seed: 文本种子，这是一个正整数参数，用于 refine 文本的停顿。实测文本的停顿设置会影响音色，音调。 ◦ 额外提示词（可以写在 input Text 里）:用于添加笑声、停顿等效果。例如，可以设置为[oral 2][laugh 0][break 6]。 ◦ text:指的是需要转换成语音的文字内容。 ◦ Refine text:选择是否自动对输入的文本进行优化处理。 ◦ Audio Seed: 语音种子，这是一个数字参数，用于选择声音的类型，默认值为 2，是一个很知性的女孩子的声音。 ◦ Text Seed: 文本种子，这是一个正整数参数，用于 refine 文本的停顿。实测文本的停顿设置会影响音色，音调。 ◦ 额外提示词（可以写在 input Text 里）:用于添加笑声、停顿等效果。例如，可以设置为[oral 2][laugh 0][break 6]。目前存在的问题 1. 语音生成基本功能 a. 支持的语音时长不超过 30s，超过 30 秒的需要特别修复。 b. 某些 audio seed 在念某些语句时会丢失一些语句。 c. Refine 过程中有些字会被丢失，比如“儿童节”在大概率会被 refine 成“童节”，丢失一个“儿”字。 i. 解决方法：跳过自动 refine，以手动修改文本的方式来控制停顿。 d. 即使同一个 audio seed，如果使用不同的语句分段方式，或者不同的 text seed，生成的音色也不是很稳定，会给人感觉不是同一个人的声音。 a. 支持的语音时长不超过 30s，超过 30 秒的需要特别修复。 b. 某些 audio seed 在念某些语句时会丢失一些语句。 c. Refine 过程中有些字会被丢失，比如“儿童节”在大概率会被 refine 成“童节”，丢失一个“儿”字。 i. 解决方法：跳过自动 refine，以手动修改文本的方式来控制停顿。 i. 解决方法：跳过自动 refine，以手动修改文本的方式来控制停顿。 d. 即使同一个 audio seed，如果使用不同的语句分段方式，或者不同的 text seed，生成的音色也不是很稳定，会给人感觉不是同一个人的声音。 2. 代码 Bug: a. uv break 等提示词可能会在 refine 之后缺少[]，甚至有时候在有中括号的情况下也会被念出来，听多了，容易被洗脑，不自觉的自己说话也念出 uv break 作为口头禅。（多听几遍，很有那种 m3？的洗脑上头效果😂） audio (10) Unable to preview. Please download the file. a. uv break 等提示词可能会在 refine 之后缺少[]，甚至有时候在有中括号的情况下也会被念出来，听多了，容易被洗脑，不自觉的自己说话也念出 uv break 作为口头禅。（多听几遍，很有那种 m3？的洗脑上头效果😂） audio (10) Unable to preview. Please download the file. audio (10) Unable to preview. Please download the file. 3. 没提供微调 SFT 的接口 a. 当然在底模已经提供的情况下，我们自己调用模型来做微调是可以的，但是项目本身没有提供相关的代码，对于大多数人来说，微调，或者说声音克隆就成了一个门槛。 a. 当然在底模已经提供的情况下，我们自己调用模型来做微调是可以的，但是项目本身没有提供相关的代码，对于大多数人来说，微调，或者说声音克隆就成了一个门槛。 4. 本模型特别申明：不支持商用，仅用于学术研究。 a. ⚠️ 在生成的语音内，作者加了听不见的噪音水印，可以很容易的被检测出来是他的模型生成的语音。 a. ⚠️ 在生成的语音内，作者加了听不见的噪音水印，可以很容易的被检测出来是他的模型生成的语音。 🤖 ChatTTS 还没放出训练代码无法自己克隆声音作者还只放出了4w小时训练的版本，确保这个模型的声音能被ai检测出来。作者还留着一个10w小时训练数据的版本 ChatTTS 还没放出训练代码无法自己克隆声音作者还只放出了4w小时训练的版本，确保这个模型的声音能被ai检测出来。作者还留着一个10w小时训练数据的版本关于 chatTTS 未来的思考 1. 产品化这只是一个基础模型，包括 webui 也只是写的一个建议的演示。使用下来，如果需要产品化，需要通过大量的测试，来固化配置几种音色，并赋予他们从文字上比较容易理解的音色标签，方便用户选择。比如 “可爱萝莉音”， “男娘音”之类的。同时它 1 秒才生成 1～2 秒音频的推理速度也是值得诟病的一个问题，需要极大的优化。 2. 合成检测和声音版权问题从声音的拟人化越来越像开始，社会上就一直在思考这两个问题：反诈骗，和声音的版权。相信未来这两个领域会随着 TTS 越来越成熟，也越来越急迫需要得到解决。相关链接 Huggingface: https://huggingface.co/2Noise/ChatTTS ChatTTS Github: https://github.com/2noise/ChatTTS ChatTTS UI ： https://github.com/jianchang512/ChatTTS ui GPT SoVITS Github: https://github.com/RVC Boss/GPT SoVITS 第三方地址： https://chattts.com/ （非官方网站） ChatTTS出来好几天了，一直没看见replicate上有能直接运行的模型项目，就自己动手写了一个。链接：https://replicate.com/thlz998/chat tts 设置为public的，可以直接运行或者调用API。其他TTS项

在小宇宙note 阅读完整内容