Qwen3-TTS全家桶开源上线!

Qwen3-TTS全家桶开源上线!

Qwen3 TTS全家桶开源上线! Qwen3 TTS全家桶开源上线! Modified January 23 Tokenizer性能 我们对 Qwen TTS Tokenizer 进行了语音重构评估,在LibriSpeech test clean set的结果显示其在关键指标上都达到了的SOTA水平。具体来说,在感知语音质量评估(PESQ)中,Qwen TTS Tokenizer在宽带和窄带上分别取得了3.21和3.68的分数,大幅领先同类tokenizer。在短时客观可懂度(STOI)以及UTMOS上,Qwen TTS Tokenizer取得了0.96和4.16的分数,展现出卓越的还原质量。在说话人相似度上,Qwen TTS Tokenizer取了0.95的分数,显著超越对比模型,表明其近乎无损的说话人信息保留能力。 样例 Qwen3 TTS 12Hz 1.7B VoiceDesign 音色创造 Qwen3 TTS 支持通过自然语言描述生成定制化的音色形象。用户可以随意输入声学属性、人设描述、背景信息等自由描述,轻松创造出自己期望的声音形象。 声学属性控制 控制指令: 采用高亢的男性嗓音,语调随兴奋情绪不断上扬,以快速而充满活力的节奏传达信息。音量要足够响亮,近乎喊叫,以体现紧迫感。发音务必清晰精准、字字分明,让每个词都铿锵有力。整体表达需流畅自然、明亮生动,富有戏剧性,展现出外向、自信且张扬的个性,同时传递出一种威严而宏大的宣告语气,洋溢着满溢的激动之情。 合成文本: 好了各位,往后退,往后退!我有个天大的好消息要宣布:Qwen TTS正式开源啦! 声学控制属性 00:00 / 00:08 音色复用 用户也可将 Qwen3 TTS 创建的音色进行持久存储和重复调用,生成生动自然的多轮次多角色长篇章对话。 控制指令: ""Lucas": "Male, 17 years old, tenor range, gaining confidence deeper breath support now, though vowels still tighten when nervous" "Mia": "Female, 16 years old, mezzo soprano range, softening lowering register to intimate speaking voice, consonants softening" 合成文本: Lucas:H hey! You dropped your... uh... calculus notebook? I mean, I think it's yours? Maybe? Mia:Oh wow, my mortal enemy Mr. Thompson's problem sets. Thanks for rescuing me from that F. Lucas:No problem! I actually... kinda finished those already? If you want to compare answers or something... Mia:Is this your sneaky way of saying you want to study together, Lucas? Because I saw you staring during lab partners sign up. Lucas:What? No! I mean yes but not like... I just think you're... your titration technique is really precise! Mia:That's the nerdiest compliment I've ever gotten. Tell you what help me survive pre calc and I'll teach you how to actually flirt. Lucas:Wow, harsh. And here I thought my titration line was smooth. Mia:It was adorable. Like when you tripped over your shoelaces in the hall yesterday. Or that time you— Lucas:Okay okay! I get it, I'm a disaster. So... library after school? I'll bring the graphing calculators? Mia:Only if you promise not to spill coffee on my notes again... though I guess watching you panic clean was pretty cute. 音色复用 00:00 / 00:00 Qwen3 TTS 12Hz 1.7B Instruct 音色控制 Qwen3 TTS 进行特定说话人微调后,可以在保持目标音色的同时,继承基模型的风格控制能力以及单人多语能力。 单属性控制 音色: 甜茶 Ryan 合成文本: She said she would be here by noon. 控制指令1: spoke with a very sad and tearful voice. 合成样例1: 单控制属性1 00:00 / 00:00 控制指令2: 请特别小声的悄悄说 合成样例2: 单控制属性2 00:00 / 00:00 音色列表 本次Qwen3 TTS共开源了9个音色,涵盖多种性别、年龄、语种与方言组合,满足不同场景下的个性化语音生成需求。 以下为其中2种音色示例: 语种:中文 音色: 苏瑶 Serena 合成文本: 其实我真的有发现,我是一个特别善于观察别人情绪的人。 音色 中文 00:00 / 00:00 语种:英文 音色: 甜茶 Ryan 合成文本: Then by the end of the movie, when Dorothy clicks her heels and says, “There’s no place like home,” I got a little bit teary, I’ll admit. You know, I don’t even know why—I just, I just felt. 音色 英文 00:00 / 00:00 Qwen3 TTS 12Hz 1.7B VoiceClone 音色克隆 中文克隆 参考音频: 中文克隆 参考 00:00 / 00:00 合成文本: 你眼中的太阳,只是我指间的玩物。 合成样例: 中文克隆 合成 00:00 / 00:00 Qwen TTS Tokenizer 12Hz 音频重构 方言重构 原始样例: 方言重构 原始 00:00 / 00:00 重构样例: 方言重构 合成 00:00 / 00:00 关注我,掌握千问大模型最新动态 Tokenizer性能 我们对 Qwen TTS Tokenizer 进行了语音重构评估,在LibriSpeech test clean set的结果显示其在关键指标上都达到了的SOTA水平。具体来说,在感知语音质量评估(PESQ)中,Qwen TTS Tokenizer在宽带和窄带上分别取得了3.21和3.68的分数,大幅领先同类tokenizer。在短时客观可懂度(STOI)以及UTMOS上,Qwen TTS Tokenizer取得了0.96和4.16的分数,展现出卓越的还原质量。在说话人相似度上,Qwen TTS Tokenizer取了0.95的分数,显著超越对比模型,表明其近乎无损的说话人信息保留能力。 样例 Qwen3 TTS 12Hz 1.7B VoiceDesign 音色创造 Qwen3 TTS 支持通过自然语言描述生成定制化的音色形象。用户可以随意输入声学属性、人设描述、背景信息等自由描述,轻松创造出自己期望的声音形象。 声学属性控制 控制指令: 采用高亢的男性嗓音,语调随兴奋情绪不断上扬,以快速而充满活力的节奏传达信息。音量要足够响亮,近乎喊叫,以体现紧迫感。发音务必清晰精准、字字分明,让每个词都铿锵有力。整体表达需流畅自然、明亮生动,富有戏剧性,展现出外向、自信且张扬的个性,同时传递出一种威严而宏大的宣告语气,洋溢着满溢的激动之情。 合成文本: 好了各位,往后退,往后退!我有个天大的好消息要宣布:Qwen TTS正式开源啦! 声学控制属性 00:00 / 00:08 声学控制属性 00:00 / 00:08 音色复用 用户也可将 Qwen3 TTS 创建的音色进行持久存储和重复调用,生成生动自然的多轮次多角色长篇章对话。 控制指令: ""Lucas": "Male, 17 years old, tenor range, gaining confidence deeper breath support now, though vowels still tighten when nervous" "Mia": "Female, 16 years old, mezzo soprano range, softening lowering register to intimate speaking voice, consonants softening" 合成文本: Lucas:H hey! You dropped your... uh... calculus notebook? I mean, I think it's yours? Maybe? Mia:Oh wow, my mortal enemy Mr. Thompson's problem sets. Thanks for rescuing me from that F. Lucas:No problem! I actually... kinda finished those already? If you want to compare answers or something... Mia:Is this your sneaky way of saying you want to study together, Lucas? Because I saw you staring during lab partners sign up. Lucas:What? No! I mean yes but not like... I just think you're... your titration technique is really precise! Mia:That's the nerdiest compliment I've ever gotten. Tell you what help me survive pre calc and I'll teach you how to actually flirt. Lucas:Wow, harsh. And here I thought my titration line was smooth. Mia:It was adorable. Like when you tripped over your shoelaces in the hall yesterday. Or that time you— Lucas:Okay okay! I get it, I'm a disaster. So... library after school? I'll bring the graphing calculators? Mia:Only if you promise not to spill coffee on my notes again... though I guess watching you panic clean was pretty cute. 音色复用 00:00 / 00:00 音色复用 00:00 / 00:00 Qwen3 TTS 12Hz 1.7B Instruct 音色控制 Qwen3 TTS 进行特定说话人微调后,可以在保持目标音色的同时,继承基模型的风格控制能力以及单人多语能力。 单属性控制 音色: 甜茶 Ryan 合成文本: She said she would be here by noon. 控制指令1: spoke with a very sad and tearful voice. 合成样例1: 单控制属性1 00:00 / 00:00 单控制属性1 00:00 / 00:00 控制指令2: 请特别小声的悄悄说 合成样例2: 单控制属性2 00:00 / 00:00 单控制属性2 00:00 / 00:00 音色列表 本次Qwen3 TTS共开源了9个音色,涵盖多种性别、年龄、语种与方言组合,满足不同场景下的个性化语音生成需求。 以下为其中2种音色示例: 语种:中文 音色: 苏瑶 Serena 合成文本: 其实我真的有发现,我是一个特别善于观察别人情绪的人。 音色 中文 00:00 / 00:00 音色 中文 00:00 / 00:00 语种:英文 音色: 甜茶 Ryan 合成文本: Then by the end of the movie, when Dorothy clicks her heels and says, “There’s no place like home,” I got a little bit teary, I’ll admit. You know, I don’t even know why—I just, I just felt. 音色 英文 00:00 / 00:00 音色 英文 00:00 / 00:00 Qwen3 TTS 12Hz 1.7B VoiceClone 音色克隆 中文克隆 参考音频: 中文克隆 参考 00:00 / 00:00 中文克隆 参考 00:00 / 00:00 合成文本: 你眼中的太阳,只是我指间的玩物。 合成样例: 中文克隆 合成 00:00 / 00:00 中文克隆 合成 00:00 / 00:00 Qwen TTS Tokenizer 12Hz 音频重构 方言重构 原始样例: 方言重构 原始 00:00 / 00:00 方言重构 原始 00:00 / 00:00 重构样例: 方言重构 合成 00:00 / 00:00 方言重构 合成 00:00 / 00:00 关注我,掌握千问大模型最新动态 🔗 原文链接: https://mp.weixin.qq.com/s/96 RgV4j... https://mp.weixin.qq.com/s/96 RgV4j... 语音功能强大的 语音功能强大的 千问Qwen2026年1月22日 21:47 浙江 Qwen3 TTS 是由Qwen开发的一系列功能强大的语音生成,全面支持音色克隆、音色创造、超高质量拟人化语音生成,以及基于自然语言描述的语音控制,为开发者与用户提供最全面的语音生成功能。 依托创新的 Qwen3 TTS Tokenizer 12Hz 多码本语音编码器, Qwen3 TTS 实现了对语音信号的高效压缩与强表征能力,不仅完整保留副语言信息和声学环境特征,还能通过轻量级的非 DiT 架构实现高速、高保真的语音还原。 Qwen3 TTS 采用 Dual Track 双轨建模,达成了极致的双向流式生成速度,首包音频仅需等待一个字符。 Qwen3 TTS 多码本全系列模型均已开源,包含1.7B和0.6B两种尺寸,1.7B可以达到极致性能,具有强大的控制能力,0.6B均衡性能与效率。模型覆盖 10 种主流语言(中文、英文、日语、韩语、德语、法语、俄语、葡萄牙语、西班牙语、意大利语)及多种方言音色,满足全球化应用需求。 同时,模型具备强大的上下文理解能力,可根据指令和文本语义自适应调整语气、节奏与情感表达,并对输入文本噪声的鲁棒性有显著提升。 目前已经在Github上开源同时也可通过Qwen API体验。 欢迎体验 ModerScope: https://w ww. modelscope.cn/collections/Qwen/Qwen3 TTS modelscope.cn/collections/Qwen/Qwen3 TTS HuggingFace: https://huggingface.co/collections/Qwen/qwen3 tts Github: https://github.com/QwenLM/Qwen3 TTS 模型列表 1.7B模型 0.6B模型 Qwen3 TTS特性 主要特点: • 强大的语音表征: 基于自研 Qwen3 TTS Tokenizer 12Hz,实现语音信号的高效声学压缩与高维语义建模,完整保留副语言信息及声学环境特征,并可通过轻量级的非 DiT 架构实现高效、高保真语音还原。 • 通用的端到端架构: 采用离散多码本 LM 架构,实现语音全信息端到端建模,彻底规避传统 LM+DiT 方案的信息瓶颈与级联误差,显著提升模型的通用性、生成效率与效果上限。 • 高极致的低延迟流式生成: 基于创新的 Dual Track 混合流式生成架构,单模型同时兼容流式与非流式生成,最快可在输入单字后即刻输出音频首包,端到端合成延迟低至 97ms,满足实时交互场景的严苛需求。 • 智能的文本理解与语音控制: 支持自然语言指令驱动的语音生成,灵活调控音色、情感、韵律等多维声学属性;同时深度融合文本语义理解,自适应调节语气、节奏、情感与韵律,实现“所想即所听”的拟人化表达。 模型性能 我们对 Qwen3 TTS 在音色克隆、创造、控制等方面进行了全面评估,结果显示其在多项指标上都达到了SOTA性能。具体来说: • 音色创造任务上,Qwen3 TTS VoiceDesign 在 InstructTTS Eval 中指令遵循能力和生成表现力都整体超越 MiniMax Voice Design 闭源模型,并大幅领先其余开源模型。 • 在音色控制任务上,Qwen3 TTS Instruct 不仅具备单人多语言的泛化能力,平均词错率 2.34%;同时具备保持音色的风格控制能力,InstructTTS Eval 取得了 75.4% 的分数;此外,也展现出卓越的长语音生成能力,一次性合成 10 分钟语音的中英词错率为 2.36/2.81%。 • 在音色克隆任务上,Qwen3 TTS VoiceClone 在 Seed tts eval 上中英文克隆的语音稳定性表现上均超越MiniMax和SeedTTS;在 TTS multilingual test set 上 10 个语项上取得了 1.835% 的平均词错误率和 0.789 的说话人相似度,超越 MiniMax 和 ElevenLabs;跨语种音色克隆也超越 CosyVoice3 位居 SOTA。

在 小宇宙note 阅读完整内容