AI音乐周刊 W.A 004
AI音乐周刊 W.A 004
AI音乐周刊 W.A 004 AI音乐周刊 W.A 004 Modified December 1, 2025 LANDR 2025 AI音乐创作报告:AI工具渗透率达87%,重塑创作者工作流 报告:https://cdn.landr.com/files/How Musicians Use AI.pdf 音乐科技公司 LANDR 近期发布了针对全球1,241名音乐人的《2025年AI音乐创作现状调研报告》。该报告深入分析了AI工具在当代音乐创作中的应用现状与未来趋势。 报告主要数据点: • 普及程度: 87%的创作者已将AI工具整合至其工作流程中,核心驱动力在于弥补创作所需的技能与时间缺口。 • 应用领域分布: ◦ 内容生成:29%的受访者使用AI来生成特定歌曲片段,如人声或乐器部分,同时40%的创作者表示出尝试意愿。 ◦ 营销推广: 在非创作领域,对AI的依赖度更高,超80%的创作者表示希望利用AI进行专辑封面设计、受众数据分析及营销策略制定。 • 未来展望: 调研显示,69%的用户增加了AI的使用频率。更具前瞻性的是,90%的现有AI用户计划在明年进一步深化其应用。 这一趋势有力证明了AI正成为提高效率和产出的关键变量,报告明确指出,采用AI的创作者与坚持传统模式的制作者之间的差距正在持续且快速地扩大。 妙音AI平台正式上线,深耕方言与国风音乐创作 链接:https://www.miaoyin.live/ 2025年11月25日,国内AI音乐创作平台“妙音AI”正式上线,主打“3分钟生成专业级原创音乐”。该平台旨在为短视频创作者、播客及音乐人提供一站式解决方案,覆盖作词、作曲至人声演唱的全流程。 本土化创新是其核心优势。妙音AI推出了三大特色功能:一是场景化创作,覆盖婚礼、Vlog等20+场景,降低大众使用门槛;二是独创方言音乐馆,支持粤语、闽南语、上海话等主流方言的精准发音与韵律匹配;三是国风音乐专区,深度结合古诗词格律与民族乐器,精准还原东方韵味。 商业模式方面,平台采用积分制订阅,提供从免费体验到99元/月的商用授权套餐,明确版权归属。官方表示,未来计划上线UGC交易市场并开放API接口,致力于构建具有中国文化特色的AI音乐生态。 【AI+XR】GANTASMO利用VR头显演出AI音乐,新专辑《UNCANNY》将发布 blog:https://artintech.substack.com/p/gantasmo ai music interviews AI音乐组合GANTASMO(由Daniel Trujillo和Josh Valenzuela组成)正利用扩展现实(XR)技术,颠覆性地重新定义现场演出体验。他们的名字巧妙地融合了AI技术核心“GAN”(生成对抗网络)与漫画英雄“Phantasmo”,象征着艺术创作中“控制与臣服、实体与抽象”的深刻张力。 针对AI音乐长期面临的“难以现场表演”的痛点,GANTASMO给出了未来感十足的解决方案:他们利用定制的Meta Quest 3头显和先进的手势追踪技术,将虚拟乐器和视效在3D空间中具象化。这种高度便携且沉浸式的演出形式,极大地拓宽了AI音乐的表演边界。 他们的音乐风格被形容为“Beautifully Uncanny”。通过AI的非线性迭代,GANTASMO创作出富有层次感的声音景观,深入探索从环保主义到反战思潮等一系列引人深思的主题。 面对“AI扼杀创造力”的质疑,GANTASMO坚决地将其视为“表达工具而非替代品”,旨在利用技术力量打破传统创作壁垒。未来,该组合计划开源其自研工具,并持续探索AI与XR技术的融合边界。他们的最新单曲《Memento Mori pt I》已上线,备受期待的新专辑《UNCANNY》将于12月8日发布。 论文 Spheres 数据集:用于音乐源分离和信息检索的多轨管弦乐录音 论文:https://www.arxiv.org/abs/2511.21247 本文介绍了 The Spheres 数据集,这是一套专为推进古典音乐领域的音乐源分离及相关音乐信息检索(MIR)机器学习研究而设计的多轨管弦乐录音。该数据集包含 Colibrì Ensemble 乐团在 The Spheres 录音室演奏的超过一小时的音乐片段,涵盖两部经典作品——柴可夫斯基的《罗密欧与朱丽叶》和莫扎特的《第40号交响曲》,以及各乐器的半音阶和独奏片段。录音设置采用了23支麦克风,包括近距离点话筒、主话筒和环境话筒,从而能够创建具有可控串音(bleeding)的逼真立体声混音,并为源分离模型的监督训练提供隔离的分轨(stems)。此外,我们还估算了每个乐器位置的房间脉冲响应,为录音空间提供了宝贵的声学特征。我们展示了数据集的结构、声学分析,以及使用基于 X UMX 的模型进行管弦乐组分离和麦克风去串音的基线评估。结果突显了在复杂管弦乐场景中进行源分离的潜力和挑战,强调了该数据集在基准测试以及探索分离、定位、去混响和古典音乐沉浸式渲染新方法方面的价值。 BERT APC:一种通过音乐上下文推理实现的无参考自动音高修正框架 论文:https://arxiv.org/abs/2511.20006 自动音高修正(APC)通过将音高偏差对齐到预期的音符来增强人声录音。然而,现有的 APC 系统要么依赖参考音高,限制了其实际适用性;要么采用简单的音高估计算法,往往无法保留表现力和自然感。我们提出了 BERT APC,这是一种新颖的无参考 APC 框架,能够在修正音高错误的同时保持人声表演的自然表现力。在 BERT APC 中,一个新颖的平稳音高预测器首先从走调的歌声中估计每个音符的感知音高。随后,一个上下文感知音符音高预测器利用重新调整用途的音乐语言模型,结合音乐上下文来估计预期的音高序列。最后,音符级修正算法在修复音高错误的同时,保留了用于情感表达的有意音高偏差。此外,我们引入了一种可学习的数据增强策略,通过模拟逼真的走调模式来提高音乐语言模型的鲁棒性。与最近的两个歌声转录模型相比,BERT APC 在音符音高预测方面表现出卓越的性能,在高度走调样本的原始音高准确率上比第二名模型 ROSVOT 高出 10.49%。在 MOS 测试中,BERT APC 获得了 4.32 ± 0.15 的最高分,显著高于广泛使用的商业 APC 工具 AutoTune (3.22 ± 0.18) 和 Melodyne (3.08 ± 0.18),同时保持了相当的保留表现细微差别的能力。据我们所知,这是首个利用音乐语言模型实现结合符号音乐上下文的无参考音高修正的 APC 模型。BERT APC 的修正音频样本已在网上发布。 基于潜在扩散模型的高效快速生成式歌声分离 论文:https://arxiv.org/abs/2511.20470 从音乐混合信号中提取独立元素是音乐制作和练习的宝贵工具。虽然优化用于掩蔽或将混合频谱图转换为单独源的神经网络一直是主流方法,但音乐信号中的源重叠和相关性构成了固有挑战。此外,虽然获取混合信号中的所有源对于训练这些系统至关重要,但这往往很复杂。尽管已有尝试以生成式方式解决这些挑战,但分离性能和推理效率仍然有限。在这项工作中,我们研究了扩散模型在缩小这一差距方面的潜力,重点关注仅依赖对应隔离人声和混合信号对进行训练的生成式歌声分离。为了与创作工作流保持一致,我们利用了潜在扩散(Latent Diffusion):系统生成编码在紧凑潜在空间中的样本,随后将其解码为音频。这实现了高效的优化和更快的推理。我们的系统仅使用开放数据进行训练。我们在多项信号质量指标和干扰去除方面优于现有的生成式分离系统,并达到与非生成式系统相当的水平。我们提供了关于潜在编码器的噪声鲁棒性研究,对其在该任务中的潜力提供了见解。我们要发布了一个模块化工具包以供进一步研究该主题。 乐谱理解基准:评估大型语言模型对完整乐谱的理解能力 论文:https://arxiv.org/abs/2511.20697 理解完整的乐谱需要对音高、节奏、和声和曲式等符号结构进行推理。尽管大型语言模型(LLMs)和视觉语言模型(VLMs)在自然语言和多模态任务中取得了快速进展,但它们理解乐谱的能力仍未得到充分探索。我们推出了乐谱理解基准(MSU Bench),这是首个大规模、人工策划的基准,用于评估跨文本(ABC 记谱法)和视觉(PDF)模态的乐谱级音乐理解能力。MSU Bench 包含 1,800 个生成式问答对(QA),取材于巴赫、贝多芬、肖邦、德彪西等人的作品,并分为四个递进的理解层级:起始信息、记谱与音符、和弦与和声、以及织体与曲式。通过对 15 个以上最先进(SOTA)模型进行广泛的零样本和微调评估,我们揭示了明显的模态差距、脆弱的分级成功率以及维持多层级正确性的困难。微调显著提高了两种模态的性能,同时保留了通用知识,确立了 MSU Bench 作为人工智能(AI)、音乐学和多模态推理交叉领域未来研究的严谨基础。 SingingSDS:面向对话角色扮演应用的具备歌唱能力的口语对话系统 论文:https://arxiv.org/abs/2511.20972 Demo:https://huggingface.co/spaces/espnet/SingingSDS 代码:https://github.com/SingingSDS/SingingSDS 随着自动语音识别(ASR)、大型语言模型(LLMs)和文本转语音(TTS)技术的最新进展,口语对话系统(SDS)已变得广泛可用。然而,大多数现有的 SDS 仅限于传统的语音回应。我们提出了 SingingSDS,这是一种级联式 SDS,它通过歌唱而非说话来回应,从而在基于角色的扮演和互动娱乐场景中促进更具情感、更难忘和更愉悦的互动。SingingSDS 采用模块化的 ASR LLM SVS 流水线,并支持跨角色设定、ASR 和 LLM 后端、SVS 模型、旋律来源和语音配置的广泛配置,以满足延迟、质量和音乐风格方面的不同需求。SingingSDS 作为一个即插即用的网页演示提供,具有支持定制和扩展的模块化开源代码。 CartoonSing:在歌声生成中统一人类与非人类音色 论文:https://arxiv.org/abs/2511.21045 歌声合成(SVS)和歌声转换(SVC)在生成听起来自然的人类歌声方面取得了显著进展。然而,现有系统仅限于人类音色,合成人类音域以外声音的能力有限,而电子游戏、电影和虚拟角色等创意应用对此类声音的需求日益增长。我们引入了非人类歌声生成(NHSG),涵盖非人类歌声合成(NHSVS)和非人类歌声转换(NHSVC),作为一个新颖的机器学习任务,用于生成具有非人类音色特征且音乐连贯的歌声。由于非人类歌声数据的稀缺、符号对齐的缺乏以及人类与非人类声音之间巨大的音色差距,NHSG 尤其具有挑战性。为了解决这些挑战,我们提出了 CartoonSing,这是一个统一框架,集成了歌声合成与转换,同时桥接了人类与非人类的歌声生成。CartoonSing 采用两阶段流水线:一个使用带标注的人类歌声训练的乐谱表征编码器,以及一个能重构人类和非人类音频波形的音色感知声码器。实验表明,CartoonSing 成功生成了非人类歌声,能够泛化到新颖的音色,并将传统的 SVS 和 SVC 扩展到了创造性的非人类歌声生成领域。 InstructAudio:基于自然语言指令的统一语音与音乐生成 论文:https://arxiv.org/abs/2511.18487 演示:https://qiangchunyu.github.io/InstructAudio/ 文本转语音(TTS)和文本转音乐(TTM)模型在基于指令的控制方面面临显著局限。TTS 系统通常依赖参考音频来确定音色,仅提供有限的文本级属性控制,且极少支持对话生成。TTM 系统则受限于依赖专家知识标注的输入条件要求。这些输入控制条件的高度异构性使得它们难以与语音合成进行联合建模。尽管这两个任务共享共同的声学建模特征,但长期以来一直是独立发展的,留下了通过自然语言指令实现统一建模的挑战。我们推出了 InstructAudio,这是一个统一框架,能够基于指令(自然语言描述)控制声学属性,包括音色(性别、年龄)、副语言(情感、风格、口音)和音乐性(流派、乐器、节奏、氛围)。它支持英语和中文的富有表现力的语音、音乐和对话生成。该模型采用联合及单体扩散 Transformer 层,配合标准化的指令 音素输入格式,在 50,000 小时语音和 20,000 小时音乐数据上进行训练,实现了多任务学习和跨模态对齐。图1 展示了与主流 TTS 和 TTM 模型的性能对比,证明 InstructAudio 在大多数指标上均取得了最佳结果。据我们所知,InstructAudio 代表了首个统一语音和音乐生成的指令控制框架。 LANDR 2025 AI音乐创作报告:AI工具渗透率达87%,重塑创作者工作流 报告:https://cdn.landr.com/files/How Musicians Use AI.pdf 音乐科技公司 LANDR 近期发布了针对全球1,241名音乐人的《2025年AI音乐创作现状调研报告》。该报告深入分析了AI工具在当代音乐创作中的应用现状与未来趋势。 报告主要数据点: • 普及程度: 87%的创作者已将AI工具整合至其工作流程中,核心驱动力在于弥补创作所需的技能与时间缺口。 • 应用领域分布: ◦ 内容生成:29%的受访者使用AI来生成特定歌曲片段,如人声或乐器部分,同时40%的创作者表示出尝试意愿。 ◦ 营销推广: 在非创作领域,对AI的依赖度更高,超80%的创作者表示希望利用AI进行专辑封面设计、受众数据分析及营销策略制定。 ◦ 内容生成:29%的受访者使用AI来生成特定歌曲片段,如人声或乐器部分,同时40%的创作者表示出尝试意愿。 ◦ 营销推广: 在非创作领域,对AI的依赖度更高,超80%的创作者表示希望利用AI进行专辑封面设计、受众数据分析及营销策略制定。 • 未来展望: 调研显示,69%的用户增加了AI的使用频率。更具前瞻性的是,90%的现有AI用户计划在明年进一步深化其应用。 这一趋势有力证明了AI正成为提高效率和产出的关键变量,报告明确指出,采用AI的创作者与坚持传统模式的制作者之间的差距正在持续且快速地扩大。 妙音AI平台正式上线,深耕方言与国风音乐创作 链接:https://www.miaoyin.live/ 2025年11月25日,国内AI音乐创作平台“妙音AI”正式上线,主打“3分钟生成专业级原创音乐”。该平台旨在为短视频创作者、播客及音乐人提供一站式解决方案,覆盖作词、作曲至人声演唱的全流程。 本土化创新是其核心优势。妙音AI推出了三大特色功能:一是场景化创作,覆盖婚礼、Vlog等20+场景,降低大众使用门槛;二是独创方言音乐馆,支持粤语、闽南语、上海话等主流方言的精准发音与韵律匹配;三是国风音乐专区,深度结合古诗词格律与民族乐器,精准还原东方韵味。 商业模式方面,平台采用积分制订阅,提供从免费体验到99元/月的商用授权套餐,明确版权归属。官方表示,未来计划上线UGC交易市场并开放API接口,致力于构建具有中国文化特色的AI音乐生态。 【AI+XR】GANTASMO利用VR头显演出AI音乐,新专辑《UNCANNY》将发布 blog:https://artintech.substack.com/p/gantasmo ai music interviews AI音乐组合GANTASMO(由Daniel Trujillo和Josh Valenzuela组成)正利用扩展现实(XR)技术,颠覆性地重新定义现场演出体验。他们的名字巧妙地融合了AI技术核心“GAN”(生成对抗网络)与漫画英雄“Phantasmo”,象征着艺术创作中“控制与臣服、实体与抽象”的深刻张力。 针对AI音乐长期面临的“难以现场表演”的痛点,GANTASMO给出了未来感十足的解决方案:他们利用定制的Meta Quest 3头显和先进的手势追踪技术,将虚拟乐器和视效在3D空间中具象化。这种高度便携且沉浸式的演出形式,极大地拓宽了AI音乐的表演边界。 他们的音乐风格被形容为“Beautifully Uncanny”。通过AI的非线性迭代,GANTASMO创作出富有层次感的声音景观,深入探索从环保主义到反战思潮等一系列引人深思的主题。 面对“AI扼杀创造力”的质疑,GANTASMO坚决地将其视为“表达工具而非替代品”,旨在利用技术力量打破传统创作壁垒。未来,该组合计划开源其自研工具,并持续探索AI与XR技术的融合边界。他们的最新单曲《Memento Mori pt I》已上线,备受期待的新专辑《UNCANNY》将于12月8日发布。 论文 Spheres 数据集:用于音乐源分离和信息检索的多轨管弦乐录音 论文:https://www.arxiv.org/abs/2511.21247 本文介绍了 The Spheres 数据集,这是一套专为推进古典音乐领域的音乐源分离及相关音乐信息检索(MIR)机器学习研究而设计的多轨管弦乐录音。该数据集包含 Colibrì Ensemble 乐团在 The Spheres 录音室演奏的超过一小时的音乐片段,涵盖两部经典作品——柴可夫斯基的《罗密欧与朱丽叶》和莫扎特的《第40号交响曲》,以及各乐器的半音阶和独奏片段。录音设置采用了23支麦克风,包括近距离点话筒、主话筒和环境话筒,从而能够创建具有可控串音(bleeding)的逼真立体声混音,并为源分离模型的监督训练提供隔离的分轨(stems)。此外,我们还估算了每个乐器位置的房间脉冲响应,为录音空间提供了宝贵的声学特征。我们展示了数据集的结构、声学分析,以及使用基于 X UMX 的模型进行管弦乐组分离和麦克风去串音的基线评估。结果突显了在复杂管弦乐场景中进行源分离的潜力和挑战,强调了该数据集在基准测试以及探索分离、定位、去混响和古典音乐沉浸式渲染新方法方面的价值。 BERT APC:一种通过音乐上下文推理实现的无参考自动音高修正框架 论文:https://arxiv.org/abs/2511.20006 自动音高修正(APC)通过将音高偏差对齐到预期的音符来增强人声录音。然而,现有的 APC 系统要么依赖参考音高,限制了其实际适用性;要么采用简单的音高估计算法,往往无法保留表现力和自然感。我们提出了 BERT APC,这是一种新颖的无参考 APC 框架,能够在修正音高错误的同时保持人声表演的自然表现力。在 BERT APC 中,一个新颖的平稳音高预测器首先从走调的歌声中估计每个音符的感知音高。随后,一个上下文感知音符音高预测器利用重新调整用途的音乐语言模型,结合音乐上下文来估计预期的音高序列。最后,音符级修正算法在修复音高错误的同时,保留了用于情感表达的有意音高偏差。此外,我们引入了一种可学习的数据增强策略,通过模拟逼真的走调模式来提高音乐语言模型的鲁棒性。与最近的两个歌声转录模型相比,BERT APC 在音符音高预测方面表现出卓越的性能,在高度走调样本的原始音高准确率上比第二名模型 ROSVOT 高出 10.49%。在 MOS 测试中,BERT APC 获得了 4.32 ± 0.15 的最高分,显著高于广泛使用的商业 APC 工具 AutoTune (3.22 ± 0.18) 和 Melodyne (3.08 ± 0.18),同时保持了相当的保留表现细微差别的能力。据我们所知,这是首个利用音乐语言模型实现结合符号音乐上下文的无参考音高修正的 APC 模型。BERT APC 的修正音频样本已在网上发布。 基于潜在扩散模型的高效快速生成式歌声分离 论文:https://arxiv.org/abs/2511.20470 从音乐混合信号中提取独立元素是音乐制作和练习的宝贵工具。虽然优化用于掩蔽或将混合频谱图转换为单独源的神经网络一直是主流方法,但音乐信号中的源重叠和相关性构成了固有挑战。此外,虽然获取混合信号中的所有源对于训练这些系统至关重要,但这往往很复杂。尽管已有尝试以生成式方式解决这些挑战,但分离性能和推理效率仍然有限。在这项工作中,我们研究了扩散模型在缩小这一差距方面的潜力,重点关注仅依赖对应隔离人声和混合信号对进行训练的生成式歌声分离。为了与创作工作流保持一致,我们利用了潜在扩散(Latent Diffusion):系统生成编码在紧凑潜在空间中的样本,随后将其解码为音频。这实现了高效的优化和更快的推理。我们的系统仅使用开放数据进行训练。我们在多项信号质量指标和干扰去除方面优于现有的生成式分离系统,并达到与非生成式系统相当的水平。我们提供了关于潜在编码器的噪声鲁棒性研究,对其在该任务中的潜力提供了见解。我们要发布了一个模块化工具包以供进一步研究该主题。 乐谱理解基准:评估大型语言模型对完整乐谱的理解能力 论文:https://arxiv.org/abs/2511.20697 理解完整的乐谱需要对音高、节奏、和声和曲式等符号结构进行推理。尽管大型语言模型(LLMs)和视觉语言模型(VLMs)在自然语言和多模态任务中取得了快速进展,但它们理解乐谱的能力仍未得到充分探索。我们推出了乐谱理解基准(MSU Bench),这是首个大规模、人工策划的基准,用于评估跨文本(ABC 记谱法)和视觉(PDF)模态的乐谱级音乐理解能力。MSU Bench 包含 1,800 个生成式问答对(QA),取材于巴赫、贝多芬、肖邦、德彪西等人的作品,并分为四个递进的理解层级:起始信息、记谱与音符、和弦与和声、以及织体与曲式。通过对 15 个以上最先进(SOTA)模型进行广泛的零样本和微调评估,我们揭示了明显的模态差距、脆弱的分级成功率以及维持多层级正确性的困难。微调显著提高了两种模态的性能,同时保留了通用知识,确立了 MSU Bench 作为人工智能(AI)、音乐学和多模态推理交叉领域未来研究的严谨基础。 SingingSDS:面向对话角色扮演应用的具备歌唱能力的口语对话系统 论文:https://arxiv.org/abs/2511.20972 Demo:https://huggingface.co/spaces/espnet/SingingSDS 代码:https://github.com/SingingSDS/SingingSDS 随着自动语音识别(ASR)、大型语言模型(LLMs)和文本转语音(TTS)技术的最新进展,口语对话系统(SDS)已变得广泛可用。然而,大多数现有的 SDS 仅限于传统的语音回应。我们提出了 SingingSDS,这是一种级联式 SDS,它通过歌唱而非说话来回应,从而在基于角色的扮演和互动娱乐场景中促进更具情感、更难忘和更愉悦的互动。SingingSDS 采用模块化的 ASR LLM SVS 流水线,并支持跨角色设定、ASR 和 LLM 后端、SVS 模型、旋律来源和语音配置的广泛配置,以满足延迟、质量和音乐风格方面的不同需求。SingingSDS 作为一个即插即用的网页演示提供,具有支持定制和扩展的模块化开源代码。 CartoonSing:在歌声生成中统一人类与非人类音色 论文:https://arxiv.org/abs/2511.21045 歌声合成(SVS)和歌声转换(SVC)在生成听起来自然的人类歌声方面取得了显著进展。然而,现有系统仅限于人类音色,合成人类音域以外声音的能力有限,而电子游戏、电影和虚拟角色等创意应用对此类声音的需求日益增长。我们引入了非人类歌声生成(NHSG),涵盖非人类歌声合成(NHSVS)和非人类歌声转换(NHSVC),作为一个新颖的机器学习任务,用于生成具有非人类音色特征且音乐连贯的歌声。由于非人类歌声数据的稀缺、符号对齐的缺乏以及人类与非人类声音之间巨大的音色差距,NHSG 尤其具有挑战性。为了解决这些挑战,我们提出了 CartoonSing,这是一个统一框架,集成了歌声合成与转换,同时桥接了人类与非人类的歌声生成。CartoonSing 采用两阶段流水线:一个使用带标注的人类歌声训练的乐谱表征编码器,以及一个能重构人类和非人类音频波形的音色感知声码器。实验表明,CartoonSing 成功生成了非人类歌声,能够泛化到新颖的音色,并将传统的 SVS 和 SVC 扩展到了创造性的非人类歌声生成领域。 InstructAudio:基于自然语言指令的统一语音与音乐生成 论文:https://arxiv.org/abs/2511.18487 演示:https://qiangchunyu.github.io/InstructAudio/ 文本转语音(TTS)和文本转音乐(TTM)模型在基于指令的控制方面面临显著局限。TTS 系统通常依赖参考音频来确定音色,仅提供有限的文本级属性控制,且极少支持对话生成。TTM 系统则受限于依赖专家知识标注的输入条件要求。这些输入控制条件的高度异构性使得它们难以与语音合成进行联合建模。尽管这两个任务共享共同的声学建模特征,但长期以来一直是独立发展的,留下了通过自然语言指令实现统一建模的挑战。我们推出了 InstructAudio,这是一个统一框架,能够基于指令(自然语言描述)控制声学属性,包括音色(性别、年龄)、副语言(情感、风格、口音)和音乐性(流派、乐器、节奏、氛围)。它支持英语和中文的富有表现力的语音、音乐和对话生成。该模型采用联合及单体扩散 Transformer 层,配合标准化的指令 音素输入格式,在 50,000 小时语音和 20,000 小时音乐数据上进行训练,实现了多任务学习和跨模态对齐。图1 展示了与主流 TTS 和 TTM 模型的性能对比,证明 InstructAudio 在大多数指标上均取得了最佳结果。据我们所知,InstructAudio 代表了首个统一语音和音乐生成的指令控制框架。 参考资料 https://www.linkedin.com/posts/valeriovelardo suno genai aimusic activity 7399371376052289536 07oQ?utm source=share&utm medium=member desktop&rcm=ACoAAEf4sYcB 7kwpHm7WTW6ML5ECD H8EXZk8c https://www.musicbusinessworldwide.com/warner music group settles with suno strikes first of its kind deal with ai song generator/ https://www.wmg.com/news/warner music group and suno forge groundbreaking partnership https://www.musicbusinessworldwide.com/warner music group settles with suno strikes first of its kind deal with ai song generator/?utm source=chatgpt.com https://mp.weixin.qq.com/s/vIKjsFA oR4 DYBEKDjNSA https://www.landr.com/ai https://china.qianlong.com/2025/1125/8586530.shtml 🏆 本文作者:智音Brook 链接:https://mp.weixin.qq.com/s/XzDEem9oFO6floTvpEmkuw 本文作者:智音Brook 链接:https://mp.weixin.qq.com/s/XzDEem9oFO6floTvpEmkuw 🚅 本周AI音乐行业迎来“合规化”与“本土化”双重突破。 合规化方面: AI巨头Suno与华纳音乐集团(WMG)达成战略合作并和解版权诉讼,标志着行业迈向正版化。作为调整,Suno将限制免费用户下载,并对付费用户下载实施月度配额。同时,ElevenLabs推出基于正版授权的"Eleven Music"模型,并明确了不同订阅等级的商用权限。 技术与本土化方面: 昆仑万维Mureka发布V7.6/O2双模型,提升音乐品质并优化商业API性能。国内平台妙音AI正式上线,主打“3分钟生成专业级原创”,并以独创的方言音乐馆和国风专区深耕本土化市场。 应用与趋势: LANDR报告显示,87%的全球音乐人已采用AI工具,且90%的采用者计划明年深化应用。此外,AI音乐组合GANTASMO利用XR技术(Meta Quest 3)重新定义了AI音乐的现场表演形式。 本周AI音乐行业迎来“合规化”与“本土化”双重突破。 合规化方面: AI巨头Suno与华纳音乐集团(WMG)达成战略合作并和解版权诉讼,标志着行业迈向正版化。作为调整,Suno将限制免费用户下载,并对付费用户下载实施月度配额。同时,ElevenLabs推出基于正版授权的"Eleven Music"模型,并明确了不同订阅等级的商用权限。 技术与本土化方面: 昆仑万维Mureka发布V7.6/O2双模型,提升音乐品质并优化商业API性能。国内平台妙音AI正式上线,主打“3分钟生成专业级原创”,并以独创的方言音乐馆和国风专区深耕本土化市场。 应用与趋势: LANDR报告显示,87%的全球音乐人已采用AI工具,且90%的采用者计划明年深化应用。此外,AI音乐组合GANTASMO利用XR技术(Meta Quest 3)重新定义了AI音乐的现场表演形式。 Suno与WMG战略合作并和解诉讼,平台下载功能将受限 blog:https://suno.com/blog/wmg partnership 2025年11月25日,AI音乐生成巨头Suno宣布与华纳音乐集团(WMG)建立战略合作伙伴关系,并同时解决了双方之间的版权诉讼。 合作核心与行业意义: 此次合作被视为AI音乐产业走向正规化、合规化的关键一步。双方将基于正版授权数据库,共同开发面向未来的“下一代AI模型”。根据协议,WMG旗下艺人能够选择性地将其声音与作品纳入AI训练或生成体系,并依此获得相应的报酬。 值得关注的是,作为协议的组成部分,Suno完成了对WMG旗下全球演出发现平台Songkick的收购,显示出其在音乐生态链上的扩张意图。 用户体验与平台规则变化: Suno平台规则即将迎来重大调整,旨在配合新模型(计划于2026年上线并逐步取代旧模型)对版权的更高要求: • 免费用户限制: 生成的音频将仅支持在线播放与分享,取消下载功能。 • 付费用户限制: 下载权限将不再无限,而是受到月度配额的严格限制。 据悉,Suno此前已完成2.5亿美元融资,估值达到24.5亿美元,为其向全新的正版授权模式转型提供了强大的资金支持。 Mureka发布V7.6/O2双模型:音乐性大幅提升,全面拥抱商业化 链接:https://www.mureka.cn/ 昆仑万维旗下AI音乐平台Mureka宣布重磅升级,正式发布V7.6和O2两款全新模型,旨在加速AI音乐的商业化与实时互动应用。 技术升级核心: • V7.6(品质飞跃): 基于MusiCoT架构优化,显著提升了编曲张力与混音质感。重点优化了中文歌曲的咬字和情感表现,使AI作品更具音乐性。 • O2(性能担当): 主打轻量、高并发、低成本调用,完美适配移动端和实时互动等大规模商业API场景。 Mureka全球用户已近700万。此次双模型迭代标志着平台正从单纯的生成工具,战略转向高质量、高性价比的商业化音乐生态服务。 ElevenLabs 发布 "Eleven Music" 音乐生成模型,全面支持商业授权 blog:https://elevenlabs.io/blog/eleven music is here 使用条款:https://elevenlabs.io/eleven music v1 terms ElevenLabs 最近更新了相关博客,正式推出 "Eleven Music" 音乐生成模型,该模型支持通过自然语言提示生成录音室级别的多语言(英、西、德、日等)歌曲或纯器乐作品,用户可精准控制曲风与结构,并编辑歌词或音频片段。 同时,在商业授权与订阅分级中,明确说明该模型是基于与唱片公司及艺人的正版合作开发的。 另外,根据最新发布的使用条款,不同订阅等级对应不同商用权限: • 免费版:仅限个人非商业使用,禁止下载。 • Starter/Creator版:允许社交媒体分享与自媒体(非赞助)使用,禁止广告、影视及离线商用。 • Pro及以上版本:解锁独立游戏、网络广告及部分企业用途,并提供高质量下载及API访问权限。 需注意,所有版本在发布时均需署名 "Created in collaboration with ElevenLabs",且严禁直接利用生成内容建立音乐库或转售模型服务。API 接口已同步开放。