AI音乐周刊 W.A 018

AI音乐周刊 W.A 018 AI音乐周刊 W.A 018 Modified March 9 为了应对这一浪潮，各大平台纷纷采取行动：Spotify 加强了反垃圾与声音克隆政策，并在过去一年清理了 7500 万首垃圾音轨；Deezer 则全面启用了 AI 音频检测工具。与此同时，传统创作者的反击也在升温，各大维权组织近日发起了“对 Suno 说不”的联合抵制活动，指责 AI 音乐稀释了人类艺术家的版税池，并引发了持续的版权纠纷。 Charlie Puth 加盟 AI 音乐平台 Moises，出任首席音乐官 3 月 4 日，全球拥有超 7000 万用户的知名 AI 音乐平台 Moises 宣布，曾获格莱美提名的知名歌手兼制作人 Charlie Puth（断眉）正式加盟，出任其首席音乐官（Chief Music Officer）。他将以专业音乐人的视角，深度参与并主导平台 AI 工具的创意与产品方向。 Charlie Puth 透露，自己多年来一直在日常创作中使用 Moises 来分离人声和测试编曲。他与 Moises CEO Geraldo Ramos 强调了一个核心共识：AI 不应是替你写歌的“数字代笔”，而应是艺术家手中的“画笔”。良好的 AI 工具应当用来放大人类不可替代的直觉、情感与艺术视野，帮助音乐人更高效地学习、排练与实现创意。为庆祝此次合作，双方联合推出了全球混音大赛。参赛者可通过 Moises App 独家获取 Charlie Puth 最新单曲《Beat Yourself Up》（收录于 3 月 27 日发行的新专《Whatever's Clever!》）的独立分轨（Stems）进行重混或翻唱。Charlie Puth 将亲自评选出获胜者，奖池包含 10 万美元现金与奖品，以及 5 月 29 日纽约麦迪逊广场花园演唱会的后台见面机会。活动将于 3 月 31 日截止。英国上议院发布 AI 版权报告：无授权 AI 训练对创意产业构成“现实威胁” 3月6日，英国音乐协会（UK Music）首席执行官 Tom Kiehl 对英国上议院通信与数字委员会最新发布的《AI 与版权》报告表示强烈支持。该报告明确警告，未经授权的生成式 AI 训练正对英国引以为傲的音乐及创意产业构成“明显且现实的威胁（Clear and present danger）”。为了在 AI 创新与版权保护间寻找平衡，报告向英国政府提出了多项关键性建议： • 拒绝“退出（Opt out）”机制：强烈敦促政府放弃为商业 AI 训练设立文本和数据挖掘（TDM）豁免权，并拒绝不切实际的“退出”模式，呼吁全面建立“授权优先（Licensing first）”的公平市场。 • 强制透明度法制化：建议将 AI 训练数据的透明度规定为一项法定义务，并制定数据溯源与标签的技术标准。 • 发展本土透明 AI：呼吁优先发展受国内监管的“主权 AI 系统”，避免过度依赖训练数据不透明的美国大模型。 • 严打“数字克隆”：强调必须加强法律护栏，严厉打击未经授权的数字分身及“仿制某人风格”的侵权行为。委员会指出，绝不能为了迎合美国科技巨头而开启“逐底竞争”，从而削弱英国现有的“黄金标准”版权法。UK Music 强调，英国正处于十字路口，政府必须做出选择：是成为合规 AI 的全球领导者，还是将每年贡献 80 亿英镑经济价值的音乐产业“出卖”给缺乏底线的科技公司。 Cryo Mix 推出 Nova AI 混音助手：用自然语言实现透明、平价的专业后期近日，Cryo Mix 正式发布了名为 Nova 的 AI 混音与母带处理助手。该工具由白金级混音工程师 Craig McAllister 倾力打造，旨在解决多数独立音乐人无力承担高昂后期费用的痛点，通过 AI 将动辄成百上千欧元的混音成本降至几欧元。功能亮点 • 自然语言驱动：用户最多可上传 32 轨分轨（Stems），只需用简单的日常语言描述所需效果，Nova 即可智能执行均衡器（EQ）平衡、压缩、立体声声像定位及响度优化等专业级处理。 • “白盒化”教学体验：区别于传统的“黑盒”AI，Nova 极具透明度。它会向用户展示对每一轨做出的具体决策细节（包括 EQ 校正和压缩参数）。这不仅赋予了创作者控制权，更让每次混音变成了一堂直观的后期教学课。 • 极致性价比：相比人类工程师单曲 200 至 1000 欧元的报价，Nova 月度订阅仅需 19 欧元起；在 39 欧元的创作者计划下，单曲处理成本低至约 2.40 欧元，且免费账户在扣除积分前支持试听完整混音。这款工具的问世，为个人创作者提供了一个兼具高性价比与教育意义的专业级混音替代方案。入口：https://cryo mix.com/?ref=aimusicpreneur 论文 🚀 以下是3.3—3.9 期间发布的相关论文，已整理翻译文明之声：面向全球音乐理解的多语言问答基准摘要：我们介绍了“文明之声”（Voices of Civilizations），这是首个用于评估音频大语言模型（LLMs）对完整音乐录音文化理解能力的多语言问答基准测试。该基准涵盖了 38 种语言的 380 首曲目，我们的自动化管道通过四个阶段（每个阶段均辅以人工验证）生成了 1,190 道多项选择题：1）编制具有代表性的音乐列表；2）通过 LLMs 为音乐列表中的每个样本生成文化背景文档；3）从这些文档中提取关键属性；4）构建探究语言、地域关联、情绪和主题内容的多项选择题。我们在四种条件下对模型进行评估，并报告了每种语言的准确率。我们的研究结果表明，即使是最先进的音频 LLMs，在缺乏丰富文本上下文的情况下也难以捕捉微妙的文化细微差别，并且在解释来自不同文化传统的音乐时表现出系统性偏见。该数据集已在 Hugging Face 上公开，以促进具有文化包容性的音乐理解研究。论文： https://arxiv.org/abs/2603.00533 面向符号音乐生成的高效长序列扩散建模摘要：符号音乐生成是多媒体生成中一项具有挑战性的任务，涉及具有分层时间结构、长程依赖和细粒度局部细节的长序列。尽管最近基于扩散的模型能够产生高质量的生成结果，但由于迭代去噪以及与序列长度相关的计算开销，它们在处理长符号序列时往往面临着高昂的训练和推理成本。为了解决这一问题，我们提出了一种名为 SMDIM 的扩散策略，将高效的全局结构构建与轻量级的局部细化相结合。SMDIM 使用结构化状态空间模型（Structured State Space Models）以接近线性的成本捕获长程音乐上下文，并通过混合细化方案选择性地细化局部音乐细节。在涵盖各种西方古典音乐、流行音乐和传统民间音乐的广泛符号音乐数据集上进行的实验表明，SMDIM 模型在生成质量和计算效率上均优于其他最先进的方法，并且对未充分探索的音乐风格具有强大的泛化能力。这些结果表明，SMDIM 为长序列符号音乐生成（包括伴随序列的相关属性）提供了一个原则性的解决方案。论文： https://arxiv.org/abs/2603.00576 CMI RewardBench：使用组合多模态指令评估音乐奖励模型摘要：尽管音乐生成模型已经发展到能够处理混合了文本、歌词和参考音频的复杂多模态输入，但评估机制却滞后了。在本文中，我们通过建立一个在组合多模态指令（CMI）下进行音乐奖励建模的综合生态系统，弥补了这一关键差距，其中生成的音乐可以基于文本描述、歌词和音频提示。我们首先引入了 CMI Pref Pseudo（一个包含 11 万个伪标签样本的大规模偏好数据集）以及 CMI Pref（一个为细粒度对齐任务量身定制的高质量人工标注语料库）。为了统一评估环境，我们提出了 CMI RewardBench，这是一个统一的基准测试，用于评估音乐奖励模型在异构样本上的音乐性、文本音乐对齐以及组合指令对齐情况。利用这些资源，我们开发了 CMI 奖励模型（CMI RMs），这是一个能够处理异构输入的参数高效的奖励模型系列。我们评估了它们在 CMI Pref 以及先前数据集上与人类判断得分（在音乐性和对齐方面）的相关性。进一步的实验表明，CMI RM 不仅与人类判断高度相关，而且还能通过 Top k 过滤实现有效的推理时扩展。论文： https://arxiv.org/abs/2603.00610 SyncTrack：多轨音乐生成中的节奏稳定性与同步摘要：由于其精确的混音和重混音能力，多轨音乐生成引起了广泛的研究兴趣。然而，现有的模型通常忽视了节奏稳定性和同步性等基本属性，导致它们更关注轨道之间的差异，而非其内在属性。在本文中，我们介绍了 SyncTrack，这是一种同步多轨波形音乐生成模型，旨在捕捉多轨音乐的独特特征。SyncTrack 采用了一种新颖的架构，其中包括用于在所有轨道上建立共同节奏的“轨道共享模块”，以及用于适应不同音色和音高范围的“轨道特定模块”。每个轨道共享模块采用两种跨轨道注意力机制来同步节奏信息，而每个轨道特定模块则利用可学习的乐器先验来更好地表示音色和其他独有特征。此外，我们通过引入三个衡量节奏一致性的新指标来增强对多轨音乐质量的评估：轨内节奏稳定性（IRS）、跨轨节拍同步（CBS）和跨轨节拍分散度（CBD）。实验表明，SyncTrack 通过增强节奏一致性，显著提升了多轨音乐的生成质量。论文： https://arxiv.org/abs/2603.01101 TQCodec：面向高保真音乐流媒体的神经音频编解码器摘要：我们提出了一种专为高码率、高保真音乐流媒体设计的神经音频编解码器 TQCodec。与主要针对超低码率（<= 16kbps）的现有神经编解码器不同，TQCodec 在 44.1 kHz 下运行，支持 32 kbps 到 128 kbps 的码率，与现代音乐流媒体平台的标准质量相一致。该模型采用了基于 SEANet 的编码器解码器架构，以实现高效的端侧计算，并引入了多项增强功能：旨在以低开销提高质量的不平衡网络设计、用于保留中频细节的 SimVQ，以及感知相位的波形损失。此外，我们还引入了一种感知驱动的逐频带比特分配策略，优先考虑在感知上至关重要的低频部分。在不同音乐数据集上的评估表明，TQCodec 在目标码率下实现了卓越的音频质量，使其非常适合高质量的音频应用。论文： https://arxiv.org/abs/2603.01592 ViTex：通过离散扩散模型实现多轨符号音乐生成的视觉纹理控制摘要：在自动音乐生成中，一个核心挑战是设计能够实现有意义的人机交互的控制方式。现有的系统通常依赖于文本提示或元数据等外部输入，这使得人类无法直接塑造乐曲的构成。虽然先前的研究探索了和弦或层次结构等内在控制，但这些方法主要针对钢琴或人声伴奏场景，多轨符号音乐在很大程度上仍未被充分探索。我们将“配器”（即乐器的选择及其作用）确定为多轨作曲中一个自然的控制维度，并提出了 ViTex，这是一种乐器纹理的视觉表示方法。在 ViTex 中，颜色对乐器选择进行编码，空间位置表示音高和时间，笔触属性则捕捉局部纹理。基于这种表示方法，我们开发了一个以 ViTex 和和弦进行为条件的离散扩散模型，用于生成 8 小节的多轨符号音乐，在保持强大的无条件生成质量的同时，实现了明确的纹理级控制。论文： https://arxiv.org/abs/2603.01984 结合 BandSplit RoFormer 分离与 HiFi++ GAN 的多阶段音乐声源恢复摘要：音乐声源恢复（MSR）旨在从经过完全混音和母带处理的音频中恢复出原始的、未经处理的乐器分轨，在这些音频中，后期制作效果和分发伪影破坏了常见的线性混合假设。本技术报告介绍了 CP JKU 团队为 ICASSP 2025 MSR 挑战赛提交的系统。我们的方法将 MSR 分解为分离和恢复两个部分。首先，单个 BandSplit RoFormer 分离器预测八个分轨外加一个辅助的“其他”分轨，并使用三阶段课程进行训练，该课程从 4 分轨热启动微调（使用 LoRA）过渡到通过“头部扩展”实现的 8 分轨扩展。其次，我们应用 HiFi++ GAN 波形恢复器，将其首先作为通用模型进行训练，随后专门化为八个针对特定乐器的专家模型。论文： https://arxiv.org/abs/2603.04032 LabelBuddy：一款使用 AI 辅助的开源音乐与音频语言注释标记工具摘要：机器学习（ML）、大型音频语言模型（LALMs）以及自动 AI 智能体在音乐信息检索（MIR）领域的进步，要求人们从静态标记转向丰富的、与人类意图对齐的表征学习。然而，能够捕捉音频注释主观细微差别的开源基础设施的匮乏，仍然是一个关键瓶颈。本文介绍了 LabelBuddy，这是一款开源的协作式自动标记音频注释工具，旨在弥合人类意图与机器理解之间的差距。与静态工具不同，它通过容器化后端将界面与推理过程解耦，允许用户插入自定义模型以进行 AI 辅助的预注释。我们描述了系统架构，它支持多用户共识、容器化模型隔离，并提供了扩展智能体和 LALM 的路线图。为了应对这一浪潮，各大平台纷纷采取行动：Spotify 加强了反垃圾与声音克隆政策，并在过去一年清理了 7500 万首垃圾音轨；Deezer 则全面启用了 AI 音频检测工具。与此同时，传统创作者的反击也在升温，各大维权组织近日发起了“对 Suno 说不”的联合抵制活动，指责 AI 音乐稀释了人类艺术家的版税池，并引发了持续的版权纠纷。 Charlie Puth 加盟 AI 音乐平台 Moises，出任首席音乐官 3 月 4 日，全球拥有超 7000 万用户的知名 AI 音乐平台 Moises 宣布，曾获格莱美提名的知名歌手兼制作人 Charlie Puth（断眉）正式加盟，出任其首席音乐官（Chief Music Officer）。他将以专业音乐人的视角，深度参与并主导平台 AI 工具的创意与产品方向。 Charlie Puth 透露，自己多年来一直在日常创作中使用 Moises 来分离人声和测试编曲。他与 Moises CEO Geraldo Ramos 强调了一个核心共识：AI 不应是替你写歌的“数字代笔”，而应是艺术家手中的“画笔”。良好的 AI 工具应当用来放大人类不可替代的直觉、情感与艺术视野，帮助音乐人更高效地学习、排练与实现创意。为庆祝此次合作，双方联合推出了全球混音大赛。参赛者可通过 Moises App 独家获取 Charlie Puth 最新单曲《Beat Yourself Up》（收录于 3 月 27 日发行的新专《Whatever's Clever!》）的独立分轨（Stems）进行重混或翻唱。Charlie Puth 将亲自评选出获胜者，奖池包含 10 万美元现金与奖品，以及 5 月 29 日纽约麦迪逊广场花园演唱会的后台见面机会。活动将于 3 月 31 日截止。英国上议院发布 AI 版权报告：无授权 AI 训练对创意产业构成“现实威胁” 3月6日，英国音乐协会（UK Music）首席执行官 Tom Kiehl 对英国上议院通信与数字委员会最新发布的《AI 与版权》报告表示强烈支持。该报告明确警告，未经授权的生成式 AI 训练正对英国引以为傲的音乐及创意产业构成“明显且现实的威胁（Clear and present danger）”。为了在 AI 创新与版权保护间寻找平衡，报告向英国政府提出了多项关键性建议： • 拒绝“退出（Opt out）”机制：强烈敦促政府放弃为商业 AI 训练设立文本和数据挖掘（TDM）豁免权，并拒绝不切实际的“退出”模式，呼吁全面建立“授权优先（Licensing first）”的公平市场。 • 强制透明度法制化：建议将 AI 训练数据的透明度规定为一项法定义务，并制定数据溯源与标签的技术标准。 • 发展本土透明 AI：呼吁优先发展受国内监管的“主权 AI 系统”，避免过度依赖训练数据不透明的美国大模型。 • 严打“数字克隆”：强调必须加强法律护栏，严厉打击未经授权的数字分身及“仿制某人风格”的侵权行为。委员会指出，绝不能为了迎合美国科技巨头而开启“逐底竞争”，从而削弱英国现有的“黄金标准”版权法。UK Music 强调，英国正处于十字路口，政府必须做出选择：是成为合规 AI 的全球领导者，还是将每年贡献 80 亿英镑经济价值的音乐产业“出卖”给缺乏底线的科技公司。 Cryo Mix 推出 Nova AI 混音助手：用自然语言实现透明、平价的专业后期近日，Cryo Mix 正式发布了名为 Nova 的 AI 混音与母带处理助手。该工具由白金级混音工程师 Craig McAllister 倾力打造，旨在解决多数独立音乐人无力承担高昂后期费用的痛点，通过 AI 将动辄成百上千欧元的混音成本降至几欧元。功能亮点 • 自然语言驱动：用户最多可上传 32 轨分轨（Stems），只需用简单的日常语言描述所需效果，Nova 即可智能执行均衡器（EQ）平衡、压缩、立体声声像定位及响度优化等专业级处理。 • “白盒化”教学体验：区别于传统的“黑盒”AI，Nova 极具透明度。它会向用户展示对每一轨做出的具体决策细节（包括 EQ 校正和压缩参数）。这不仅赋予了创作者控制权，更让每次混音变成了一堂直观的后期教学课。 • 极致性价比：相比人类工程师单曲 200 至 1000 欧元的报价，Nova 月度订阅仅需 19 欧元起；在 39 欧元的创作者计划下，单曲处理成本低至约 2.40 欧元，且免费账户在扣除积分前支持试听完整混音。这款工具的问世，为个人创作者提供了一个兼具高性价比与教育意义的专业级混音替代方案。入口：https://cryo mix.com/?ref=aimusicpreneur 论文 🚀 以下是3.3—3.9 期间发布的相关论文，已整理翻译以下是3.3—3.9 期间发布的相关论文，已整理翻译文明之声：面向全球音乐理解的多语言问答基准摘要：我们介绍了“文明之声”（Voices of Civilizations），这是首个用于评估音频大语言模型（LLMs）对完整音乐录音文化理解能力的多语言问答基准测试。该基准涵盖了 38 种语言的 380 首曲目，我们的自动化管道通过四个阶段（每个阶段均辅以人工验证）生成了 1,190 道多项选择题：1）编制具有代表性的音乐列表；2）通过 LLMs 为音乐列表中的每个样本生成文化背景文档；3）从这些文档中提取关键属性；4）构建探究语言、地域关联、情绪和主题内容的多项选择题。我们在四种条件下对模型进行评估，并报告了每种语言的准确率。我们的研究结果表明，即使是最先进的音频 LLMs，在缺乏丰富文本上下文的情况下也难以捕捉微妙的文化细微差别，并且在解释来自不同文化传统的音乐时表现出系统性偏见。该数据集已在 Hugging Face 上公开，以促进具有文化包容性的音乐理解研究。论文： https://arxiv.org/abs/2603.00533 面向符号音乐生成的高效长序列扩散建模摘要：符号音乐生成是多媒体生成中一项具有挑战性的任务，涉及具有分层时间结构、长程依赖和细粒度局部细节的长序列。尽管最近基于扩散的模型能够产生高质量的生成结果，但由于迭代去噪以及与序列长度相关的计算开销，它们在处理长符号序列时往往面临着高昂的训练和推理成本。为了解决这一问题，我们提出了一种名为 SMDIM 的扩散策略，将高效的全局结构构建与轻量级的局部细化相结合。SMDIM 使用结构化状态空间模型（Structured State Space Models）以接近线性的成本捕获长程音乐上下文，并通过混合细化方案选择性地细化局部音乐细节。在涵盖各种西方古典音乐、流行音乐和传统民间音乐的广泛符号音乐数据集上进行的实验表明，SMDIM 模型在生成质量和计算效率上均优于其他最先进的方法，并且对未充分探索的音乐风格具有强大的泛化能力。这些结果表明，SMDIM 为长序列符号音乐生成（包括伴随序列的相关属性）提供了一个原则性的解决方案。论文： https://arxiv.org/abs/2603.00576 CMI RewardBench：使用组合多模态指令评估音乐奖励模型摘要：尽管音乐生成模型已经发展到能够处理混合了文本、歌词和参考音频的复杂多模态输入，但评估机制却滞后了。在本文中，我们通过建立一个在组合多模态指令（CMI）下进行音乐奖励建模的综合生态系统，弥补了这一关键差距，其中生成的音乐可以基于文本描述、歌词和音频提示。我们首先引入了 CMI Pref Pseudo（一个包含 11 万个伪标签样本的大规模偏好数据集）以及 CMI Pref（一个为细粒度对齐任务量身定制的高质量人工标注语料库）。为了统一评估环境，我们提出了 CMI RewardBench，这是一个统一的基准测试，用于评估音乐奖励模型在异构样本上的音乐性、文本音乐对齐以及组合指令对齐情况。利用这些资源，我们开发了 CMI 奖励模型（CMI RMs），这是一个能够处理异构输入的参数高效的奖励模型系列。我们评估了它们在 CMI Pref 以及先前数据集上与人类判断得分（在音乐性和对齐方面）的相关性。进一步的实验表明，CMI RM 不仅与人类判断高度相关，而且还能通过 Top k 过滤实现有效的推理时扩展。论文： https://arxiv.org/abs/2603.00610 SyncTrack：多轨音乐生成中的节奏稳定性与同步摘要：由于其精确的混音和重混音能力，多轨音乐生成引起了广泛的研究兴趣。然而，现有的模型通常忽视了节奏稳定性和同步性等基本属性，导致它们更关注轨道之间的差异，而非其内在属性。在本文中，我们介绍了 SyncTrack，这是一种同步多轨波形音乐生成模型，旨在捕捉多轨音乐的独特特征。SyncTrack 采用了一种新颖的架构，其中包括用于在所有轨道上建立共同节奏的“轨道共享模块”，以及用于适应不同音色和音高范围的“轨道特定模块”。每个轨道共享模块采用两种跨轨道注意力机制来同步节奏信息，而每个轨道特定模块则利用可学习的乐器先验来更好地表示音色和其他独有特征。此外，我们通过引入三个衡量节奏一致性的新指标来增强对多轨音乐质量的评估：轨内节奏稳定性（IRS）、跨轨节拍同步（CBS）和跨轨节拍分散度（CBD）。实验表明，SyncTrack 通过增强节奏一致性，显著提升了多轨音乐的生成质量。论文： https://arxiv.org/abs/2603.01101 TQCodec：面向高保真音乐流媒体的神经音频编解码器摘要：我们提出了一种专为高码率、高保真音乐流媒体设计的神经音频编解码器 TQCodec。与主要针对超低码率（<= 16kbps）的现有神经编解码器不同，TQCodec 在 44.1 kHz 下运行，支持 32 kbps 到 128 kbps 的码率，与现代音乐流媒体平台的标准质量相一致。该模型采用了基于 SEANet 的编码器解码器架构，以实现高效的端侧计算，并引入了多项增强功能：旨在以低开销提高质量的不平衡网络设计、用于保留中频细节的 SimVQ，以及感知相位的波形损失。此外，我们还引入了一种感知驱动的逐频带比特分配策略，优先考虑在感知上至关重要的低频部分。在不同音乐数据集上的评估表明，TQCodec 在目标码率下实现了卓越的音频质量，使其非常适合高质量的音频应用。论文： https://arxiv.org/abs/2603.01592 ViTex：通过离散扩散模型实现多轨符号音乐生成的视觉纹理控制摘要：在自动音乐生成中，一个核心挑战是设计能够实现有意义的人机交互的控制方式。现有的系统通常依赖于文本提示或元数据等外部输入，这使得人类无法直接塑造乐曲的构成。虽然先前的研究探索了和弦或层次结构等内在控制，但这些方法主要针对钢琴或人声伴奏场景，多轨符号音乐在很大程度上仍未被充分探索。我们将“配器”（即乐器的选择及其作用）确定为多轨作曲中一个自然的控制维度，并提出了 ViTex，这是一种乐器纹理的视觉表示方法。在 ViTex 中，颜色对乐器选择进行编码，空间位置表示音高和时间，笔触属性则捕捉局部纹理。基于这种表示方法，我们开发了一个以 ViTex 和和弦进行为条件的离散扩散模型，用于生成 8 小节的多轨符号音乐，在保持强大的无条件生成质量的同时，实现了明确的纹理级控制。论文： https://arxiv.org/abs/2603.01984 结合 BandSplit RoFormer 分离与 HiFi++ GAN 的多阶段音乐声源恢复摘要：音乐声源恢复（MSR）旨在从经过完全混音和母带处理的音频中恢复出原始的、未经处理的乐器分轨，在这些音频中，后期制作效果和分发伪影破坏了常见的线性混合假设。本技术报告介绍了 CP JKU 团队为 ICASSP 2025 MSR 挑战赛提交的系统。我们的方法将 MSR 分解为分离和恢复两个部分。首先，单个 BandSplit RoFormer 分离器预测八个分轨外加一个辅助的“其他”分轨，并使用三阶段课程进行训练，该课程从 4 分轨热启动微调（使用 LoRA）过渡到通过“头部扩展”实现的 8 分轨扩展。其次，我们应用 HiFi++ GAN 波形恢复器，将其首先作为通用模型进行训练，随后专门化为八个针对特定乐器的专家模型。论文： https://arxiv.org/abs/2603.04032 LabelBuddy：一款使用 AI 辅助的开源音乐与音频语言注释标记工具摘要：机器学习（ML）、大型音频语言模型（LALMs）以及自动 AI 智能体在音乐信息检索（MIR）领域的进步，要求人们从静态标记转向丰富的、与人类意图对齐的表征学习。然而，能够捕捉音频注释主观细微差别的开源基础设施的匮乏，仍然是一个关键瓶颈。本文介绍了 LabelBuddy，这是一款开源的协作式自动标记音频注释工具，旨在弥合人类意图与机器理解之间的差距。与静态工具不同，它通过容器化后端将界面与推理过程解耦，允许用户插入自定义模型以进行 AI 辅助的预注释。我们描述了系统架构，它支持多用户共识、容器化模型隔离，并提供了扩展智能体和 LALM 的路线图。论文： https://arxiv.org/abs/2603.04293 用于可控潜在音频扩散的低资源引导摘要：生成式音频需要细粒度的可控输出，然而大多数现有方法需要针对特定控制重新训练模型，或者使用计算量可能非常庞大的推理时控制（例如引导，guidance）。通过审查现有基于引导的控制方法的瓶颈，特别是由于解码器反向传播导致的每步高昂成本，我们引入了一种通过选择性 TFG 和潜在控制头（LatCHs）实现的基于引导的方法，从而能够以较低的计算开销控制潜在音频扩散模型。LatCHs 直接在潜在空间中运行，避免了昂贵的解码器步骤，并需要极少的训练资源（700 万参数和不到 4 小时的训练）。在 Stable Audio Open 上的实验表明，该方法能够有效控制强度、音高和节拍（及其组合），同时保持生成质量。与标准的端到端引导相比，我们的方法在平衡精度和音频保真度的同时，计算成本要低得多。论文： https://arxiv.org/abs/2603.04366 PolyBench：用于复音音频中组合推理的基准测试摘要：大型音频语言模型（LALMs）在音频推理方面的能力日益增强。然而，现有的基准测试在复音音频推理方面的覆盖范围有限，在复音音频中，多个声音事件同时发生并引发组合结构。在这项工作中，我们介绍了 PolyBench，这是一个旨在评估复音音频中组合推理能力的基准测试。PolyBench 包含五个评估子集，涵盖计数、分类、检测、并发性和持续时间估计，这需要对多个并发事件及其相互关系进行推理。对最先进的 LALM 的评估显示，它们在复音音频中的表现持续下降，这表明当前 LALM 存在一个根本性的瓶颈。论文： https://arxiv.org/abs/2603.05128 参考资料 https://www.linkedin.com/posts/aiode meet ido namer aka tiger beats now live activity 7434230803187867648 PR0Y?utm source=share&utm medium=member desktop&rcm=ACoAAEf4sYcB 7kwpHm7WTW6ML5ECD H8EXZk8c https://mp.weixin.qq.com/s/8RpTRVsEQwroo77pFh671g https://www.forbes.com/sites

在小宇宙note 阅读完整内容