AI音乐周刊 W.A 005

AI音乐周刊 W.A 005 AI音乐周刊 W.A 005 Modified December 8, 2025 No access YingVideo MV demo 00:00 No access audioshake 00:00 Project LYDIA 是与 Roland Future Design Lab 共同研发的成果，旨在通过硬件形式探索 AI 与音乐创作的结合。该项目展示了一种 DIY AI 效果器（Effect Box）的技术预览版，它打破了软件的界限，将 AI 模型实体化。核心亮点： • 硬件化的 AI 引擎：作为项目的第一步，团队成功将 Neutone 的实时音色转换（Timbre Transfer）引擎 “Morpho” 植入到了物理硬件中。 • AI 时代的 DIY 精神：该设备允许艺术家训练并加载自定义的 AI 模型。这不仅仅是一个预设的效果器，而是一个开放的容器，承载创作者独特的听觉审美。 • 直观的“AI 乐器”：相比于在电脑上敲代码或调整参数，Project LYDIA 旨在提供可触摸、可直观操作的物理交互体验，让 AI 真正变成一种可以演奏的“乐器”。对于 Qosmo 和 Neutone 而言，这是在“AI x 创造性”实验道路上跨出的重要一步。它标志着 AI 音频技术正从单纯的后期处理软件，向实时表演和物理交互的硬件领域迈进。国产自研 AI 音乐产品“音潮”正式公测链接：https://www.yinchaoyongxian.com/ 近期，在上海世界人工智能大会（WAIC）的相关活动中，自由量级创始人姜涛正式对外展示了其公司研发的 AI 音乐 App——“音潮”，并宣布开启公测。作为国内少有的全栈自研端到端音乐大模型，音潮主打“更懂中文”，针对中文咬字与声调深度优化，解决海外模型（如 Suno）水土不服的痛点。核心亮点： 1. 多模态创作：支持“一句话生歌”及“上传照片生歌”，内置 Agent 可根据用户场景（如驾驶、心情）智能定制音乐。2. 特色功能：独创结合中医“五音”理论的疗愈音乐，并与上海中医院合作。3. 商业落地：已与字节跳动及车企达成 API 合作，且生成的 WAIC 主题曲已达商业发行级标准。官方承诺 C 端用户生成内容的版权归用户所有，致力于实现音乐创作的低门槛普惠。 NeurIPS 2025：5978篇论文“唱出歌来” 链接：https://paper2song.com/ 第39届NeurIPS（Neural Information Processing Systems）于2025年12月2 7日在美国圣迭戈（及墨西哥城、哥本哈根部分会场）盛大举行。本届大会收到超过1.3万篇投稿，最终接受5978篇论文，创历史新高，涵盖大模型、具身智能、蛋白质设计、扩散模型等前沿方向。 Christian Steinmetz突发奇想，用Suno AI把全部5978篇论文标题+摘要直接生成歌曲！你可以在网站内搜索任何一篇论文，听它“唱”出自己的故事——从蛋白质词汇到随机动力学安全控制，全都变成了带旋律的rap、摇滚或抒情歌，目前最火的是《Four Kinds of Wrong》这首“diss自己论文”的神曲。太会玩了！ Soundtoys 开启“12 Days of Soundtoys”限时免费连送活动活动链接：https://www.soundtoys.com/12 days of soundtoys/ 知名音频插件开发商 Soundtoys 正式宣布启动年度重磅福利活动——“12 Days of Soundtoys”。从今天（2025年12月8日）开始，官方将在接下来的12天里，每天送出一款免费的正版音频效果器插件。每一款的免费窗口仅持续 24小时，用户只需在官网申领，激活码将发送至邮箱。除了每日免费送，Soundtoys 的年终假日大促也在进行中，所有升级、捆绑包和单体效果器均提供 50% 的折扣，活动持续至12月底。论文生成式多模态反馈在歌声合成评估中的应用论文：https://arxiv.org/abs/2512.02523 github：https://github.com/opendilab/VocalCritic 歌声合成（SVS）技术取得了显著进步，模型能够生成音准准确、风格一致的歌声。随着这些能力的提升，可靠的评估和优化变得日益重要。然而，目前的方法，例如奖励系统，通常依赖于单一的数值评分，难以捕捉乐句处理或表现力等多个维度，并且需要耗费大量成本进行标注，从而限制了可解释性和泛化能力。为了解决这些问题，我们提出了一种生成式反馈（即奖励模型）框架，该框架为 SVS 评估提供多维度的语言和音频反馈。我们的方法利用音频语言模型生成文本和音频评论，涵盖旋律、内容和听觉质量等多个方面。该模型在一个混合数据集上进行微调，该数据集结合了人类的音乐反应和来自多层语言模型（MLLM）的合成评论，从而增强了多样性和语言丰富性。定量实验验证了所提出的数据集和训练策略的有效性，表明该框架能够生成音乐上准确且可解释的评估结果，适用于指导生成模型的改进。 Art2Music：利用多模态情感对齐技术为艺术图像生成音乐论文：https://arxiv.org/abs/2512.00120 随着人工智能生成内容（AIGC）的兴起，如何从多模态输入中生成感知自然且情感契合的音乐已成为一项核心挑战。现有方法通常依赖于显式的情感标签，这需要耗费大量成本进行标注，凸显了开发更灵活的情感契合方法的必要性。为了支持多模态音乐生成，我们构建了 ArtiCaps，这是一个伪情感契合的图像音乐文本数据集，它通过语义匹配 ArtEmis 和 MusicCaps 中的描述而创建。我们进一步提出了 Art2Music，这是一个轻量级的跨模态框架，可以从艺术图像和用户评论中合成音乐。在第一阶段，图像和文本使用 OpenCLIP 进行编码，并通过门控残差模块进行融合；融合后的表示通过双向 LSTM 解码为梅尔频谱图，并使用频率加权 L1 损失来增强高频保真度。在第二阶段，经过微调的 HiFi GAN 声码器重建高质量的音频波形。在 ArtiCaps 上的实验表明，Mel Cepstral Distortion（梅尔倒谱失真）、Frechet Audio Distance（弗雷歇音频距离）、Log Spectral Distance（对数频谱距离）和余弦相似度均有显著提升。一项基于 LLM（线性线性模型）的小型评级研究进一步验证了跨模态情感一致性，并对不同模态间的匹配和不匹配现象提供了可解释的说明。这些结果表明，Art2Music 在感知自然度、频谱保真度和语义一致性方面均有所提升。此外，Art2Music 仅需 5 万个训练样本即可保持稳健的性能，为交互式艺术、个性化音景和数字艺术展览中情感一致的创意音频生成提供了一种可扩展的解决方案。旋律还是机器：利用双流对比学习检测合成音乐论文：https://arxiv.org/abs/2512.00621 端到端人工智能音乐生成的快速发展对艺术真实性和版权构成了日益严峻的威胁，因此需要能够跟上步伐的检测方法。尽管像 SpecTTTra 这样的现有模型具有基础性，但在面对多样化且快速发展的新型生成器生态系统时，它们却显得力不从心，尤其是在处理非发行内容 (OOD) 时，性能会显著下降。这种泛化能力的不足凸显了一个关键的差距：我们需要更具挑战性的基准测试和更强大的检测架构。为了解决这个问题，我们首先推出了 Melody or Machine (MoM)，这是一个包含超过 13 万首歌曲（6665 小时）的大规模基准测试集。MoM 是迄今为止最多样化的数据集，它融合了开源和闭源模型，并包含一个精心设计的 OOD 测试集，旨在促进真正具有泛化能力的检测器的开发。除了这个基准测试集之外，我们还推出了 CLAM，一种新型的双流检测架构。我们假设，人声和乐器元素之间细微的、由机器引起的差异（在混合信号中通常难以察觉）是合成的有力证据。CLAM 旨在通过使用两个不同的预训练音频编码器（MERT 和 Wave2Vec2）来创建音频的并行表示，从而验证这一假设。这些表示由一个可学习的交叉聚合模块融合，该模块对它们的inter dependencies.进行建模。该模型采用双损失目标进行训练：一个用于分类的标准二元交叉熵损失，以及一个对比三元组损失，该损失训练模型区分连贯的和人为不匹配的流配对，从而增强其对合成伪影的敏感性，而无需假设简单的特征对齐。CLAM 在合成音乐取证领域树立了新的标杆。它的 F1 得分为 0。在我们极具挑战性的 MoM 基准测试中获得了 925 分。 LLM2Fx Tools：音乐后期制作工具调用论文：https://arxiv.org/abs/2512.01559 演示：https://seungheondoh.github.io/llm2fx tools demo/ 本文介绍了一种名为 LLM2Fx Tools 的多模态工具调用框架，该框架能够为音乐后期制作生成可执行的音频效果序列（效果链）。LLM2Fx Tools 使用大型语言模型 (LLM) 来理解音频输入，选择音频效果类型，确定其顺序，并根据思维链 (CoT) 规划估计参数。我们还提出了 LP Fx，这是一个新的指令跟踪数据集，其中包含结构化的 CoT 标注和音频效果模块的工具调用信息。实验表明，LLM2Fx Tools 能够通过自回归序列建模、工具调用和 CoT 推理，从未处理和已处理音频对中推断出效果链及其参数。我们进一步在风格迁移场景中验证了该系统，其中音频效果信息从参考源迁移并应用于新的内容。最后，LLM 作为评判者的评估表明，我们的方法能够为音乐制作查询生成合适的 CoT 推理和响应。据我们所知，这是第一个将基于 LLM 的工具调用应用于音频效果模块的工作，从而实现了可解释和可控的音乐制作。 Story2MIDI：从文本生成情感契合的音乐论文：https://arxiv.org/abs/2512.02192 本文介绍了一种基于 Transformer 的序列到序列模型 Story2MIDI，该模型能够根据给定的文本生成情感匹配的音乐。为了开发该模型，我们通过合并现有的文本情感分析数据集和音乐情感分类数据集构建了 Story2MIDI 数据集。最终得到的数据集包含文本片段和音乐片段的配对，这些片段能够唤起读者或听众相同的情感。尽管我们的数据集规模较小且计算资源有限，但结果表明，我们的模型能够有效地学习音乐中与情感相关的特征，并将其融入到生成过程中，从而生成具有多样化情感响应的样本。我们使用客观的音乐评价指标和人类聆听研究对生成的输出进行了评估，证实了该模型能够捕捉到预期的情感线索。基于人机交互自适应的歌唱人声分离持续学习论文：https://arxiv.org/abs/2512.02432 近年来，基于深度学习的歌声分离方法取得了显著的成果。然而，大多数此类方法并未关注如何让用户与模型进行交互以提升性能。这在实际应用场景中至关重要，因为实际音乐曲目在风格和乐器方面可能与原始训练数据存在差异。本文提出了一种基于深度学习的交互式持续学习歌声分离框架，允许用户微调歌声分离模型，使其适应新的目标歌曲。我们使用基于 U Net 的基础模型架构，该架构生成一个掩码，用于从频谱图中分离出人声。随后，我们引入了人机交互任务，用户通过标记一些误报（即提取的人声中本应为静音的区域）来提供反馈。我们提出了两种持续学习算法。实验结果表明，在数据集内和数据集间测试中，所提出的算法在歌声分离性能方面均优于基础模型。钢琴家转换器：通过可扩展的自监督预训练实现富有表现力的钢琴演奏渲染论文：https://arxiv.org/abs/2512.02652 github：https://github.com/yhj137/PianistTransformer 演示：https://yhj137.github.io/pianist transformer demo/ 现有的富有表现力的音乐演奏渲染方法依赖于基于小型标注数据集的监督学习，这限制了数据量和模型规模的扩展，尽管像视觉和语言领域一样，存在着海量的未标注音乐数据。为了弥补这一不足，我们提出了 Pianist Transformer，它主要贡献了四点：1）一种统一的乐器数字接口（MIDI）数据表示，用于学习音乐结构和表现的共同原则，无需显式标注；2）一种高效的非对称架构，能够在不牺牲渲染质量的前提下，处理更长的上下文并加快推理速度；3）一个包含 100 亿个标记和 1.35 亿个参数的自监督预训练流程，为富有表现力的演奏渲染释放了数据和模型扩展的优势；4）一个最先进的演奏模型，实现了强大的客观指标和媲美人类的主观评价。总而言之，Pianist Transformer 为音乐领域实现类人演奏合成开辟了一条可扩展的途径。 YingMusic Singer：零样本歌声合成与编辑，无需注释旋律引导论文：https://arxiv.org/html/2512.04779v1 github：https://github.com/GiantAILab/YingMusic Singer 由于歌唱语音合成（SVS）高度依赖于精确的音素级对齐和人工标注的旋律轮廓，因此其在实际应用中仍受到限制——这些要求资源消耗巨大且难以扩展。为了克服这些限制，我们提出了一种旋律驱动的 SVS 框架，该框架能够根据任何参考旋律合成任意歌词，而无需依赖音素级对齐。我们的方法基于扩散变换器（DiT）架构，并增强了一个专用的旋律提取模块，该模块直接从参考音频中提取旋律表示。为了确保旋律编码的鲁棒性，我们采用了一个教师模型来指导旋律提取器的优化，并结合一个隐式对齐机制来强制执行相似性分布约束，从而提高旋律的稳定性和连贯性。此外，我们利用弱标注歌曲数据改进了时长建模，并引入了一种具有多目标奖励函数的 Flow GRPO 强化学习策略，以同时提高发音清晰度和旋律保真度。实验表明，我们的模型在客观评价和主观听感测试中均优于现有方法，尤其是在零样本和歌词自适应场景下，同时无需人工标注即可保持高音频质量。这项工作为推进数据高效的歌声合成提供了一种实用且可扩展的解决方案。为了支持结果复现，我们发布了推理代码和模型检查点。 YingMusic SVC：基于 Flow GRPO 和歌唱专用感应偏置的鲁棒性零样本真实世界歌声转换论文：https://arxiv.org/abs/2512.04793 github：https://github.com/GiantAILab/YingMusic SVC No access YingVideo MV demo 00:00 No access YingVideo MV demo 00:00 No access audioshake 00:00 No access audioshake 00:00 Project LYDIA 是与 Roland Future Design Lab 共同研发的成果，旨在通过硬件形式探索 AI 与音乐创作的结合。该项目展示了一种 DIY AI 效果器（Effect Box）的技术预览版，它打破了软件的界限，将 AI 模型实体化。核心亮点： • 硬件化的 AI 引擎：作为项目的第一步，团队成功将 Neutone 的实时音色转换（Timbre Transfer）引擎 “Morpho” 植入到了物理硬件中。 • AI 时代的 DIY 精神：该设备允许艺术家训练并加载自定义的 AI 模型。这不仅仅是一个预设的效果器，而是一个开放的容器，承载创作者独特的听觉审美。 • 直观的“AI 乐器”：相比于在电脑上敲代码或调整参数，Project LYDIA 旨在提供可触摸、可直观操作的物理交互体验，让 AI 真正变成一种可以演奏的“乐器”。对于 Qosmo 和 Neutone 而言，这是在“AI x 创造性”实验道路上跨出的重要一步。它标志着 AI 音频技术正从单纯的后期处理软件，向实时表演和物理交互的硬件领域迈进。国产自研 AI 音乐产品“音潮”正式公测链接：https://www.yinchaoyongxian.com/ 近期，在上海世界人工智能大会（WAIC）的相关活动中，自由量级创始人姜涛正式对外展示了其公司研发的 AI 音乐 App——“音潮”，并宣布开启公测。作为国内少有的全栈自研端到端音乐大模型，音潮主打“更懂中文”，针对中文咬字与声调深度优化，解决海外模型（如 Suno）水土不服的痛点。核心亮点： 1. 多模态创作：支持“一句话生歌”及“上传照片生歌”，内置 Agent 可根据用户场景（如驾驶、心情）智能定制音乐。2. 特色功能：独创结合中医“五音”理论的疗愈音乐，并与上海中医院合作。3. 商业落地：已与字节跳动及车企达成 API 合作，且生成的 WAIC 主题曲已达商业发行级标准。官方承诺 C 端用户生成内容的版权归用户所有，致力于实现音乐创作的低门槛普惠。 NeurIPS 2025：5978篇论文“唱出歌来” 链接：https://paper2song.com/ 第39届NeurIPS（Neural Information Processing Systems）于2025年12月2 7日在美国圣迭戈（及墨西哥城、哥本哈根部分会场）盛大举行。本届大会收到超过1.3万篇投稿，最终接受5978篇论文，创历史新高，涵盖大模型、具身智能、蛋白质设计、扩散模型等前沿方向。 Christian Steinmetz突发奇想，用Suno AI把全部5978篇论文标题+摘要直接生成歌曲！你可以在网站内搜索任何一篇论文，听它“唱”出自己的故事——从蛋白质词汇到随机动力学安全控制，全都变成了带旋律的rap、摇滚或抒情歌，目前最火的是《Four Kinds of Wrong》这首“diss自己论文”的神曲。太会玩了！ Soundtoys 开启“12 Days of Soundtoys”限时免费连送活动活动链接：https://www.soundtoys.com/12 days of soundtoys/ 知名音频插件开发商 Soundtoys 正式宣布启动年度重磅福利活动——“12 Days of Soundtoys”。从今天（2025年12月8日）开始，官方将在接下来的12天里，每天送出一款免费的正版音频效果器插件。每一款的免费窗口仅持续 24小时，用户只需在官网申领，激活码将发送至邮箱。除了每日免费送，Soundtoys 的年终假日大促也在进行中，所有升级、捆绑包和单体效果器均提供 50% 的折扣，活动持续至12月底。论文生成式多模态反馈在歌声合成评估中的应用论文：https://arxiv.org/abs/2512.02523 github：https://github.com/opendilab/VocalCritic 歌声合成（SVS）技术取得了显著进步，模型能够生成音准准确、风格一致的歌声。随着这些能力的提升，可靠的评估和优化变得日益重要。然而，目前的方法，例如奖励系统，通常依赖于单一的数值评分，难以捕捉乐句处理或表现力等多个维度，并且需要耗费大量成本进行标注，从而限制了可解释性和泛化能力。为了解决这些问题，我们提出了一种生成式反馈（即奖励模型）框架，该框架为 SVS 评估提供多维度的语言和音频反馈。我们的方法利用音频语言模型生成文本和音频评论，涵盖旋律、内容和听觉质量等多个方面。该模型在一个混合数据集上进行微调，该数据集结合了人类的音乐反应和来自多层语言模型（MLLM）的合成评论，从而增强了多样性和语言丰富性。定量实验验证了所提出的数据集和训练策略的有效性，表明该框架能够生成音乐上准确且可解释的评估结果，适用于指导生成模型的改进。 Art2Music：利用多模态情感对齐技术为艺术图像生成音乐论文：https://arxiv.org/abs/2512.00120 随着人工智能生成内容（AIGC）的兴起，如何从多模态输入中生成感知自然且情感契合的音乐已成为一项核心挑战。现有方法通常依赖于显式的情感标签，这需要耗费大量成本进行标注，凸显了开发更灵活的情感契合方法的必要性。为了支持多模态音乐生成，我们构建了 ArtiCaps，这是一个伪情感契合的图像音乐文本数据集，它通过语义匹配 ArtEmis 和 MusicCaps 中的描述而创建。我们进一步提出了 Art2Music，这是一个轻量级的跨模态框架，可以从艺术图像和用户评论中合成音乐。在第一阶段，图像和文本使用 OpenCLIP 进行编码，并通过门控残差模块进行融合；融合后的表示通过双向 LSTM 解码为梅尔频谱图，并使用频率加权 L1 损失来增强高频保真度。在第二阶段，经过微调的 HiFi GAN 声码器重建高质量的音频波形。在 ArtiCaps 上的实验表明，Mel Cepstral Distortion（梅尔倒谱失真）、Frechet Audio Distance（弗雷歇音频距离）、Log Spectral Distance（对数频谱距离）和余弦相似度均有显著提升。一项基于 LLM（线性线性模型）的小型评级研究进一步验证了跨模态情感一致性，并对不同模态间的匹配和不匹配现象提供了可解释的说明。这些结果表明，Art2Music 在感知自然度、频谱保真度和语义一致性方面均有所提升。此外，Art2Music 仅需 5 万个训练样本即可保持稳健的性能，为交互式艺术、个性化音景和数字艺术展览中情感一致的创意音频生成提供了一种可扩展的解决方案。旋律还是机器：利用双流对比学习检测合成音乐论文：https://arxiv.org/abs/2512.00621 端到端人工智能音乐生成的快速发展对艺术真实性和版权构成了日益严峻的威胁，因此需要能够跟上步伐的检测方法。尽管像 SpecTTTra 这样的现有模型具有基础性，但在面对多样化且快速发展的新型生成器生态系统时，它们却显得力不从心，尤其是在处理非发行内容 (OOD) 时，性能会显著下降。这种泛化能力的不足凸显了一个关键的差距：我们需要更具挑战性的基准测试和更强大的检测架构。为了解决这个问题，我们首先推出了 Melody or Machine (MoM)，这是一个包含超过 13 万首歌曲（6665 小时）的大规模基准测试集。MoM 是迄今为止最多样化的数据集，它融合了开源和闭源模型，并包含一个精心设计的 OOD 测试集，旨在促进真正具有泛化能力的检测器的开发。除了这个基准测试集之外，我们还推出了 CLAM，一种新型的双流检测架构。我们假设，人声和乐器元素之间细微的、由机器引起的差异（在混合信号中通常难以察觉）是合成的有力证据。CLAM 旨在通过使用两个不同的预训练音频编码器（MERT 和 Wave2Vec2）来创建音频的并行表示，从而验证这一假设。这些表示由一个可学习的交叉聚合模块融合，该模块对它们的inter dependencies.进行建模。该模型采用双损失目标进行训练：一个用于分类的标准二元交叉熵损失，以及一个对比三元组损失，该损失训练模型区分连贯的和人为不匹配的流配对，从而增强其对合成伪影的敏感性，而无需假设简单的特征对齐。CLAM 在合成音乐取证领域树立了新的标杆。它的 F1 得分为 0。在我们极具挑战性的 MoM 基准测试中获得了 925 分。 LLM2Fx Tools：音乐后期制作工具调用论文：https://arxiv.org/abs/2512.01559 演示：https://seungheondoh.github.io/llm2fx tools demo/ 本文介绍了一种名为 LLM2Fx Tools 的多模态工具调用框架，该框架能够为音乐后期制作生成可执行的音频效果序列（效果链）。LLM2Fx Tools 使用大型语言模型 (LLM) 来理解音频输入，选择音频效果类型，确定其顺序，并根据思维链 (CoT) 规划估计参数。我们还提出了 LP Fx，这是一个新的指令跟踪数据集，其中包含结构化的 CoT 标注和音频效果模块的工具调用信息。实验表明，LLM2Fx Tools 能够通过自回归序列建模、工具调用和 CoT 推理，从未处理和已处理音频对中推断出效果链及其参数。我们进一步在风格迁移场景中验证了该系统，其中音频效果信息从参考源迁移并应用于新的内容。最后，LLM 作为评判者的评估表明，我们的方法能够为音乐制作查询生成合适的 CoT 推理和响应。据我们所知，这是第一个将基于 LLM 的工具调用应用于音频效果模块的工作，从而实现了可解释和可控的音乐制作。 Story2MIDI：从文本生成情感契合的音乐论文：https://arxiv.org/abs/2512.02192 本文介绍了一种基于 Transformer 的序列到序列模型 Story2MIDI，该模型能够根据给定的文本生成情感匹配的音乐。为了开发该模型，我们通过合并现有的文本情感分析数据集和音乐情感分类数据集构建了 Story2MIDI 数据集。最终得到的数据集包含文本片段和音乐片段的配对，这些片段能够唤起读者或听众相同的情感。尽管我们的数据集规模较小且计算资源有限，但结果表明，我们的模型能够有效地学习音乐中与情感相关的特征，并将其融入到生成过程中，从而生成具有多样化情感响应的样本。我们使用客观的音乐评价指标和人类聆听研究对生成的输出进行了评估，证实了该模型能够捕捉到预期的情感线索。基于人机交互自适应的歌唱人声分离持续学习论文：https://arxiv.org/abs/2512.02432 近年来，基于深度学习的歌声分离方法取得了显著的成果。然而，大多数此类方法并未关注如何让用户与模型进行交互以提升性能。这在实际应用场景中至关重要，因为实际音乐曲目在风格和乐器方面可能与原始训练数据存在差异。本文提出了一种基于深度学习的交互式持续学习歌声分离框架，允许用户微调歌声分离模型，使其适应新的目标歌曲。我们使用基于 U Net 的基础模型架构，该架构生成一个掩码，用于从频谱图中分离出人声。随后，我们引入了人机交互任务，用户通过标记一些误报（即提取的人声中本应为静音的区域）来提供反馈。我们提出了两种持续学习算法。实验结果表明，在数据集内和数据集间测试中，所提出的算法在歌声分离性能方面均优于基础模型。钢琴家转换器：通过可扩展的自监督预训练实现富有表现力的钢琴演奏渲染论文：https://arxiv.org/abs/2512.02652 github：https://github.com/yhj137/PianistTransformer 演示：https://yhj137.github.io/pianist transformer demo/ 现有的富有表现力的音乐演奏渲染方法依赖于基于小型标注数据集的监督学习，这限制了数据量和模型规模的扩展，尽管像视觉和语言领域一样，存在着海量的未标注音乐数据。为了弥补这一不足，我们提出了 Pianist Transformer，它主要贡献了四点：1）一种统一的乐器数字接口（MIDI）数据表示，用于学习音乐结构和表现的共同原则，无需显式标注；2）一种高效的非对称架构，能够在不牺牲渲染质量的前提下，处理更长的上下文并加快推理速度；3）一个包含 100 亿个标记和 1.35 亿个参数的自监督预训练流程，为富有表现力的演奏渲染释放了数据和模型扩展的优势；4）一个最先进的演奏模型，实现了强大的客观指标和媲美人类的主观评价。总而言之，Pianist Transformer 为音乐领域实现类人演奏合成开辟了一条可扩展的途径。 YingMusic Singer：零样本歌声合成与编辑，无需注释旋律引导论文：https://arxiv.org/html/2512.04779v1 github：https://github.com/GiantAILab/YingMusic Singer 由于歌唱语音合成（SVS）高度依赖于精确的音素级对齐和人工标注的旋律轮廓，因此其在实际应用中仍受到限制——这些要求资源消耗巨大且难以扩展。为了克服这些限制，我们提出了一种旋律驱动的 SVS 框架，该框架能够根据任何参考旋律合成任意歌词，而无需依赖音素级对齐。我们的方法基于扩散变换器（DiT）架构，并增强了一个专用的旋律提取模块，该模块直接从参考音频中提取旋律表示。为了确保旋律编码的鲁棒性，我们采用了一个教师模型来指导旋律提取器的优化，并结合一个隐式对齐机制来强制执行相似性分布约束，从而提高旋律的稳定性和连贯性。此外，我们利用弱标注歌曲数据改进了时长建模，并引入了一种具有多目标奖励函数的 Flow GRPO 强化学习策略，以同时提高发

在小宇宙note 阅读完整内容