AI音乐周刊 W.A 025
AI音乐周刊 W.A 025
AI音乐周刊 W.A 025 AI音乐周刊 W.A 025 Modified April 27 • 用 AI 对抗 AI: 这套专利不仅仅是防御工具,更展现了 UMG 在 AI 时代重塑版权执法规则的野心。它提供了一套高度自动化的底层版权框架,对那些正深陷训练数据诉讼的 AI 创企而言,这无疑是一个极其强硬的威慑信号。 生成式音频工作站 Mozart Studio 1.0 发布:原生支持 VST 与 AI 深度协作 4 月 24 日,主打“人类与 AI 深度协作”的全新生成式音频工作站(GAW)——Mozart Studio 1.0 正式发布。该平台旨在打破目前 AI 音乐工具“盲盒式生成”的局限,让专业音乐人重新掌控创作主导权。 核心功能与亮点 • 浏览器端无缝调用 VST: 首创在浏览器环境中直接引入 VST 插件生态。内置的 AI 助手“Moz”不仅能帮你进行声音设计,还能自动挑选合成器预设、添加效果链,甚至完成母带处理。 • 哼唱即编曲(Hum to Chords): 创作者只需哼出一段旋律,AI 即可直接调用诸如 Serum 等专业合成器,将其精准转化为带有完美和弦的 MIDI 轨道。 • 智能分轨与一键编排: 提供完整的音频与 MIDI 分层编辑功能。AI 能够实时“倾听”你的当前工程,自动推测并补充缺失的乐器声部,甚至通过“一键操作”自动完成整首歌的曲式编排。 在 AI 音乐时代,音乐人理应拥有更多的控制权与协作感,而不再是单纯的“指令输入员”。目前该平台已在官网开放免费体验。 链接:https://mozartai.com/ 底层模型再进化!Tunee 升级 Tempolor V4.6 并上线多项工作流提效功能 4 月 24 日,AI 音乐创作平台 Tunee 发布全新版本。此次更新不仅将核心音乐模型升级至 Tempolor V4.6,更围绕创作者的工程管理与编辑痛点,推出了一系列大幅提升工作流效率的实用功能。 核心升级亮点 • Tempolor V4.6 强势驱动: 底层音乐生成模型迎来重大升级,带来了更平滑自然的乐句过渡与更具真实感的动态起伏表现。同时,整体生成速度大幅提升 20%,极大缩短了创作者的迭代等待时间。 • 参数复用与时间轴同步: 新增“一键复用输入”功能,可瞬间完整载入往期项目的音视频参数(包含模型、风格、提示词等)。此外,平台现支持上传音频自动识别曲风结构,并能利用带有时间戳的歌词,将视觉画面与音乐节点进行极高精度的同步锁定。 • 项目检索与资产大整合: 面对用户日益庞大的曲库,新增的“检索功能”支持通过标题或原始提示词秒级定位作品。全新的“一键导出”功能则能将音频、图像、分镜和视频等所有项目资产一键打包为 ZIP 格式,实现轻松下载。 链接:https://www.tunee.ai/ Suno 正式登陆 Android Auto,开启车载 AI 音乐新纪元 4 月 25 日,知名 AI 音乐平台 Suno 官方正式宣布,其应用现已成功登陆 Android Auto。此举标志着 Suno 正式进军车载娱乐生态,将 AI 音乐体验直接嵌入汽车中控台,为用户的自驾出行带来截然不同的听觉享受。 核心功能与体验升级 • 便捷的车载搜索: 专为驾驶场景优化,用户现在可以直接在车载中控屏幕上快速搜索想要聆听的歌曲,大幅提升行车过程中的交互安全性与便利性。 • 无缝的内容导航: 车载版应用界面进行了深度适配,允许用户在“个人曲库(Library)”与“探索发现(Explore)”频道之间轻松跳转,随时随地发现优秀的 AI 音乐作品。 • 原生播放控制: 完美融入 Android Auto 生态,用户可直接通过汽车仪表盘或物理按键进行播放、暂停、切歌等全套音频控制。 此外,官方还透露,针对广大苹果用户的 Apple CarPlay 版本也已在路上,即将推出。 论文 🌈 以下是 4.21—4.27 期间发布的相关论文,已整理翻译 基于瓶颈残差卷积的高精度光学音乐识别方法 概述:光学音乐识别(OMR)旨在将印刷或手写的乐谱图像转换为可编辑的符号表示。本文提出了一种端到端的 OMR 框架,该框架结合了残差瓶颈卷积和基于双向门控循环单元(BiGRU)的序列建模。一个具有 ResNet v2 风格残差瓶颈块和多尺度空洞卷积的卷积神经网络(CNN)被用来提取特征,这些特征不仅编码了细粒度的符号细节,还编码了全局的五线谱结构。然后,将提取的特征序列馈入 BiGRU 网络,以建模音乐符号之间的时间依赖关系。该模型使用联结主义时间分类(CTC)损失进行训练,无需显式的对齐注释即可实现端到端预测。在 Camera PrIMuS 和 PrIMuS 数据集上的实验结果证明了该框架的有效性。在 Camera PrIMuS 数据集上,该方法实现了 7.52% 的序列错误率(SeER)和 0.45% 的符号错误率(SyER),其音高、类型和音符的准确率分别达到 99.33%、99.60% 和 99.28%。平均训练时间为每个 epoch 1.74 秒,在保持强大识别性能的同时展现出高计算效率。在 PrIMuS 数据集上,该方法实现了 8.11% 的 SeER 和 0.49% 的 SyER,音高、类型和音符准确率分别为 99.27%、99.58% 和 99.21%。细粒度的错误分析进一步证实了所提出模型的有效性。 论文: https://arxiv.org/abs/2604.16446 TeMuDance:基于对比对齐的文本控制用于音乐驱动的舞蹈生成 概述:现有的音乐驱动舞蹈生成方法已经实现了很强的真实感和有效的音 动对齐。然而,它们通常缺乏语义可控性,很难通过自然语言描述来引导特定的动作。这种局限性主要源于缺乏大规模的联合对齐音乐、文本和动作的数据集,以用于文本条件控制的监督学习。为了应对这一挑战,我们提出了 TeMuDance,这是一个为音乐条件舞蹈生成提供文本控制的框架,且无需任何人工标注的“音乐 文本 动作”三元组数据集。TeMuDance 引入了一种以动作为中心的桥接范式,利用动作作为共享语义锚点,在一个统一的嵌入空间中对齐互不相交的“音乐 舞蹈”和“文本 动作”数据集,从而实现跨模态检索缺失的模态以进行端到端训练。然后,在一个冻结的“音乐到舞蹈”扩散主干网络之上训练一个轻量级的文本控制分支,在保持节奏保真度的同时实现细粒度的语义引导。为了进一步抑制检索到的监督信号中固有的噪声,我们设计了一种基于置信度过滤的双流微调策略。我们还提出了一种新颖的任务对齐指标,用于量化文本提示在音乐条件下是否能引发预期的运动学属性。大量实验表明,TeMuDance 实现了具有竞争力的舞蹈质量,同时显著改善了优于现有方法的文本条件控制能力。 论文: https://arxiv.org/abs/2604.17005 Video Robin:用于意图感知的视频到音乐生成的自回归扩散规划 概述:视频到音乐(V2M)是为输入视频创建背景音乐的基础任务。最近的 V2M 模型通常仅依赖视觉条件来实现视听对齐,为终端用户提供的语义和风格可控性有限。在本文中,我们提出了 Video Robin,这是一种新颖的以文本为条件的“视频到音乐”生成模型,能够为视频内容实现快速、高质量且语义对齐的音乐生成。为了平衡音乐保真度和语义理解,Video Robin 将自回归规划与基于扩散的合成相结合。具体而言,自回归模块通过语义对齐视觉和文本输入来建模全局结构,以产生高级别的音乐潜在变量(latents)。随后,使用局部扩散 Transformer 将这些潜在变量细化为连贯、高保真的音乐。通过将语义驱动的规划分解到基于扩散的合成中,Video Robin 在不牺牲音频真实感的情况下实现了对创作者的细粒度控制。在分布内和分布外基准测试中,我们提出的模型均优于仅接受视频输入以及带有附加特征条件的基线模型,并且其推理速度是 SOTA(最先进)模型的 2.21 倍。论文被接收后,我们将开源所有内容。 论文: https://arxiv.org/abs/2604.17656 一种基于分数阶时频特征提取的新型 LSTM 音乐生成器 概述:在本文中,我们提出了一种基于人工智能(AI)系统生成音乐的新方法。我们分析了音乐的特征,并利用它们来拟合和预测音乐。分数阶傅里叶变换(FrFT)和长短期记忆(LSTM)网络是我们方法的基础。FrFT 方法用于提取一段音乐的频谱特征,使音乐信号在时域和频域上得以表达。LSTM 网络用于基于提取的特征生成新的音乐,在此过程中,我们使用 GiantMIDI Piano 数据集,根据隐藏层特征和实时输入来预测音乐。实验结果表明,我们提出的系统能够生成可与人类创作相媲美的高质量音乐。 论文: https://arxiv.org/abs/2604.17823 利用基于规则的音乐约束对齐语言模型以进行歌词到旋律的生成 概述:大型语言模型(LLMs)在歌词到旋律的生成中展现出潜力,但使用监督微调(SFT)训练的模型经常会产生在音乐上不合理的旋律,存在节奏差、不适合人声演唱音域等问题,我们将这种现象称为“约束违规(constraint violation)”。为了解决这个问题,我们提出了一种新颖的对齐框架,能够在无需人工标注的情况下注入音乐知识。我们定义了基于规则的音乐约束,以从 SFT 模型的输出中自动生成偏好数据集。然后,通过一个顺序过程对模型进行对齐:首先在成对的偏好数据上使用直接偏好优化(DPO),随后在不成对的负样本上使用 Kahneman Tversky 优化(KTO)。实验结果表明,我们对齐的模型大幅减少了违规情况,在客观和主观评估中均优于强大的基线模型,生成的旋律在音乐性和连贯性上都有实质性的提升。我们提供了一个带有音频对比的交互式演示。 论文: https://arxiv.org/abs/2604.18489 BEAT:以统一时间步长对符号音乐进行标记化和生成 概述:将音乐标记化(Tokenizing)以适应语言模型的通用框架是一项引人注目的挑战,特别是考虑到音乐可以用多种符号结构(如序列、网格和图)来表示。迄今为止,大多数方法将符号音乐标记为音乐事件的序列,例如起始点(onsets)、音高、时间偏移或复合音符事件。这种策略很直观,并被证明在基于 Transformer 的模型中是有效的,但它隐式地处理了音乐时间的规律性:单个标记可能跨越不同的持续时间,导致时间进程不均匀。在本文中,我们转而考虑是否可能有一种替代的标记化方法,其中使用统一长度的音乐步长(例如,一个节拍/beat)作为基本单元。具体来说,我们将同一时间步长内相同音高的所有事件编码为一个标记,并按时间步长显式地对标记进行分组,这类似于钢琴卷帘(piano roll)表示的稀疏编码。我们在音乐延续和伴奏生成任务上评估了所提出的标记化方法,并将其与主流的基于事件的方法进行了比较。结果表明,该方法提高了音乐质量和结构连贯性,而额外的分析证实了所提出的标记化方法具有更高的效率,并能更有效地捕获长距离模式。 论文: https://arxiv.org/abs/2604.19532 基于 MERT 表示的音乐源分离的基于嵌入的侵入式评估指标 概述:传统上,音乐源分离(MSS)的评估依赖于盲源分离评估(BSS Eval)指标。然而,最近的研究表明,BSS Eval 指标与来自听音测试(被认为是评估的黄金标准)的感知音频质量评分之间的相关性较低。作为歌声分离中的一种替代方法,研究人员引入了利用大型自监督音频模型(如进行大规模自监督训练的音乐理解模型 MERT)潜在表示的、基于嵌入的侵入式指标。在这项工作中,我们分析了感知音频质量评分与两种基于嵌入的侵入式指标之间的相关性:均方误差(MSE)以及在 MERT 嵌入上计算的 Fréchet 音频距离(FAD)的侵入式变体。在两个独立数据集上的实验表明,在所有分析的音轨(stem)和模型类型中,这些指标比传统的 BSS Eval 指标与感知音频质量评分具有更强的相关性。 论文: https://arxiv.org/abs/2604.20270 从图像到音乐语言:用于复杂复调光学音乐识别的两阶段结构解码方法 概述:我们提出了一种用于实用两阶段光学音乐识别(OMR)流水线的新方法,特别关注其第二阶段。给定来自视觉流水线的符号和事件候选,我们将它们解码为可编辑、可验证和可导出的乐谱结构。我们专注于复杂的复调五线谱,尤其是钢琴谱,其中声部分离和测量内(intra measure)时间是主要瓶颈。我们的方法将第二阶段解码公式化为一个结构解码问题,并使用具有概率引导搜索的拓扑识别(BeadSolver)作为其核心方法。我们还描述了一种将程序生成与识别反馈注释相结合的数据策略。其结果是为真实 OMR 系统提供了一个实用的解码组件,并为未来积累结构化乐谱数据以支持端到端、多模态和类强化学习(RL)方法开辟了道路。 论文: https://arxiv.org/abs/2604.20522 ONOTE:专家级音乐智能的全模态记谱处理基准测试 概述:由于在听觉、视觉和符号领域需要严格的多维度对齐,全模态记谱处理(Omnimodal Notation Processing, ONP)代表了全模态人工智能的一个独特前沿。目前的研究仍然是碎片化的,侧重于孤立的转录任务,这些任务无法弥合表面模式识别与底层音乐逻辑之间的鸿沟。这种局面因对西方五线谱的严重记谱偏见以及“LLM作为裁判”指标固有的不可靠性(经常用系统性幻觉掩盖结构推理失败)而变得更加复杂。为了建立一个更严格的标准,我们引入了 ONOTE,这是一个多格式的基准测试,它利用基于规范音高投影的确定性流水线,消除了跨不同记谱系统的主观评分偏差。我们对领先的全模态模型的评估暴露了感知准确性与乐理理解之间的根本脱节,为诊断复杂、受规则约束的领域中的推理脆弱性提供了必要的框架。 论文: https://arxiv.org/abs/2604.20719 带有相干傅里叶预言机的 HHL:用于联合旋律 和声生成的概念验证量子架构 概述:在理论上被证明比经典计算有加速作用的量子算法非常罕见。其中最著名的是用于求解稀疏线性系统的 Harrow Hassidim Lloyd(HHL)算法。在这里,HHL 被应用于编码旋律偏好:系统矩阵编码了 Narmour 蕴含 实现模型和 Krumhansl Kessler 调性稳定性,因此其解向量是一个经过音乐认知加权的音符对分布。HHL 的关键约束是经典地读取其输出会取消量子加速;必须相干地消耗解。这激发了一种相干的傅里叶和声预言机(coherent Fourier harmonic oracle):这是一种直接将和弦过渡权重应用于 HHL 振幅向量的酉算符(unitary),因此单次测量可以联合选择旋律音符和双和弦进行(progression)。 这里使用了一个两音符/两和弦(2/2)块来控制联合状态空间的指数级增长,否则由于状态空间过大,对更大块的经典模拟将不可行。为了演示更长的段落,这些块以经典方式链接——每个块的坍缩输出作为下一个块的条件——这作为一种临时变通方法,直到容错硬件允许构建更大的单体电路。一个四块链(four block chain)生成了 8 个音符和 8 个和弦,并在每个块边界都具有符合语法的有效过渡。 独立的基于规则的和声验证证实,97% 的生成和弦进行被评为良好或可接受。此项研究的主要动机是 HHL 被证明在求解线性系统方面比经典方法有指数级加速;这项工作证明了一个相干的 HHL+预言机流水线(这是在音乐环境中实现该加速的先决条件)在机械上是可实现的。代表性输出的音频实现在线提供试听。 论文: https://arxiv.org/abs/2604.20882 • 用 AI 对抗 AI: 这套专利不仅仅是防御工具,更展现了 UMG 在 AI 时代重塑版权执法规则的野心。它提供了一套高度自动化的底层版权框架,对那些正深陷训练数据诉讼的 AI 创企而言,这无疑是一个极其强硬的威慑信号。 生成式音频工作站 Mozart Studio 1.0 发布:原生支持 VST 与 AI 深度协作 4 月 24 日,主打“人类与 AI 深度协作”的全新生成式音频工作站(GAW)——Mozart Studio 1.0 正式发布。该平台旨在打破目前 AI 音乐工具“盲盒式生成”的局限,让专业音乐人重新掌控创作主导权。 核心功能与亮点 • 浏览器端无缝调用 VST: 首创在浏览器环境中直接引入 VST 插件生态。内置的 AI 助手“Moz”不仅能帮你进行声音设计,还能自动挑选合成器预设、添加效果链,甚至完成母带处理。 • 哼唱即编曲(Hum to Chords): 创作者只需哼出一段旋律,AI 即可直接调用诸如 Serum 等专业合成器,将其精准转化为带有完美和弦的 MIDI 轨道。 • 智能分轨与一键编排: 提供完整的音频与 MIDI 分层编辑功能。AI 能够实时“倾听”你的当前工程,自动推测并补充缺失的乐器声部,甚至通过“一键操作”自动完成整首歌的曲式编排。 在 AI 音乐时代,音乐人理应拥有更多的控制权与协作感,而不再是单纯的“指令输入员”。目前该平台已在官网开放免费体验。 链接:https://mozartai.com/ 底层模型再进化!Tunee 升级 Tempolor V4.6 并上线多项工作流提效功能 4 月 24 日,AI 音乐创作平台 Tunee 发布全新版本。此次更新不仅将核心音乐模型升级至 Tempolor V4.6,更围绕创作者的工程管理与编辑痛点,推出了一系列大幅提升工作流效率的实用功能。 核心升级亮点 • Tempolor V4.6 强势驱动: 底层音乐生成模型迎来重大升级,带来了更平滑自然的乐句过渡与更具真实感的动态起伏表现。同时,整体生成速度大幅提升 20%,极大缩短了创作者的迭代等待时间。 • 参数复用与时间轴同步: 新增“一键复用输入”功能,可瞬间完整载入往期项目的音视频参数(包含模型、风格、提示词等)。此外,平台现支持上传音频自动识别曲风结构,并能利用带有时间戳的歌词,将视觉画面与音乐节点进行极高精度的同步锁定。 • 项目检索与资产大整合: 面对用户日益庞大的曲库,新增的“检索功能”支持通过标题或原始提示词秒级定位作品。全新的“一键导出”功能则能将音频、图像、分镜和视频等所有项目资产一键打包为 ZIP 格式,实现轻松下载。 链接:https://www.tunee.ai/ Suno 正式登陆 Android Auto,开启车载 AI 音乐新纪元 4 月 25 日,知名 AI 音乐平台 Suno 官方正式宣布,其应用现已成功登陆 Android Auto。此举标志着 Suno 正式进军车载娱乐生态,将 AI 音乐体验直接嵌入汽车中控台,为用户的自驾出行带来截然不同的听觉享受。 核心功能与体验升级 • 便捷的车载搜索: 专为驾驶场景优化,用户现在可以直接在车载中控屏幕上快速搜索想要聆听的歌曲,大幅提升行车过程中的交互安全性与便利性。 • 无缝的内容导航: 车载版应用界面进行了深度适配,允许用户在“个人曲库(Library)”与“探索发现(Explore)”频道之间轻松跳转,随时随地发现优秀的 AI 音乐作品。 • 原生播放控制: 完美融入 Android Auto 生态,用户可直接通过汽车仪表盘或物理按键进行播放、暂停、切歌等全套音频控制。 此外,官方还透露,针对广大苹果用户的 Apple CarPlay 版本也已在路上,即将推出。 论文 🌈 以下是 4.21—4.27 期间发布的相关论文,已整理翻译 以下是 4.21—4.27 期间发布的相关论文,已整理翻译 基于瓶颈残差卷积的高精度光学音乐识别方法 概述:光学音乐识别(OMR)旨在将印刷或手写的乐谱图像转换为可编辑的符号表示。本文提出了一种端到端的 OMR 框架,该框架结合了残差瓶颈卷积和基于双向门控循环单元(BiGRU)的序列建模。一个具有 ResNet v2 风格残差瓶颈块和多尺度空洞卷积的卷积神经网络(CNN)被用来提取特征,这些特征不仅编码了细粒度的符号细节,还编码了全局的五线谱结构。然后,将提取的特征序列馈入 BiGRU 网络,以建模音乐符号之间的时间依赖关系。该模型使用联结主义时间分类(CTC)损失进行训练,无需显式的对齐注释即可实现端到端预测。在 Camera PrIMuS 和 PrIMuS 数据集上的实验结果证明了该框架的有效性。在 Camera PrIMuS 数据集上,该方法实现了 7.52% 的序列错误率(SeER)和 0.45% 的符号错误率(SyER),其音高、类型和音符的准确率分别达到 99.33%、99.60% 和 99.28%。平均训练时间为每个 epoch 1.74 秒,在保持强大识别性能的同时展现出高计算效率。在 PrIMuS 数据集上,该方法实现了 8.11% 的 SeER 和 0.49% 的 SyER,音高、类型和音符准确率分别为 99.27%、99.58% 和 99.21%。细粒度的错误分析进一步证实了所提出模型的有效性。 论文: https://arxiv.org/abs/2604.16446 TeMuDance:基于对比对齐的文本控制用于音乐驱动的舞蹈生成 概述:现有的音乐驱动舞蹈生成方法已经实现了很强的真实感和有效的音 动对齐。然而,它们通常缺乏语义可控性,很难通过自然语言描述来引导特定的动作。这种局限性主要源于缺乏大规模的联合对齐音乐、文本和动作的数据集,以用于文本条件控制的监督学习。为了应对这一挑战,我们提出了 TeMuDance,这是一个为音乐条件舞蹈生成提供文本控制的框架,且无需任何人工标注的“音乐 文本 动作”三元组数据集。TeMuDance 引入了一种以动作为中心的桥接范式,利用动作作为共享语义锚点,在一个统一的嵌入空间中对齐互不相交的“音乐 舞蹈”和“文本 动作”数据集,从而实现跨模态检索缺失的模态以进行端到端训练。然后,在一个冻结的“音乐到舞蹈”扩散主干网络之上训练一个轻量级的文本控制分支,在保持节奏保真度的同时实现细粒度的语义引导。为了进一步抑制检索到的监督信号中固有的噪声,我们设计了一种基于置信度过滤的双流微调策略。我们还提出了一种新颖的任务对齐指标,用于量化文本提示在音乐条件下是否能引发预期的运动学属性。大量实验表明,TeMuDance 实现了具有竞争力的舞蹈质量,同时显著改善了优于现有方法的文本条件控制能力。 论文: https://arxiv.org/abs/2604.17005 Video Robin:用于意图感知的视频到音乐生成的自回归扩散规划 概述:视频到音乐(V2M)是为输入视频创建背景音乐的基础任务。最近的 V2M 模型通常仅依赖视觉条件来实现视听对齐,为终端用户提供的语义和风格可控性有限。在本文中,我们提出了 Video Robin,这是一种新颖的以文本为条件的“视频到音乐”生成模型,能够为视频内容实现快速、高质量且语义对齐的音乐生成。为了平衡音乐保真度和语义理解,Video Robin 将自回归规划与基于扩散的合成相结合。具体而言,自回归模块通过语义对齐视觉和文本输入来建模全局结构,以产生高级别的音乐潜在变量(latents)。随后,使用局部扩散 Transformer 将这些潜在变量细化为连贯、高保真的音乐。通过将语义驱动的规划分解到基于扩散的合成中,Video Robin 在不牺牲音频真实感的情况下实现了对创作者的细粒度控制。在分布内和分布外基准测试中,我们提出的模型均优于仅接受视频输入以及带有附加特征条件的基线模型,并且其推理速度是 SOTA(最先进)模型的 2.21 倍。论文被接收后,我们将开源所有内容。 论文: https://arxiv.org/abs/2604.17656 一种基于分数阶时频特征提取的新型 LSTM 音乐生成器 概述:在本文中,我们提出了一种基于人工智能(AI)系统生成音乐的新方法。我们分析了音乐的特征,并利用它们来拟合和预测音乐。分数阶傅里叶变换(FrFT)和长短期记忆(LSTM)网络是我们方法的基础。FrFT 方法用于提取一段音乐的频谱特征,使音乐信号在时域和频域上得以表达。LSTM 网络用于基于提取的特征生成新的音乐,在此过程中,我们使用 GiantMIDI Piano 数据集,根据隐藏层特征和实时输入来预测音乐。实验结果表明,我们提出的系统能够生成可与人类创作相媲美的高质量音乐。 论文: https://arxiv.org/abs/2604.17823 利用基于规则的音乐约束对齐语言模型以进行歌词到旋律的生成 概述:大型语言模型(LLMs)在歌词到旋律的生成中展现出潜力,但使用监督微调(SFT)训练的模型经常会产生在音乐上不合理的旋律,存在节奏差、不适合人声演唱音域等问题,我们将这种现象称为“约束违规(constraint violation)”。为了解决这个问题,我们提出了一种新颖的对齐框架,能够在无需人工标注的情况下注入音乐知识。我们定义了基于规则的音乐约束,以从 SFT 模型的输出中自动生成偏好数据集。然后,通过一个顺序过程对模型进行对齐:首先在成对的偏好数据上使用直接偏好优化(DPO),随后在不成对的负样本上使用 Kahneman Tversky 优化(KTO)。实验结果表明,我们对齐的模型大幅减少了违规情况,在客观和主观评估中均优于强大的基线模型,生成的旋律在音乐性和连贯性上都有实质性的提升。我们提供了一个带有音频对比的交互式演示。 论文: https://arxiv.org/abs/2604.18489 BEAT:以统一时间步长对符号音乐进行标记化和生成 概述:将音乐标记化(Tokenizing)以适应语言模型的通用框架是一项引人注目的挑战,特别是考虑到音乐可以用多种符号结构(如序列、网格和图)来表示。迄今为止,大多数方法将符号音乐标记为音乐事件的序列,例如起始点(onsets)、音高、时间偏移或复合音符事件。这种策略很直观,并被证明在基于 Transformer 的模型中是有效的,但它隐式地处理了音乐时间的规律性:单个标记可能跨越不同的持续时间,导致时间进程不均匀。在本文中,我们转而考虑是否可能有一种替代的标记化方法,其中使用统一长度的音乐步长(例如,一个节拍/beat)作为基本单元。具体来说,我们将同一时间步长内相同音高的所有事件编码为一个标记,并按时间步长显式地对标记进行分组,这类似于钢琴卷帘(piano roll)表示的稀疏编码。我们在音乐延续和伴奏生成任务上评估了所提出的标记化方法,并将其与主流的基于事件的方法进行了比较。结果表明,该方法提高了音乐质量和结构连贯性,而额外的分析证实了所提出的标记化方法具有更高的效率,并能更有效地捕获长距离模式。 论文: https://arxiv.org/abs/2604.19532 基于 MERT 表示的音乐源分离的基于嵌入的侵入式评估指标 概述:传统上,音乐源分离(MSS)的评估依赖于盲源分离评估(BSS Eval)指标。然而,最近的研究表明,BSS Eval 指标与来自听音测试(被认为是评估的黄金标准)的感知音频质量评分之间的相关性较低。作为歌声分离中的一种替代方法,研究人员引入了利用大型自监督音频模型(如进行大规模自监督训练的音乐理解模型 MERT)潜在表示的、基于嵌入的侵入式指标。在这项工作中,我们分析了感知音频质量评分与两种基于嵌入的侵入式指标之间的相关性:均方误差(MSE)以及在 MERT 嵌入上计算的 Fréchet 音频距离(FAD)的侵入式变体。在两个独立数据集上的实验表明,在所有分析的音轨(stem)和模型类型中,这些指标比传统的 BSS Eval 指标与感知音频质量评分具有更强的相关性。 论文: https://arxiv.org/abs/2604.20270 从图像到音乐语言:用于复杂复调光学音乐识别的两阶段结构解码方法 概述:我们提出了一种用于实用两阶段光学音乐识别(OMR)流水线的新方法,特别关注其第二阶段。给定来自视觉流水线的符号和事件候选,我们将它们解码为可编辑、可验证和可导出的乐谱结构。我们专注于复杂的复调五线谱,尤其是钢琴谱,其中声部分离和测量内(intra measure)时间是主要瓶颈。我们的方法将第二阶段解码公式化为一个结构解码问题,并使用具有概率引导搜索的拓扑识别(BeadSolver)作为其核心方法。我们还描述了一种将程序生成与识别反馈注释相结合的数据策略。其结果是为真实 OMR 系统提供了一个实用的解码组件,并为未来积累结构化乐谱数据以支持端到端、多模态和类强化学习(RL)方法开辟了道路。 论文: https://arxiv.org/abs/2604.20522 ONOTE:专家级音乐智能的全模态记谱处理基准测试 概