AI音乐周刊 W.A 030
AI音乐周刊 W.A 030
AI音乐周刊 W.A 030 AI音乐周刊 W.A 030 Modified June 1 • 无缝宿主对接: 内置高/低切、混响、延迟等丰富效果器。各声部独立分轨(Stems)支持直接“拖拽导出”至Logic等主流DAW,亦可一键打包下载母带级全长混音。 工具:https://soundraw.io/grid start now 完整视频:https://youtu.be/kepSCYI QOs?si=oR782m3vP0PzUWBS 一键解锁无版权隐患库!AudioShake 推出全新版权合规系统 5 月 27 日,音频 AI 技术公司 AudioShake 宣布推出版权合规系统(Copyright Compliance System)。这是一套专为广播公司、影视工作室、体育大厂及分发商打造的端到端管线,旨在高效检测、识别并清除媒体文件中的侵权背景音乐。 核心功能与优势 • 一站式闭环处理: 系统整合多项强大工具,首先通过音乐检测标记是否存在版权音乐,再通过音乐识别精准判定歌名、艺人等片段信息。 • 完美保留人声特效: 依托顶尖的音乐消除模型,系统可在移除背景音乐的同时,完美保留原视频中的对话、环境音及音效,直接产出合规音频,规避版权罚款与下架风险。 • 高度模块化整合: 平台采用模块化设计,团队既可引入整条管线,也能在现有工作流中单独调用“检测、识别、消除”的任意单一功能。 目前,该系统已在 ESPN、NFL Films、CrunchLabs 和 Music Reports 等业界巨头中投入使用。即日起,用户可通过 AudioShake API 接入,或利用 SDK 体验实时音乐消除服务。 详情:https://www.audioshake.ai/post/audioshake copyright compliance system music detection identification removal compliance ElevenLabs 发布 Music v2 大模型:支持跨流派变奏与精细局部重绘,价格最高斩半 5 月 27 日,ElevenLabs 推出全新 Music v2 音乐大模型,并对企业 API 和创意平台实施高达 40% 至 50% 的大幅降价。新模型在人声、编曲和多语言支持上实现了质的飞跃。 核心突破与场景应用 • 超高创作自由度: 首次支持单曲内跨流派无缝切换(如歌剧突变至重金属)、高密度快板说唱,并可直接内嵌非音乐音效,同时保持整体音乐连贯性。 • 精准局部重绘(Inpainting): 创作者可自由框选并单独重塑歌曲的某一特定片段(如微调过渡段),而完全不破坏副歌等其余既有部分的完好性。 • 全面赋能三大生态: 强力驱动面向大众创作的 ElevenMusic、面向广告营销的 ElevenCreative,以及即将上线的开发者平台 ElevenAPI。 该模型完全基于合规授权数据训练(包括与 Believe 的合作),生成的作品均无版权风险,可直接用于商业化落地。 工具:https://elevenmusic.io/ Blog:https://elevenlabs.io/blog/introducing music v2 YouTube 推出全新自动 AI 识别系统:强力标签落地,不合规欺瞒将“一去不返” 5 月 27 日,随着谷歌新一代 Omni 大模型等工具让生成式视频愈发真假难辨,YouTube 正式宣布升级 AI 内容披露标签,并重磅推出全自动 AI 内容检测系统,彻底告别过去单纯依赖创作者“自愿申报”的时代。 核心机制与硬性规则 • 全自动智能捕捉: YouTube 将通过内部信号,自动对具有“显著逼真度(Photorealistic)”的 AI 视频进行强制标记。其核心触发机制包括:识别文件中的 C2PA 元数据,以及检测谷歌自研视频模型 Veo 等工具的内置防伪水印。 • 部分标签不可逆转: 平台提供了申诉通道,但有两项硬性例外——若视频因包含 C2PA 数据或官方 AI 水印而被系统锁定制标签,该标记将被视作铁证,属于“永久性存在”,创作者不享有申诉权。 • 不影响推荐与变现: 官方明确强调,增设 AI 标签纯粹是为了保障观众的知情权与平台透明度。这类标签完全不会影响视频的算法推荐权重,也不影响创作者的广告收益与变现资格。 延迟低于100ms!本地实时音乐扩散引擎 DEMON 开源 5 月 28 日,开发团队推出本地优先的实时音乐生成与控制扩散引擎 DEMON。它旨在攻克传统AI音频系统数秒的延迟瓶颈,将生成式音频转化为可像真实乐器一样现场演奏、即时交互的流媒体表面。 技术突破与性能 • 极致低延时: 运行频率达25Hz,仅需单张消费级GPU即可实现低于100毫秒的端到端超低延迟。 • 环形缓冲区架构: 颠覆了传统的2秒自回归分块模式,采用优化的环形缓冲区(Ring buffer)与共享可变潜在曲线技术,使用户的控制输入在毫秒间直接映射到SDE求解器,实现真正的手随心动。 落地场景与生态 DEMON 支持通过音乐风格 LoRA 动态切换并试听流派,完美适配现场即兴表演、游戏背景音以及动态交互装置的音频实时响应。目前,该项目的开源仓库及网页Demo已正式上线 GitHub,未来团队还将推出由 DEMON 驱动的 Daydream Music API 和 VST 编曲插件。 介绍页面:https://daydream.live/music Github:https://github.com/daydreamlive/DEMON 让无声画面“活”过来!MOSS SoundEffect v2.0 文本生音效大模型发布 5 月 30 日,MOSS 发布全新文本转音效模型 MOSS SoundEffect v2.0,旨在通过自然语言提示词为无声视频赋予逼真的听觉生命力。 该模型采用了前沿的扩散 Transformer(DiT)主干网络,并基于流匹配(Flow Matching)目标进行训练。在前端与后端处理上,它创新性地配对了 DAC VAE 音频自编码器与 Qwen3 文本编码器,这使其在精准理解人类复杂意图的同时,具备了极为强悍的声学重构保真度。 核心性能与规格: • 高保真长音频: 支持生成最高 48 kHz 采样率的高保真音效,单次生成时长可控,最长可达 30 秒。 • 全场景覆盖: 能够完美模拟并还原环境(如篝火)、城市、生物以及人类具体行为(如键盘敲击、脚步声、水流声)等极其丰富的细粒度现实音效。 Github:https://github.com/OpenMOSS/MOSS TTS/tree/main/moss soundeffect v2 HF:https://huggingface.co/OpenMOSS Team/MOSS SoundEffect v2.0 论文 🌈 以下是 5.26—6.1 期间发布的相关论文,已整理翻译 (几乎)无监督的音乐转录 概述:有竞争力的音乐转录模型需要大量的“音频 乐谱”配对数据,但由于采集成本高、对齐困难以及版权限制,这类数据非常稀缺。与此同时,大量未配对的音频录音和符号乐谱虽然可以免费获取,但一直未被利用。我们采用了循环一致性翻译(cycle consistent translation)框架,其中少量的配对数据作为最小锚点,以此释放未配对数据池的全部潜力。我们发现:未配对数据带来了令人惊讶的巨大提升,尤其是在有限的监督条件下;未配对音频的贡献大于未配对乐谱;在训练过程中引入来自新乐器的未标记音频,可以在没有任何配对监督的情况下,提高该乐器的转录质量。总的来说,这些结果表明,扩展未配对数据的规模为那些标签数据仍然稀缺的乐器实现高质量转录提供了一条切实可行的途径。 论文链接:https://arxiv.org/abs/2605.24193 Rubato:带有时间戳的钢琴音乐转录 概述:我们研究了如何将音乐录音转换为带有时间戳标注、人类可读的乐谱。这种输出可以让听众清晰地将弹性速度(rubato,即时间上富有表现力的演奏)可视化,让学习者对照纸面乐谱诊断合奏的精准度与节奏选择,并让音乐学学者比较同一作品不同录音之间的演奏风格。我们引入了:(1)一个名为 Rubato 的提示词条件编码器 解码器模型,该模型经训练可输出(2)一种名为 InterMo 的多声部音乐全新文本表示法,这是我们为兼容序列到序列(sequence to sequence)训练而设计的。我们的实验表明,与现有的基于级联(cascades)的最佳方法相比,Rubato 从音频中生成的带时间戳钢琴乐谱具有更高的记谱准确度。我们发现,即使给级联方法输入真实的 MIDI(而非音频),Rubato 的表现仍然更好,这表明现有方法的瓶颈主要在于表示方式,而非声学层面。此外,由于 Rubato 在多个相关任务上进行了训练(带有提示词),它在诸如 MIDI 音符定位(grounding)以及节拍/强拍检测等相关但更简单的任务上,能够与现有的最佳单任务系统相媲美甚至超越它们。 论文链接:https://arxiv.org/abs/2605.24291 MERIT:面向音频相似度的解耦音乐表示学习 概述:当前的音乐相似度模型通常只计算一个单一、整体的分数,将旋律、节奏和音色等不同的音乐维度纠缠在一起。这限制了用户的控制能力和可解释性,使得执行精细的查询变得不可能。我们推出了 MERIT 框架,用于学习针对这三个核心维度的解耦、特定因子的音乐表示。为了克服现实世界音频中缺乏独立音乐变化的难题,我们采用了一种新颖的训练策略,利用条件音频生成和源分离分轨(stems),在训练数据中强烈促进单因子变化。我们的评估证明了强大的按因子解耦能力。每个模型头(head)都对其预期的感知维度做出强烈响应,而在其他维度上保持接近随机猜测的水平,这一表示特性在合成训练领域和独立的现实世界音频中均成立。 论文链接:https://arxiv.org/abs/2605.27346 Dasheng AudioGen:从文本生成连贯音频场景的统一模型 概述:长期以来,音频生成一直处于碎片化状态,语音、音乐和音效通常由特定领域的模型分别产生,无法从单一描述中共同生成连贯的音频场景。核心障碍在于现实世界混合音频缺乏细粒度的监督,以及用于建模同时发生的音频组件的声学表示能力有限。我们提出了 Dasheng AudioGen(大圣音频生成),这是一个从文本生成通用混合音频场景的统一框架。Dasheng AudioGen 引入了结构化的多视角字幕(multi view captions),将复杂的声学场景显式地解耦为互补的描述视角,从而实现对音频图层的细粒度控制。此外,我们采用高维统一的语义 声学表示作为共享的潜在空间。它注入了促进跨模态训练收敛的语义先验,同时其高维特征空间提供了足够的容量来有效解耦和融合同时发生的音频组件。通过这些设计,一个简单的流匹配(flow matching)DiT 即可实现高质量的端到端音频场景生成。我们还为音频场景生成建立了全面的评估流水线。实验表明,Dasheng AudioGen 在混合音频类别中的表现接近现实世界的录音,同时在单类型生成任务中仍能与专用模型媲美。 论文链接:https://arxiv.org/abs/2605.27838 DEMON:用于音乐管弦乐噪声的扩散引擎 概述:我们提出了 DEMON,一个实时扩散引擎,它使去噪过程可以像现场乐器一样进行演奏:它具有极其宽阔的控制面(在输出端逐帧调整许多参数)和极高的响应速度(每个控制在去噪循环中允许的位置上以最快的速度生效)。该引擎基于 ACE Step 1.5 和带有 TensorRT 加速的 StreamDiffusion 环形缓冲区(ring buffer)架构构建,在单张消费级 GPU(RTX 5090)上,针对 60 秒的音乐每秒可维持多达 12.3 次解码器完成,或者在我们的生产环深度为 4 时每秒达到 11.3 次生成。在这种速率下,去噪参数可以作为现场表演控制,但环形缓冲区仅以其流出速率传播每次请求的更改,底线为 S 个去噪步骤。我们贡献了四种机制:(1)每插槽异构去噪调度:每个环形缓冲区插槽拥有自己的时间步调度,因此可以跟踪移动的去噪滑块,而无需清除运行中的队列(在上游全局调度设计中必须重建并丢弃该队列)。(2)共享可变的每步状态:使在每个求解器步骤中参考的任何参数都能在下一时刻立即见效,从而绕过环形缓冲区流出延迟。(3)逐帧源混合(Per frame source blending):标准 SDE 重新加噪步骤上的采样时间控制,提供了一个逐帧转换强度的轴,与标量去噪调度相辅相成。(4)利用感受野分析的窗口化 VAE 解码,实现了 8.0 倍的解码加速。这些机制共同将流式扩散参数按启动和收敛延迟分成了四个传播类别。 论文链接:https://arxiv.org/abs/2605.28657 MusTBENCH:评估与推进音乐大语言模型(LLM)中的时间定位能力 概述:最近的大型音频 语言模型(LALM)在理解音乐内容方面展现出了巨大的潜力。然而,它们的回答是否基于音频中正确的时间区域(时间定位,temporal grounding)仍未得到充分研究。这种局限性对于音乐理解尤为关键,因为关键信息通常以时间局部的事件形式出现,例如乐器切入和节奏过渡。为了填补这一空白,我们推出了 MusTBENCH,这是一个经音乐专家验证的基准测试,旨在通过五个具有时间定位的问答任务来评估 LALM 的时间定位能力。为了进一步提高现有模型的时间定位能力,我们提出了 MusT,这是一种新颖的四阶段时间优化方案,涵盖音乐编码器自适应、LLM 自适应、LLM 监督微调以及基于强化学习(RL)的优化。在 MusTBENCH 上的实验表明,现有的 LALM 在精确的时间定位方面表现挣扎,而 MusT 相比强基线模型带来了显著的改进。这些结果确立了时间定位是当前 LALM 中缺失的关键能力,并将 MusTBENCH 塑造成未来时间定位音乐理解研究中颇自由挑战性的基准。 论文链接:https://arxiv.org/abs/2605.29300 逃离线性陷阱:针对歌声深度伪造检测黑盒对抗攻击的流形绕行 概述:近期歌声合成(SVS)的进展使得高度逼真但可能恶意的 AI 翻唱成为可能,这使得歌声深度伪造检测(SVDD)变得至关重要。基于自监督学习(SSL)的检测器通过对语音 SSL 主干网络进行微调来捕捉特定的歌声欺骗伪迹(artifacts),从而达到了最先进的性能。现有的对抗攻击往往在对抗基于 SSL 的 SVDD 时失效,从而给人一种其固有的鲁棒性的假象。我们揭示了这源于两个挑战。首先,在目标层面上,攻击优化了局部替代模型(surrogates)上的交叉熵,跨越了特定于替代模型的边界,而不是抑制共享的欺骗证据。其次,在局部分析的方法层面上,攻击遵循替代模型的主导梯度方向。在基于 SSL 的 SVDD 中,这与微调后的伪迹敏感方向一致,限制了对未见过检测器的可迁移性——我们将这种几何上的失败称为“线性陷阱”。为了正确评估鲁棒性,我们提出了 MARS(语义元对抗回归),这是一个专为基于 SSL 的 SVDD 量身定制的、基于迁移的黑盒框架。在结构上,MARS 通过从预训练的 SSL 空间构建自然语义锚点以及从微调的空间构建伪迹锚点,转向了“假设 证据”操纵。在算法上,MARS 通过双层优化(bi level optimization)逃离线性陷阱:内部阶段引导切线探索,而外部阶段引导音频走向自然语义流形。在 CtrSVDD 基准上的实验表明,MARS 提高了分布内迁移(13%)、分布外迁移(10%)和跨任务评估(36%)的攻击成功率(ASR),突显了构建鲁棒 SVDD 系统的紧迫需求。 论文链接:https://arxiv.org/abs/2605.30366 AnchorSteer:用于保持结构的音乐编辑的自发现概念注入 概述:可控音乐编辑是指在严格保持节奏和旋律结构的同时修改高层属性。然而,这项任务面临着“语义 结构纠缠”的挑战:引导(steering)方法往往为了实现编辑性能而破坏结构,而结构自适应器则会抑制语义响应能力。我们提出了 AnchorSteer,这是一个通过将结构锚定与自发现语义引导相结合来解耦这种张力的框架。该方法通过自监督重构目标探测内部表示,以提取可解释且无标签的概念向量,从而在没有人工策划数据的情况下隔离属性。在编辑过程中,这些便携、即插即用的概念向量被注入到扩散隐藏流形(diffusion hidden manifolds)中,同时结构自适应器强加一致性。我们提供了针对无条件注入和有条件注入的变体,以平衡鲁棒性和语义强度。在 ZoME Bench 上的实验和主观测试表明,所提出的框架优于纯引导和纯锚定的基线模型,能够实现显著的语义转变并保持高保真的结构。 论文链接:https://arxiv.org/abs/2605.31053 参考资料 https://www.yahoo.com/entertainment/music/articles/tiktok ai text song trend 140000594.html?guccounter=1&guce referrer=aHR0cHM6Ly93d3cuYmluZy5jb20v&guce referrer sig=AQAAAB8bd8qvpZLNtdnq09T0gNoyJMdNoY fmwIBPmCk LGiLvnHAvgHCT afYnieqVmOQzuotyvbqwMYEZLX7b6x86iFezBcdjG0bwlFrdQ8DgIvqfYZmuzdd6JcKWaqKWt87i5IaG4gq9qN7Ha LtXsgajS u1uMxfPxBTjry1d6Xz https://x.com/RollingStone/status/2058910966075539679?s=20 https://www.musicbusinessworldwide.com/sony music moves to add more than 30000 copyrighted recordings to its lawsuit against udio/ https://x.com/AudioShakeAI/status/2059329193683644712?s=20 https://x.com/ElevenLabs/status/2059312414198235642?s=20 https://www.digitalmusicnews.com/2026/05/27/youtubes new ai detector is here/ https://x.com/earlofmuir/status/2060025895742472442?s=20 https://x.com/MosiAI Official/status/2060406157257408937?s=20 • 无缝宿主对接: 内置高/低切、混响、延迟等丰富效果器。各声部独立分轨(Stems)支持直接“拖拽导出”至Logic等主流DAW,亦可一键打包下载母带级全长混音。 工具:https://soundraw.io/grid start now 完整视频:https://youtu.be/kepSCYI QOs?si=oR782m3vP0PzUWBS 一键解锁无版权隐患库!AudioShake 推出全新版权合规系统 5 月 27 日,音频 AI 技术公司 AudioShake 宣布推出版权合规系统(Copyright Compliance System)。这是一套专为广播公司、影视工作室、体育大厂及分发商打造的端到端管线,旨在高效检测、识别并清除媒体文件中的侵权背景音乐。 核心功能与优势 • 一站式闭环处理: 系统整合多项强大工具,首先通过音乐检测标记是否存在版权音乐,再通过音乐识别精准判定歌名、艺人等片段信息。 • 完美保留人声特效: 依托顶尖的音乐消除模型,系统可在移除背景音乐的同时,完美保留原视频中的对话、环境音及音效,直接产出合规音频,规避版权罚款与下架风险。 • 高度模块化整合: 平台采用模块化设计,团队既可引入整条管线,也能在现有工作流中单独调用“检测、识别、消除”的任意单一功能。 目前,该系统已在 ESPN、NFL Films、CrunchLabs 和 Music Reports 等业界巨头中投入使用。即日起,用户可通过 AudioShake API 接入,或利用 SDK 体验实时音乐消除服务。 详情:https://www.audioshake.ai/post/audioshake copyright compliance system music detection identification removal compliance ElevenLabs 发布 Music v2 大模型:支持跨流派变奏与精细局部重绘,价格最高斩半 5 月 27 日,ElevenLabs 推出全新 Music v2 音乐大模型,并对企业 API 和创意平台实施高达 40% 至 50% 的大幅降价。新模型在人声、编曲和多语言支持上实现了质的飞跃。 核心突破与场景应用 • 超高创作自由度: 首次支持单曲内跨流派无缝切换(如歌剧突变至重金属)、高密度快板说唱,并可直接内嵌非音乐音效,同时保持整体音乐连贯性。 • 精准局部重绘(Inpainting): 创作者可自由框选并单独重塑歌曲的某一特定片段(如微调过渡段),而完全不破坏副歌等其余既有部分的完好性。 • 全面赋能三大生态: 强力驱动面向大众创作的 ElevenMusic、面向广告营销的 ElevenCreative,以及即将上线的开发者平台 ElevenAPI。 该模型完全基于合规授权数据训练(包括与 Believe 的合作),生成的作品均无版权风险,可直接用于商业化落地。 工具:https://elevenmusic.io/ Blog:https://elevenlabs.io/blog/introducing music v2 YouTube 推出全新自动 AI 识别系统:强力标签落地,不合规欺瞒将“一去不返” 5 月 27 日,随着谷歌新一代 Omni 大模型等工具让生成式视频愈发真假难辨,YouTube 正式宣布升级 AI 内容披露标签,并重磅推出全自动 AI 内容检测系统,彻底告别过去单纯依赖创作者“自愿申报”的时代。 核心机制与硬性规则 • 全自动智能捕捉: YouTube 将通过内部信号,自动对具有“显著逼真度(Photorealistic)”的 AI 视频进行强制标记。其核心触发机制包括:识别文件中的 C2PA 元数据,以及检测谷歌自研视频模型 Veo 等工具的内置防伪水印。 • 部分标签不可逆转: 平台提供了申诉通道,但有两项硬性例外——若视频因包含 C2PA 数据或官方 AI 水印而被系统锁定制标签,该标记将被视作铁证,属于“永久性存在”,创作者不享有申诉权。 • 不影响推荐与变现: 官方明确强调,增设 AI 标签纯粹是为了保障观众的知情权与平台透明度。这类标签完全不会影响视频的算法推荐权重,也不影响创作者的广告收益与变现资格。 延迟低于100ms!本地实时音乐扩散引擎 DEMON 开源 5 月 28 日,开发团队推出本地优先的实时音乐生成与控制扩散引擎 DEMON。它旨在攻克传统AI音频系统数秒的延迟瓶颈,将生成式音频转化为可像真实乐器一样现场演奏、即时交互的流媒体表面。 技术突破与性能 • 极致低延时: 运行频率达25Hz,仅需单张消费级GPU即可实现低于100毫秒的端到端超低延迟。 • 环形缓冲区架构: 颠覆了传统的2秒自回归分块模式,采用优化的环形缓冲区(Ring buffer)与共享可变潜在曲线技术,使用户的控制输入在毫秒间直接映射到SDE求解器,实现真正的手随心动。 落地场景与生态 DEMON 支持通过音乐风格 LoRA 动态切换并试听流派,完美适配现场即兴表演、游戏背景音以及动态交互装置的音频实时响应。目前,该项目的开源仓库及网页Demo已正式上线 GitHub,未来团队还将推出由 DEMON 驱动的 Daydream Music API 和 VST 编曲插件。 介绍页面:https://daydream.live/music Github:https://github.com/daydreamlive/DEMON 让无声画面“活”过来!MOSS SoundEffect v2.0 文本生音效大模型发布 5 月 30 日,MOSS 发布全新文本转音效模型 MOSS SoundEffect v2.0,旨在通过自然语言提示词为无声视频赋予逼真的听觉生命力。 该模型采用了前沿的扩散 Transformer(DiT)主干网络,并基于流匹配(Flow Matching)目标进行训练。在前端与后端处理上,它创新性地配对了 DAC VAE 音频自编码器与 Qwen3 文本编码器,这使其在精准理解人类复杂意图的同时,具备了极为强悍的声学重构保真度。 核心性能与规格: • 高保真长音频: 支持生成最高 48 kHz 采样率的高保真音效,单次生成时长可控,最长可达 30 秒。 • 全场景覆盖: 能够完美模拟并还原环境(如篝火)、城市、生物以及人类具体行为(如键盘敲击、脚步声、水流声)等极其丰富的细粒度现实音效。 Github:https://github.com/OpenMOSS/MOSS TTS/tree/main/moss soundeffect v2 HF:https://huggingface.co/OpenMOSS Team/MOSS SoundEffect v2.0 论文 🌈 以下是 5.26—6.1 期间发布的相关论文,已整理翻译 以下是 5.26—6.1 期间发布的相关论文,已整理翻译 (几乎)无监督的音乐转录 概述:有竞争力的音乐转录模型需要大量的“音频 乐谱”配对数据,但由于采集成本高、对齐困难以及版权限制,这类数据非常稀缺。与此同时,大量未配对的音频录音和符号乐谱虽然可以免费获取,但一直未被利用。我们采用了循环一致性翻译(cycle consistent translation)框架,其中少量的配对数据作为最小锚点,以此释放未配对数据池的全部潜力。我们发现:未配对数据带来了令人惊讶的巨大提升,尤其是在有限的监督条件下;未配对音频的贡献大于未配对乐谱;在训练过程中引入来自新乐器的未标记音频,可以在没有任何配对监督的情况下,提高该乐器的转录质量。总的来说,这些结果表明,扩展未配对数据的规模为那些标签数据仍然稀缺的乐器实现高质量转录提供了一条切实可行的途径。 论文链接:https://arxiv.org/abs/2605.24193 Rubato:带有时间戳的钢琴音乐转录 概述:我们研究了如何将音乐录音转换为带有时间戳标注、人类可读的乐谱。这种输出可以让听众清晰地将弹性速度(rubato,即时间上富有表现力的演奏)可视化,让学习者对照纸面乐谱诊断合奏的精准度与节奏选择,并让音乐学学者比较同一作品不同录音之间的演奏风格。我们引入了:(1)一个名为 Rubato 的提示词条件编码器 解码器模型,该模型经训练可输出(2)一种名为 InterMo 的多声部音乐全新文本表示法,这是我们为兼容序列到序列(sequence to sequence)训练而设计的。我们的实验表明,与现有的基于级联(cascades)的最佳方法相比,Rubato 从音频中生成的带时间戳钢琴乐谱具有更高的记谱准确度。我们发现,即使给级联方法输入真实的 MIDI(而非音频),Rubato 的表现仍然更好,这表明现有方法的瓶颈主要在于表示方式,而非声学层面。此外,由于 Rubato 在多个相关任务上进行了训练(带有提示词),它在诸如 MIDI 音符定位(grounding)以及节拍/强拍检测等相关但更简单的任务上,能够与现有的最佳单任务系统相媲美甚至超越它们。 论文链接:https://arxiv.org/abs/2605.24291 MERIT:面向音频相似度的解耦音乐表示学习 概述:当前的音乐相似度模型通常只计算一个单一、整体的分数,将旋律、节奏和音色等不同的音乐维度纠缠在一起。这限制了用户的控制能力和可解释性,使得执行精细的查询变得不可能。我们推出了 MERIT 框架,用于学习针对这三个核心维度的解耦、特定因子的音乐表示。为了克服现实世界音频中缺乏独立音乐变化的难题,我们采用了一种新颖的训练策略,利用条件音频生成和源分离分轨(stems),在训练数据中强烈促进单因子变化。我们的评估证明了强大的按因子