AI音乐周刊 W.A 024

AI音乐周刊 W.A 024 AI音乐周刊 W.A 024 Modified April 20 4 月 17 日，AI 音乐创作平台 Tunee 迎来了重磅更新。备受用户期待的多项经典音乐功能不仅全面回归，其底层更升级为强大的 Mureka V9 模型。同时，平台还全新推出了基于 Seedance 2.0 的“MV 克隆（MV Clone）”视觉玩法。三大功能回归： • Cover（翻唱改编）：在保留原唱旋律骨架的基础上，用户可自由更改曲风、编曲、乐器、人声音色甚至替换歌词，生成一首全新版本的歌曲。 • Voice Extraction（音色参考）：提取上传人声作为参考，生成具有相似嗓音特质的全新曲目。 • Hum to Song（哼唱生歌）：创作者只需哼出一段灵感旋律，Tunee 就能将其转化为一首编曲丰满的成品歌曲。注：音乐上传目前支持高达 100MB、最长 8 分钟的 MP3/M4A/MIDI 格式上传 Seedance 2.0 “MV 克隆”：视频生成能力的又一次突破。用户上传一段参考 MV 后，系统能精准复刻其镜头语言、运镜节奏和整体视觉氛围，并无缝搭配上用户自己的音乐。只需 10 180 秒的素材，即可实现“同款视觉，专属配乐”。网站：https://www.tunee.ai/ 走向透明化：Spotify 测试上线 AI 音乐披露标签功能 4 月 17 日，流媒体巨头 Spotify 宣布正式推出一项 Beta 测试功能，允许艺术家公开声明其音乐创作中人工智能的使用情况，迈出了规范 AI 音乐生态的重要一步。功能细节与当前局限 • 精细的自愿披露：当创作者选择通过其厂牌或数字发行商进行申报后，听众即可在 Spotify 移动端的“歌曲制作名单（Song Credits）”中，清晰查看 AI 在人声、歌词编创或后期制作等具体环节中的参与度。 • 并非“排雷”工具： Spotify 坦言，该机制目前完全依赖于创作者的“自愿披露”，且部分发行商尚未支持该功能。因此官方强调：“没有 AI 标签，并不意味着这首歌绝对没有使用 AI。” 目前，Spotify 正在“两条腿走路”：一边推进自有平台的标签化，一边联手标准组织 DDEX 试图建立全行业统一的 AI 标识规范。然而，行业整合之路依然漫长——Apple Music 已经上线了自己独立的透明度标签系统，而 Deezer 则倾向于依赖其内部的自动化识别技术来强行打标。业内抛出了一个更严峻的长期拷问：如果未来 AI 披露成为各大数字服务提供商（DSP）的强制性要求，平台将采取何种技术手段来核实？又将如何惩处那些刻意隐瞒 AI 使用痕迹的创作者和发行商？ ProducerAI 宣布更名为 Google Flow Music 并上线重混功能 4 月 18 日，被谷歌收购的知名 AI 音乐平台 ProducerAI 官方宣布，正式更名为“Google Flow Music”，全面融入 Google 生态版图。伴随此次品牌焕新，原班团队依托谷歌强大的基础设施，重磅推出了基于自然语言交互的全新 Remix（重混）编辑套件，旨在帮助创作者轻松进入音乐创作的“心流（Flow）”状态。核心功能与升级亮点 • 自然语言精准控制：彻底打破传统宿主软件（DAW）的操作门槛，用户现在只需通过文本提示词，就能精确定位并修改音轨的特定段落。 • 局部替换与延伸 (Replace & Extend)：创作者可以像指导人类乐手一样向 AI 智能体下达指令。例如，将一段低保真（Lo fi）钢琴前奏顺滑地延伸为极具爆发力的 Dubstep Drop；或者让 AI 一次性生成 5 种不同版本的吉他 Solo 以供挑选；甚至可以一键同时替换整首歌曲的所有副歌部分。凭借全新的迭代打磨能力，Google Flow Music 正在将 AI 音乐的颗粒度从“整首盲盒生成”推向“精细化可控编辑”。网站：https://www.flowmusic.app/ 论文 🌈 以下是 4.14—4.20 期间发布的相关论文，已整理翻译 Jamendo MT QA：用于多音轨比较音乐问答的基准测试摘要：最近在音乐问答（Music QA）方面的工作主要集中在单音轨理解上，模型根据标签、描述或元数据回答有关单个音频剪辑的问题。然而，听众经常使用比较性的术语来描述音乐，而现有的基准测试并没有系统地评估跨多个音轨的推理能力。在 Jamendo QA 数据集的基础上，我们推出了 Jamendo MT QA，这是一个用于多音轨比较问答的数据集和基准测试。我们利用 Jamendo 上遵循知识共享许可协议（Creative Commons）的曲目，在 12,173 对音轨上构建了 36,519 个比较问答项，每对音轨产生三种类型的问题：是非题、简答题和句子级问题。我们描述了一个基于大型语言模型（LLM）辅助的流水线，用于生成和过滤比较问题，并使用自动指标和基于 LLM 裁判（LLM as a Judge）的评估方法对代表性的音频语言模型进行了基准测试。论文链接： https://arxiv.org/abs/2604.09721 MAGE：模态不可知的音乐生成与编辑摘要：多模态音乐创作需要模型既能从高级线索中生成音频，又能对现有的混音进行有针对性的编辑。然而，大多数多模态音乐系统是为单一任务和固定的提示词接口构建的，当指导信息模糊、时间未对齐或部分缺失时，其条件控制会变得很脆弱。常见的加性融合或特征拼接进一步削弱了跨模态的连贯性，经常导致在生成和编辑过程中出现提示词偏移（prompt drift）和虚假的音乐内容。我们提出了 MAGE，这是一个模态不可知的框架，它在单一连续潜在公式内统一了多模态音乐生成和基于混音的编辑。在核心层面上，MAGE 使用了一个受控多模态 FluxFormer，这是一种基于流（flow based）的 Transformer，能够在任何可用条件子集下学习用于合成和编辑的可控潜在轨迹。为了提高基础能力，我们引入了视听连接对齐（Audio Visual Nexus Alignment）来为音频时间线选择时间上一致的视觉证据；并引入了交叉门控调制机制，将对齐的视觉和文本线索作为乘性控制施加于音频潜在变量，从而抑制不支持的组件，而不是强行注入它们。最后，我们采用动态模态掩码课程学习进行训练，使模型能够适应纯文本、纯视觉、联合多模态和混合引导设置，从而在缺少模态的情况下实现鲁棒的推理，而无需训练单独的模型。在 MUSIC 基准测试上的实验表明，MAGE 支持有效的多模态引导音乐生成和有针对性的编辑，在提供适合实际音乐工作流的轻量级灵活界面的同时，实现了极具竞争力的质量。论文链接： https://arxiv.org/abs/2604.09803 掩码对比预训练提升音乐音频的音调检测能力摘要：自监督音乐基础模型在音调检测（Key Detection）上的表现不佳，因为这项任务需要对音高敏感的表示。在这项工作中，我们首次提出了系统性研究，表明自监督预训练的设计直接影响音高敏感度，并证明掩码对比嵌入在监督设置下的音调检测中独树一帜地实现了当前最优（SOTA）性能。首先，我们发现在梅尔频谱图上进行基于掩码的对比预训练后，直接进行线性评估就可以在开箱即用的情况下实现具有竞争力的音乐音调检测性能。这引导我们在从基础模型提取的特征上训练浅而宽的多层感知机（MLPs），从而无需复杂的数据增强策略即可达到 SOTA 性能。我们进一步分析了鲁棒性，并通过实证表明学习到的表示自然地编码了常见的增强操作。我们的研究确立了自监督预训练作为一种有效处理音高敏感型音乐信息检索（MIR）任务的方法，并为设计和探索音乐基础模型提供了见解。论文链接： https://arxiv.org/abs/2604.10021 注入描述符的跨模态学习：对基于频谱和旋律特征的音频 MIDI 对齐的系统性探索摘要：由于连续波形和离散事件序列编码了同一演奏的不同方面，音频录音和符号音乐表示（MIDI）之间的跨模态检索仍然具有挑战性。我们研究了“描述符注入（descriptor injection）”——即利用人工设计的领域特征增强特定于模态的编码器——作为跨越这一鸿沟的桥梁。在一项涵盖 13 种描述符机制组合、6 个架构系列和 3 种训练计划的三阶段研究中，最佳配置在五个独立随机种子下达到了 84.0% 的平均 S 值，比无描述符的基线提高了 8.8 个百分点。因果消融实验表明，基于八度频带能量动态的音频描述符 A4 推动了顶级双模型中的增益，而 MIDI 描述符 D4 尽管改善了训练动态，但在推理阶段的作用较弱。我们还引入了反向交叉注意力（reverse cross attention），其中描述符标记查询编码器特征，这减少了相对于标准公式的注意力操作，同时保持了竞争力。CKA 分析表明，描述符大幅增加了音频 MIDI transformer 层的对齐，表明这是表征的收敛，而不是简单的特征拼接。扰动分析确定高频八度频带是主要的区分信号。所有实验均使用 MAESTRO v3.0.0 数据集，并采用控制作曲家和作品相似性的评估协议。论文链接： https://arxiv.org/abs/2604.10283 BMdataset：一个经音乐学策划的 LilyPond 数据集摘要：符号音乐研究几乎完全依赖于基于 MIDI 的数据集；而基于文本的雕刻格式，如 LilyPond，在音乐理解方面仍未得到探索。我们提出了 BMdataset，这是一个经音乐学精心策划的数据集，包含 393 份 LilyPond 乐谱（2,646 个乐章），由专家直接从巴洛克时期的原始手稿中转录而来，其元数据涵盖了作曲家、音乐形式、乐器编制和段落属性。在此资源的基础上，我们推出了 LilyBERT，这是一个基于 CodeBERT 的编码器，通过添加 115 个 LilyPond 特定的 token 扩展词汇表，并结合掩码语言模型预训练，使其适应符号音乐。在域外 Mutopia 语料库上的线性探测表明，尽管其规模较小（约 9000 万个 token），但仅在 BMdataset 上进行微调，在作曲家和风格分类方面的表现就优于在完整的 PDMX 语料库（约 150 亿个 token）上进行持续预训练，这证明对于音乐理解而言，小型且经过专家策划的数据集可以比庞大且嘈杂的语料库更有效。将广泛的预训练与特定领域的微调相结合，总体上产生了最佳结果（84.3% 的作曲家准确率），证实了这两种数据机制是互补的。我们发布了数据集、分词器和模型，以建立 LilyPond 表示学习的基线。论文链接： https://arxiv.org/abs/2604.10628 音乐口味对应的多模态数据集归一化与感知验证摘要：收集用于音乐风味（music flavor）研究的大型、对齐的跨模态数据集非常困难，因为感知实验成本高昂，而且设计上的规模较小。我们通过两项互补实验解决了这个瓶颈。第一项实验测试了音频风味相关性、特征重要性排名以及潜在因素结构，是否能从一个实验配乐集合（包含 257 首有人工标注的曲目）转移到一个大型的基于 FMA 的语料库（约 49,300 个具有合成标签的片段）。第二项实验在一项在线听众研究（49 名参与者，20 首曲目）中，对照人类的感知验证了计算性风味目标（通过可重复的管道从食品化学中推导得出）。两项实验的结果趋于一致：定量迁移分析证实了跨模态结构在不同监督机制下得到了保留，而感知评估显示了计算目标与听众评分之间的显著对齐。这些发现共同支持了在合成 FMA 注释中存在“声学调味（sonic seasoning）”效应的结论。我们发布了数据集和配套代码，以支持可重复的跨模态人工智能研究。论文链接： https://arxiv.org/abs/2604.10632 Audio Omni：将多模态理解扩展至通用音频生成与编辑摘要：多模态模型的最新进展推动了音频理解、生成和编辑的快速发展。然而，这些功能通常由专门的模型分别处理，开发一个能够无缝集成所有三个任务的真正统一的框架仍处于探索不足的阶段。虽然一些开创性的工作探索了统一音频理解和生成，但它们通常局限于特定领域。为了解决这个问题，我们推出了 Audio Omni，这是第一个将一般声音、音乐和语音领域的生成与编辑统一起来的端到端框架，并具备集成的多模态理解能力。我们的架构协同使用了一个冻结的多模态大型语言模型进行高级推理，以及一个可训练的扩散 Transformer 进行高保真合成。为了克服音频编辑中严重的数据短缺问题，我们构建了 AudioEdit，这是一个包含超过 100 万个精心挑选的编辑对的大规模新数据集。大量实验表明，Audio Omni 在一系列基准测试中达到了最先进的性能，优于之前的统一方法，同时达到了与专用专家模型相当或更优的性能。除了其核心能力之外，Audio Omni 还展现了显著的继承能力，包括知识增强的推理生成、上下文内生成（in context generation）以及针对音频生成的零样本跨语言控制，突显了通向通用生成式音频智能的充满希望的发展方向。论文链接： https://arxiv.org/abs/2604.10708 MeloTune：用于主动音乐精选的端侧唤醒度学习与点对点情绪耦合摘要：MeloTune 是一个部署在 iPhone 上的音乐智能体，它实例化了网格内存协议（MMP）和符号向量注意力融合（SVAF），作为一个通过点对点情绪耦合实现情绪感知音乐精选（curation）的生产系统。每个设备运行两个闭合形式连续时间（CfC）网络：一个是私有的侦听器级 CfC，它在拉塞尔（Russell）情感环形模型上预测短期情感轨迹，并驱动主动精选；另一个是位于 MMP 第 6 层的共享网格运行时 CfC，它集成来自共同收听对等端（peers）的认知内存块（CMBs）。CfC 隐藏状态永远不会通过网络传输；只有结构化的 CMB 才会。一个个人唤醒函数（PAF）取代了从音频强度到心理唤醒的标准化线性映射，转而使用针对每个听众学习到的调整，其训练信号来自行为（跳过、完成、收藏、音量）以及用户声明的情绪与机器推理之间的偏差。对于不同的听众，同一首曲目会收到不同的唤醒预测。该模型（参数量为 94,552）在留出的验证集上实现了 0.414 的轨迹 MAE、96.6% 的模式准确率和 69.4% 的意图准确率。来自实时部署会话的 PAF 证据证明该学习循环可进行端到端操作。所有推理均通过 CoreML 在端侧（on device）运行。据我们所知，这是首次在消费级移动硬件上生产部署 MMP/SVAF。伴随的 SDK 强制执行严格的协议一致性。音乐是案例研究；底层基础结构才是核心贡献。论文链接： https://arxiv.org/abs/2604.10815 Audio Flamingo Next：用于语音、声音和音乐的下一代开源音频语言模型 4 月 17 日，AI 音乐创作平台 Tunee 迎来了重磅更新。备受用户期待的多项经典音乐功能不仅全面回归，其底层更升级为强大的 Mureka V9 模型。同时，平台还全新推出了基于 Seedance 2.0 的“MV 克隆（MV Clone）”视觉玩法。三大功能回归： • Cover（翻唱改编）：在保留原唱旋律骨架的基础上，用户可自由更改曲风、编曲、乐器、人声音色甚至替换歌词，生成一首全新版本的歌曲。 • Voice Extraction（音色参考）：提取上传人声作为参考，生成具有相似嗓音特质的全新曲目。 • Hum to Song（哼唱生歌）：创作者只需哼出一段灵感旋律，Tunee 就能将其转化为一首编曲丰满的成品歌曲。注：音乐上传目前支持高达 100MB、最长 8 分钟的 MP3/M4A/MIDI 格式上传 Seedance 2.0 “MV 克隆”：视频生成能力的又一次突破。用户上传一段参考 MV 后，系统能精准复刻其镜头语言、运镜节奏和整体视觉氛围，并无缝搭配上用户自己的音乐。只需 10 180 秒的素材，即可实现“同款视觉，专属配乐”。网站：https://www.tunee.ai/ 走向透明化：Spotify 测试上线 AI 音乐披露标签功能 4 月 17 日，流媒体巨头 Spotify 宣布正式推出一项 Beta 测试功能，允许艺术家公开声明其音乐创作中人工智能的使用情况，迈出了规范 AI 音乐生态的重要一步。功能细节与当前局限 • 精细的自愿披露：当创作者选择通过其厂牌或数字发行商进行申报后，听众即可在 Spotify 移动端的“歌曲制作名单（Song Credits）”中，清晰查看 AI 在人声、歌词编创或后期制作等具体环节中的参与度。 • 并非“排雷”工具： Spotify 坦言，该机制目前完全依赖于创作者的“自愿披露”，且部分发行商尚未支持该功能。因此官方强调：“没有 AI 标签，并不意味着这首歌绝对没有使用 AI。” 目前，Spotify 正在“两条腿走路”：一边推进自有平台的标签化，一边联手标准组织 DDEX 试图建立全行业统一的 AI 标识规范。然而，行业整合之路依然漫长——Apple Music 已经上线了自己独立的透明度标签系统，而 Deezer 则倾向于依赖其内部的自动化识别技术来强行打标。业内抛出了一个更严峻的长期拷问：如果未来 AI 披露成为各大数字服务提供商（DSP）的强制性要求，平台将采取何种技术手段来核实？又将如何惩处那些刻意隐瞒 AI 使用痕迹的创作者和发行商？ ProducerAI 宣布更名为 Google Flow Music 并上线重混功能 4 月 18 日，被谷歌收购的知名 AI 音乐平台 ProducerAI 官方宣布，正式更名为“Google Flow Music”，全面融入 Google 生态版图。伴随此次品牌焕新，原班团队依托谷歌强大的基础设施，重磅推出了基于自然语言交互的全新 Remix（重混）编辑套件，旨在帮助创作者轻松进入音乐创作的“心流（Flow）”状态。核心功能与升级亮点 • 自然语言精准控制：彻底打破传统宿主软件（DAW）的操作门槛，用户现在只需通过文本提示词，就能精确定位并修改音轨的特定段落。 • 局部替换与延伸 (Replace & Extend)：创作者可以像指导人类乐手一样向 AI 智能体下达指令。例如，将一段低保真（Lo fi）钢琴前奏顺滑地延伸为极具爆发力的 Dubstep Drop；或者让 AI 一次性生成 5 种不同版本的吉他 Solo 以供挑选；甚至可以一键同时替换整首歌曲的所有副歌部分。凭借全新的迭代打磨能力，Google Flow Music 正在将 AI 音乐的颗粒度从“整首盲盒生成”推向“精细化可控编辑”。网站：https://www.flowmusic.app/ 论文 🌈 以下是 4.14—4.20 期间发布的相关论文，已整理翻译以下是 4.14—4.20 期间发布的相关论文，已整理翻译 Jamendo MT QA：用于多音轨比较音乐问答的基准测试摘要：最近在音乐问答（Music QA）方面的工作主要集中在单音轨理解上，模型根据标签、描述或元数据回答有关单个音频剪辑的问题。然而，听众经常使用比较性的术语来描述音乐，而现有的基准测试并没有系统地评估跨多个音轨的推理能力。在 Jamendo QA 数据集的基础上，我们推出了 Jamendo MT QA，这是一个用于多音轨比较问答的数据集和基准测试。我们利用 Jamendo 上遵循知识共享许可协议（Creative Commons）的曲目，在 12,173 对音轨上构建了 36,519 个比较问答项，每对音轨产生三种类型的问题：是非题、简答题和句子级问题。我们描述了一个基于大型语言模型（LLM）辅助的流水线，用于生成和过滤比较问题，并使用自动指标和基于 LLM 裁判（LLM as a Judge）的评估方法对代表性的音频语言模型进行了基准测试。论文链接： https://arxiv.org/abs/2604.09721 MAGE：模态不可知的音乐生成与编辑摘要：多模态音乐创作需要模型既能从高级线索中生成音频，又能对现有的混音进行有针对性的编辑。然而，大多数多模态音乐系统是为单一任务和固定的提示词接口构建的，当指导信息模糊、时间未对齐或部分缺失时，其条件控制会变得很脆弱。常见的加性融合或特征拼接进一步削弱了跨模态的连贯性，经常导致在生成和编辑过程中出现提示词偏移（prompt drift）和虚假的音乐内容。我们提出了 MAGE，这是一个模态不可知的框架，它在单一连续潜在公式内统一了多模态音乐生成和基于混音的编辑。在核心层面上，MAGE 使用了一个受控多模态 FluxFormer，这是一种基于流（flow based）的 Transformer，能够在任何可用条件子集下学习用于合成和编辑的可控潜在轨迹。为了提高基础能力，我们引入了视听连接对齐（Audio Visual Nexus Alignment）来为音频时间线选择时间上一致的视觉证据；并引入了交叉门控调制机制，将对齐的视觉和文本线索作为乘性控制施加于音频潜在变量，从而抑制不支持的组件，而不是强行注入它们。最后，我们采用动态模态掩码课程学习进行训练，使模型能够适应纯文本、纯视觉、联合多模态和混合引导设置，从而在缺少模态的情况下实现鲁棒的推理，而无需训练单独的模型。在 MUSIC 基准测试上的实验表明，MAGE 支持有效的多模态引导音乐生成和有针对性的编辑，在提供适合实际音乐工作流的轻量级灵活界面的同时，实现了极具竞争力的质量。论文链接： https://arxiv.org/abs/2604.09803 掩码对比预训练提升音乐音频的音调检测能力摘要：自监督音乐基础模型在音调检测（Key Detection）上的表现不佳，因为这项任务需要对音高敏感的表示。在这项工作中，我们首次提出了系统性研究，表明自监督预训练的设计直接影响音高敏感度，并证明掩码对比嵌入在监督设置下的音调检测中独树一帜地实现了当前最优（SOTA）性能。首先，我们发现在梅尔频谱图上进行基于掩码的对比预训练后，直接进行线性评估就可以在开箱即用的情况下实现具有竞争力的音乐音调检测性能。这引导我们在从基础模型提取的特征上训练浅而宽的多层感知机（MLPs），从而无需复杂的数据增强策略即可达到 SOTA 性能。我们进一步分析了鲁棒性，并通过实证表明学习到的表示自然地编码了常见的增强操作。我们的研究确立了自监督预训练作为一种有效处理音高敏感型音乐信息检索（MIR）任务的方法，并为设计和探索音乐基础模型提供了见解。论文链接： https://arxiv.org/abs/2604.10021 注入描述符的跨模态学习：对基于频谱和旋律特征的音频 MIDI 对齐的系统性探索摘要：由于连续波形和离散事件序列编码了同一演奏的不同方面，音频录音和符号音乐表示（MIDI）之间的跨模态检索仍然具有挑战性。我们研究了“描述符注入（descriptor injection）”——即利用人工设计的领域特征增强特定于模态的编码器——作为跨越这一鸿沟的桥梁。在一项涵盖 13 种描述符机制组合、6 个架构系列和 3 种训练计划的三阶段研究中，最佳配置在五个独立随机种子下达到了 84.0% 的平均 S 值，比无描述符的基线提高了 8.8 个百分点。因果消融实验表明，基于八度频带能量动态的音频描述符 A4 推动了顶级双模型中的增益，而 MIDI 描述符 D4 尽管改善了训练动态，但在推理阶段的作用较弱。我们还引入了反向交叉注意力（reverse cross attention），其中描述符标记查询编码器特征，这减少了相对于标准公式的注意力操作，同时保持了竞争力。CKA 分析表明，描述符大幅增加了音频 MIDI transformer 层的对齐，表明这是表征的收敛，而不是简单的特征拼接。扰动分析确定高频八度频带是主要的区分信号。所有实验均使用 MAESTRO v3.0.0 数据集，并采用控制作曲家和作品相似性的评估协议。论文链接： https://arxiv.org/abs/2604.10283 BMdataset：一个经音乐学策划的 LilyPond 数据集摘要：符号音乐研究几乎完全依赖于基于 MIDI 的数据集；而基于文本的雕刻格式，如 LilyPond，在音乐理解方面仍未得到探索。我们提出了 BMdataset，这是一个经音乐学精心策划的数据集，包含 393 份 LilyPond 乐谱（2,646 个乐章），由专家直接从巴洛克时期的原始手稿中转录而来，其元数据涵盖了作曲家、音乐形式、乐器编制和段落属性。在此资源的基础上，我们推出了 LilyBERT，这是一个基于 CodeBERT 的编码器，通过添加 115 个 LilyPond 特定的 token 扩展词汇表，并结合掩码语言模型预训练，使其适应符号音乐。在域外 Mutopia 语料库上的线性探测表明，尽管其规模较小（约 9000 万个 token），但仅在 BMdataset 上进行微调，在作曲家和风格分类方面的表现就优于在完整的 PDMX 语料库（约 150 亿个 token）上进行持续预训练，这证明对于音乐理解而言，小型且经过专家策划的数据集可以比庞大且嘈杂的语料库更有效。将广泛的预训练与特定领域的微调相结合，总体上产生了最佳结果（84.3% 的作曲家准确率），证实了这两种数据机制是互补的。我们发布了数据集、分词器和模型，以建立 LilyPond 表示学习的基线。论文链接： https://arxiv.org/abs/2604.10628 音乐口味对应的多模态数据集归一化与感知验证摘要：收集用于音乐风味（music flavor）研究的大型、对齐的跨模态数据集非常困难，因为感知实验成本高昂，而且设计上的规模较小。我们通过两项互补实验解决了这个瓶颈。第一项实验测试了音频风味相关性、特征重要性排名以及潜在因素结构，是否能从一个实验配乐集合（包含 257 首有人工标注的曲目）转移到一个大型的基于 FMA 的语料库（约 49,300 个具有合成标签的片段）。第二项实验在一项在线听众研究（49 名参与者，20 首曲目）中，对照人类的感知验证了计算性风味目标（通过可重复的管道从食品化学中推导得出）。两项实验的结果趋于一致：定量迁移分析证实了跨模态结构在不同监督机制下得到了保留，而感知评估显示了计算目标与听众评分之间的显著对齐。这些发现共同支持了在合成 FMA 注释中存在“声学调味（sonic seasoning）”效应的结论。我们发布了数据集和配套代码，以支持可重复的跨模态人工智能研究。论文链接： https://arxiv.org/abs/2604.10632 Audio Omni：将多模态理解扩展至通用音频生成与编辑摘要：多模态模型的最新进展推动了音频理解、生成和编辑的快速发展。然而，这些功能通常由专门的模型分别处理，开发一个能够无缝集成所有三个任务的真正统一的框架仍处于探索不足的阶段。虽然一些开创性的工作探索了统一音频理解和生成，但它们通常局限于特定领域。为了解决这个问题，我们推出了 Audio Omni，这是第一个将一般声音、音乐和语音领域的生成与编辑统一起来的端到端框架，并具备集成的多模态理解能力。我们的架构协同使用了一个冻结的多模态大型语言模型进行高级推理，以及一个可训练的扩散 Transformer 进行高保真合成。为了克服音频编辑中严重的数据短缺问题，我们构建了 AudioEdit，这是一个包含超过 100 万个精心挑选的编辑对的大规模新数据集。大量实验表明，Audio Omni 在一系列基准测试中达到了最先进的性能，优于之前的统一方法，同时达到了与专用专家模型相当或更优的性能。除了其核心能力之外，Audio Omni 还展现了显著的继承能力，包括知识增强的推理生成、上下文内生成（in context generation）以及针对音频生成的零样本跨语言控制，突显了通向通用生成式音频智能的充满希望的发展方向。论文链接： https://arxiv.org/abs/2604.10708 MeloTune：用于主动音乐精选的端侧唤醒度学习与点对点情绪耦合摘要：MeloTune 是一个部署在 iPhone 上的音乐智能体，它实例化了网格内存协议（MMP）和符号向量注意力融合（SVAF），作为一个通过点对点情绪耦合实现情绪感知音乐精选（curation）的生产系统。每个设备运行两个闭合形式连续时间（CfC）网络：一个是私有的侦听器级 CfC，它在拉塞尔（Russell）情感环形模型上预测短期情感轨迹，并驱动主动精选；另一个是位于 MM

在小宇宙note 阅读完整内容