AI音乐周刊 W.A 027

AI音乐周刊 W.A 027 AI音乐周刊 W.A 027 Modified May 11 • 音乐与娱乐业的深度绑定： 超过 30 位知名音乐人、演员和娱乐高管参与了本轮注资。随着 AI 重塑内容分发，创意人才正利用 ElevenLabs 的技术掌控并延伸自己的声音（如多语种转换与跨国粉丝互动），从而开辟全新的音频版税与商业变现渠道。 • 从顶尖音频向“音视频全模态”进化： 在资金加持下，ElevenLabs 明确了下一阶段的战略路线。除了深化企业级对话智能体外，公司正着手将图像和视频生成技术与其引以为傲的底层音频模型相融合，旨在打造一个全方位赋能音乐人、视频创作者和营销团队的超级内容生产平台。 • 创作者社区的红利共享： ElevenLabs 首度通过 Robinhood Ventures 向社区的独立创作者开放了投资渠道，让早期贡献声音、参与平台共创的用户能够直接入股。同时，公司还完成了一笔 1 亿美元的要约收购以回馈全球团队。 从专业的语音克隆、音乐辅助工具到即将展开的音视频全模态扩张，ElevenLabs 正在向着下一代“全球创意基础设施”加速狂奔。 谷歌结盟发行巨头 Believe：推出 Flow Music，以 Lyria 3 Pro 赋能音乐人合规创作 5 月 6 日，谷歌宣布其全新 AI 音乐创作平台 Flow Music（前身为 ProducerAI）与全球独立音乐数字发行巨头 Believe 及其旗下 TuneCore 达成深度战略合作，正式将下一代 AI 音乐工具交付到专业艺术家、制作人和词曲作者手中。 核心亮点与战略意图 • 强大的“创意协作者”： 在谷歌最新一代音乐生成模型 Lyria 3 Pro 的驱动下，Flow Music 能深度理解音乐结构（如前奏、主歌、副歌等）。它不仅能协助构思歌词、探索复杂节奏与流派（如 Amapiano 或 Dream Pop），还能跨语种测试人声，甚至创造全新乐器。同时，谷歌明确承诺不主张对平台生成原创内容的所有权。 • 绝对的版权合规壁垒： 结合上周 Believe 全面封杀未授权 AI 平台的强硬举措，谷歌此次特别强调了 Lyria 3 Pro 训练数据的合法性。其训练素材均来自于 YouTube 和谷歌拥有合法使用权的许可协议内，为专业音乐人的商业化道路扫清了侵权风险。 • 专业制作人深度共创： Believe 和 TuneCore 将特邀一批核心艺术家作为“项目大使”，他们将每周与谷歌产品团队开展深度研讨，用一线音乐人的真实需求直接主导 Flow Music 的未来功能迭代。 Mozart AI 重磅更新：Vibe Sessions 上线双模式 （视频见公众号） 5 月 8 日，生成式音频工作站 Mozart AI 宣布为其核心功能 Vibe Sessions 推出重大更新，正式上线“变体（Variations）”生成，并引入了全新的双模式工作流，完美解决了此前用户在确定创意前难以进行海量试错的痛点。 核心功能与体验升级 • 探索模式（Explore Mode）： 告别了过去“开盲盒”式的一次性生成。现在，创作者可以基于同一个提示词，调用不同的底层模型生成数百个甚至“几乎无限”的音乐变体。用户可以尽情试听和探索，挑选出最契合自身灵感起点的完美初稿。 • 编辑模式（Edit Mode）： 当在海量变体中锁定心仪的曲目后，用户即可将其带入编辑模式。此时，对话式 AI 助手（Mozart）会重新介入，创作者可以通过与 AI 的自然语言对话，精细打磨音乐细节，完成创意的最终收敛。 • 配套升级与专业控制： 此外，官方还全面重构了封面艺术（Cover Art）生成系统并优化了内部组件“Hans”。官方也再次强调了其专业级定位：如果对话式编辑无法满足需求，用户可以随时跳转至 Studio 界面，接管当前业界最强大的 AI 音乐深度控制工具。 链接：https://mozartai.com/app 实时交互式音乐 AI 系统 Continuator 上线：首创“精确位置约束”解决生成痛点 近日，实时交互式音乐生成系统 Continuator 正式登陆 Hugging Face Space。借助全新的 Web 界面及 MIDI 输入/输出架构，用户只需弹奏一段乐句，系统便能实时聆听、学习，并以完全一致的音乐风格进行无缝续写。 核心突破与技术亮点 • 绝对精准的“位置约束”机制： 这是目前已知唯一能在生成过程中“精确”满足位置约束的交互式音乐系统。传统的生成式 AI 在面对具体指令时通常只能“模糊预测”，而 Continuator 允许用户设定绝对条件——例如强制要求生成的乐句必须以某个特定音符结尾，或在序列的特定位置严格指定音符。 • 直击音乐 AI 的核心软肋： 真实的音乐创作充斥着各种不可违背的规则与约束（如终止式、节奏对齐、旋律目标和曲式结构等），这恰恰是当前大多数生成大模型的短板。Continuator 不仅能精确遵守这些硬性约束，还能以正确的概率采样生成旋律，确保续写内容的自然与灵动。 开发团队透露，近期还将推出可视化的“约束工作室（Constraint Studio）”，让这种精确控制能力变得更加直观和具可玩性。此外，未来还将引入全新一代的生成引擎，它们将不再依赖庞大的训练数据集，且具备更高水平的创造力与可解释性。 尝试：https://huggingface.co/spaces/pachet/continuator front 论文：https://arxiv.org/abs/2604.07855 论文 🌈 以下是 5.5—5.11 期间发布的相关论文，已整理翻译 MG Former：基于 Transformer 的音乐驱动 3D 指挥手势生成框架 概述：从音乐中生成富有表现力的指挥手势是一个极具挑战性的跨模态动作合成问题：输出必须遵循长期的音乐结构，保持节拍级别的同步，并保持作为细粒度 3D 人体表演的合理性。现有的指挥动作研究通常受到稀疏姿态表示、小规模数据或无法直接衡量音乐与手势是否相互对齐的评估协议的限制。本文提出了 TransConductor，一个基于 Transformer 的音乐驱动指挥手势生成框架。我们引入了 ConductorMotion，这是一个 SMPL 参数数据构建流水线，能够从指挥视频中恢复详细的身体动作，并形成一个针对专业指挥手势的数据集。给定从音频中提取的声学描述符和初始姿态，TransConductor 使用跨时间音乐编码器和跨时间指挥手势解码器来自回归地预测 SMPL 姿态参数。为了更好地评估艺术对应性，我们进一步构建了一个基于检索的评估模型，该模型将音乐和手势嵌入到一个共享空间中，并产生 FID、模态距离、多模态距离和多样性指标。实验表明，TransConductor 优于舞蹈生成和指挥生成的基线模型，同时消融实验也验证了 Transformer 主干网络和所提出的对齐损失的优势。 论文链接： https://arxiv.org/abs/2605.01197 MindMelody：用于个性化音乐干预的脑电图（EEG）驱动闭环系统 概述：受全球精神健康状况日益加剧的负担驱动，基于音乐的干预作为一种用于情绪调节和缓解心理压力的非侵入性、高性价比方式，引起了广泛关注。然而，当前的数字音乐服务依赖于静态偏好，无法适应用户即时的心理状态。此外，由于严重的配对数据稀缺和缺乏可解释性，将脑电图（EEG）直接映射到音乐生成仍然具有挑战性。为了解决这些局限性，我们提出了 MindMelody，一个功能齐全的、用于脑电图驱动的个性化音乐干预的闭环实时系统。MindMelody 引入了一种情感介导的语义桥梁。具体而言，混合 Transformer GNN 首先将实时 EEG 信号解码为全局的效价 唤醒（Valence Arousal）状态和局部的时间情感轨迹。然后将这些状态输入到配备检索增强生成（RAG）的大型语言模型（LLM）中，以制定结构化的干预计划。随后，一种新颖的分层 EEG 控制器将全局情感前缀和局部时间引导注入到预训练的音乐主干网络中，实现细粒度可控的音频合成。至关重要的是，该系统结合了一个连续反馈循环，可根据用户不断演变的 EEG 动态即时更新生成参数。大量实验表明，MindMelody 提高了控制依从性和情感对齐度，并在短期聆听环境中获得了更高的感知有用性，这表明它作为一个自适应的情感感知音乐生成框架具有广阔的前景。 论文链接： https://arxiv.org/abs/2605.01235 Khala：扩展声学标记语言模型以实现高保真音乐生成 概述：高质量音乐生成中的一个常见设计模式是在不同的表示空间中处理结构和保真度：生成器首先对高级结构进行建模，然后通过基于扩散或神经解码的阶段重建精细细节。在这项工作中，我们探索了一种替代视角：这两者都可以通过单个深层声学标记（acoustic token）层次结构进行渐进式建模。为了研究这一点，我们构建了一个 64 层的残差矢量量化（RVQ）声学表示，并提出了一个两阶段由粗到细的生成框架。主干模型首先生成整个音轨的粗略声学标记，然后超分辨率模型在相同的声学标记空间内完成更精细的标记。超分辨率阶段在全音轨尺度上工作，逐层细化标记，同时在时间上并行运行，从而形成一个固定的 62 步推理过程。为了共同改善歌词对齐和细粒度细节重建，我们进一步引入了混合注意力训练：对齐目标使用因果注意力，而逐层细化使用全注意力。一个关键发现是，文本 人声对齐可以在纯声学标记语言建模中涌现，而不需要单独的语义标记阶段。此外，从训练好的主干模型初始化超分辨率模型显著提高了收敛速度和最终质量。总而言之，我们的结果表明，可以在不将结构和保真度分离到异构表示空间的情况下有效地追求高质量的音乐生成。相反，这两者可以在一个统一的声学标记层次结构中进行渐进式建模，这为高质量音乐生成指明了一条更简单、更统一的道路。 论文链接： https://arxiv.org/abs/2605.01790 TMD Bench：音乐 舞蹈协同生成的多级评估范式 概述：统一的音视频生成正迅速获得工业和创意领域的相关性，实现了虚拟制作和互动媒体中的应用。然而，当从通用的音视频合成转向音乐 舞蹈协同生成时，任务变得实质上更加困难：音乐的节奏、乐句和重音必须在精细的时间分辨率下驱动编舞动作，而这种节奏耦合是无法通过当前评估实践中使用的单模态指标或通用的视听一致性得分来捕捉的。我们引入了 TMD Bench，这是一个用于文本驱动的音乐 舞蹈协同生成的基准测试，它从单模态生成质量、指令遵循和跨模态节奏对齐等方面对系统进行评估。该基准将可计算的物理指标与感知的多模态判断相结合，并由精心策划的节奏对齐音乐 舞蹈数据集和用于结构化音乐语义的细粒度音乐字幕生成器提供支持。TMD Bench 进一步揭示了：（i）现代商业音视频模型（如 Veo 3 和 Sora 2）产生了高质量的音乐和视频，但节奏耦合的优化仍然不够一致，有待改进；（ii）我们在节奏对齐数据上训练的统一基线模型 RhyJAM 在保持具有竞争力的单模态保真度的同时，实现了具有竞争力的节拍级同步。这为构建明确优化节奏和运动连贯性的下一代音乐 舞蹈模型展示了广阔前景。 论文链接： https://arxiv.org/abs/2605.01809 APEX：面向 AI 生成音乐的大规模多任务美学感知流行度预测 概述：音乐流行度预测引起了越来越多的研究兴趣，它与艺术家、平台和推荐系统密切相关。然而，AI 生成音乐平台的爆炸性崛起创造了一个全新的且在很大程度上未被探索的领域：在这里，每天都有大量歌曲被生产和消费，而没有艺术家声誉或唱片公司支持等传统标志。在这一追求中，关键但尚未被探索的是美学质量。我们提出了 APEX，这是第一个面向 AI 生成音乐的大规模多任务学习框架，它在来自 Suno 和 Udio 的超过 21.1 万首歌曲（1 万小时音频）上进行了训练。APEX 从自监督音乐理解模型 MERT 中提取冻结的音频嵌入，联合预测基于参与度的流行度信号（播放量和点赞得分）以及五个感知美学质量维度。美学质量和流行度捕捉了音乐互补的方面，事实证明这两者结合在一起非常有价值：在 Music Arena 数据集的分布外评估中（该数据集包含训练期间未见过的十一个生成音乐系统之间成对的人类偏好对决），包含美学特征始终能改善偏好预测，这证明了所学表示在各种生成架构中具有很强的泛化能力。 论文链接： https://arxiv.org/abs/2605.03395 Cosmodoit：一个用于演奏音乐特征提取的自适应、高效流水线 Python 包 概述：演奏音乐的计算分析是音乐信息研究的一个关键组成部分，因为演奏塑造了我们听到的许多音乐。音乐演奏分析研究表演者引入的声学变化，以及这些变化如何反映音乐的诠释和结构。尽管针对演奏到乐谱的对齐（performance to score alignment）以及符号或音频特征提取等任务存在许多算法和工具，但它们分散在不同的编程语言和数据格式中，导致难以有效地将它们结合起来。为了解决这个问题，我们提出了 Cosmodoit，这是一个新颖的 Python 包，旨在简化从演奏音乐中提取特征的流程。Cosmodoit 将演奏到乐谱的对齐与符号和音频特征提取集成到一个模块化、灵活的流水线中，支持选择性处理、依赖感知计算和增量更新。其可扩展的设计减少了重复工作，最大限度地减少了错误，并实现了高效的大规模处理。通过兼容用多种语言实现的算法并允许参数调整以实现一致的特征提取，Cosmodoit 为音乐演奏分析的研究和开发提供了一个多功能且实用的工具。 论文链接： https://arxiv.org/abs/2605.03541 VocalParse：利用大型音频语言模型迈向统一且可扩展的歌声转录 概述：高质量的歌声标注是现代歌声合成（SVS）系统的基础。然而，由于需要大量劳动力和音乐专业知识，通过手动标注大规模获取这些注释是不现实的，因此自动标注变得非常必要。尽管有其效用，但当前的自动转录系统面临着重大挑战：它们通常依赖于复杂的多阶段流水线，难以恢复文本 音符对齐，并且对分布外（OOD）歌声数据的泛化能力较差。为了缓解这些问题，我们提出了 VocalParse，这是一个建立在大型音频语言模型（LALM）之上的统一歌声转录（SVT）模型。具体来说，我们的新颖贡献是引入了一种交错提示公式，它联合建模歌词、旋律和单词 音符的对应关系，产生一个直接映射到结构化乐谱的生成序列。此外，我们提出了一种思维链（CoT）风格的提示策略，该策略首先将歌词解码为语义支架，显著缓解了上下文中断问题，同时保留了交错生成的结构优势。实验表明，VocalParse 在多个歌声数据集上实现了最先进的 SVT 性能。 论文链接： https://arxiv.org/abs/2605.04613 用于流派自适应和弦生成的流行和爵士混合比例的实证研究 概述：和弦进行生成在实践中非常重要但研究不足。大多数大规模的符号音乐系统针对旋律、多轨编曲或音频合成，而仅包含和弦的模型往往被降级为大型流水线中的条件控制组件。本文将和弦生成作为一个独立的任务来对待，并解决了一个每当这种模型跨流派自适应时就会出现的问题：在微调期间必须保留多少旧领域数据才能获得新领域而不会遗忘旧领域？我从一个流行音乐预训练的 2500 万参数 Music Transformer（在保留的流行音乐测试集上具有 84.24% 的 top 1 和弦准确率）开始，研究爵士乐的微调。可用的爵士乐语料库比流行音乐语料库小一个数量级，因此每次微调运行都使用所有 1,513 个爵士乐训练序列。扫描变量是混合在其中的流行音乐“排练”数据量，取值为 {0, 1K, 2.5K, 5K, 10K}。每个微调后的模型都获得了 7 到 9 个百分点的爵士乐 top 1 提升。在仅使用爵士乐数据的微调下，流行音乐的准确率崩溃了 2.14 个百分点，在约 2.5K 排练样本（1.65 倍于爵士乐数据量）时恢复到基线水平，并在超过该点后饱和。一个补充观察：指标最佳的运行版本（F3，2.5K 混合）并不总是感知上最受青睐的。倾向于流行（10K）和倾向于爵士（1K）的端点带有了更坚定的风格特征，作者在非正式聆听中更常选择它们作为完成的输出。我讨论了这对音乐共创工具意味着什么，但没有提出任何感知上的断言，因为尚未进行正式的听音研究。 论文链接： https://arxiv.org/abs/2605.04998 PianoCoRe：组合与提纯的钢琴 MIDI 数据集 概述：具有匹配的乐谱和演奏的符号音乐数据集对于许多音乐信息检索（MIR）任务至关重要。然而，现有资源往往涵盖的作曲家范围狭窄，缺乏演奏的多样性，忽略了音符级别的对齐，或者使用不一致的命名格式。这项工作提出了 PianoCoRe，这是一个大规模的钢琴 MIDI 数据集，它统一并提纯了主要的开源钢琴语料库。该数据集包含 483 位作曲家创作的 5,625 首乐曲的 250,046 场演奏，演奏音乐总时长达 21,763 小时。PianoCoRe 以分层子集的形式发布，以支持不同的应用：从大规模分析和预训练，到具有音符级别乐谱对齐的富有表现力的演奏建模（PianoCoRe A/A ）。音符对齐的子集 PianoCoRe A 提供了迄今为止最大的开源集合，包含与 1,591 份乐谱对齐的 157,207 场演奏。除了数据集之外，贡献还包括：（1）一个 MIDI 质量分类器，用于检测损坏和类似于乐谱的转录；（2）RAScoP，一个对齐提纯流水线，可清理时间对齐错误并插值缺失的音符。分析表明，提纯减少了时间噪声并消除了速度异常值。此外，在 PianoCoRe 上训练的富有表现力的演奏渲染模型与在原始或较小数据集上训练的模型相比，展示了对未见过曲目的更好鲁棒性。PianoCoRe 为下一代富有表现力的钢琴演奏研究提供了即用型的基础。 论文链接： https://arxiv.org/abs/2605.06627 一种用于和弦生成的分解式检索 编辑 重排框架 概述：和弦生成本质上是一项受约束的创造性任务，需要平衡风格多样性和音乐理论的可行性。现有的方法通常将候选生成和约束执行纠缠在单个模型中，使得多样性与可行性之间的权衡难以控制和解释。在这项工作中，我们从系统级的角度探讨和弦生成，引入了一个检索 编辑 重排（Retrieval Edit Rerank, RER）框架，将该任务分解为三个明确的阶段：i）检索，定义一个风格上合理的候选空间；ii）编辑，通过最少的修改来执行音乐理论的可行性；iii）重排，解决可行候选者之间的软偏好问题。这种分离提供了一个可控的流水线，其中每个组件处理生成过程的不同方面，从而增强了输出和弦的可解释性和可调整性。通过客观指标和主观评估，我们分解式的系统在平衡和弦多样性和音乐理论可行性方面优于所有端到端的和弦生成基线模型。消融研究进一步证实了每个阶段在创造性探索和满足约束条件中的互补作用。 论文链接： https://arxiv.org/abs/2605.07489 • 音乐与娱乐业的深度绑定： 超过 30 位知名音乐人、演员和娱乐高管参与了本轮注资。随着 AI 重塑内容分发，创意人才正利用 ElevenLabs 的技术掌控并延伸自己的声音（如多语种转换与跨国粉丝互动），从而开辟全新的音频版税与商业变现渠道。 • 从顶尖音频向“音视频全模态”进化： 在资金加持下，ElevenLabs 明确了下一阶段的战略路线。除了深化企业级对话智能体外，公司正着手将图像和视频生成技术与其引以为傲的底层音频模型相融合，旨在打造一个全方位赋能音乐人、视频创作者和营销团队的超级内容生产平台。 • 创作者社区的红利共享： ElevenLabs 首度通过 Robinhood Ventures 向社区的独立创作者开放了投资渠道，让早期贡献声音、参与平台共创的用户能够直接入股。同时，公司还完成了一笔 1 亿美元的要约收购以回馈全球团队。 从专业的语音克隆、音乐辅助工具到即将展开的音视频全模态扩张，ElevenLabs 正在向着下一代“全球创意基础设施”加速狂奔。 谷歌结盟发行巨头 Believe：推出 Flow Music，以 Lyria 3 Pro 赋能音乐人合规创作 5 月 6 日，谷歌宣布其全新 AI 音乐创作平台 Flow Music（前身为 ProducerAI）与全球独立音乐数字发行巨头 Believe 及其旗下 TuneCore 达成深度战略合作，正式将下一代 AI 音乐工具交付到专业艺术家、制作人和词曲作者手中。 核心亮点与战略意图 • 强大的“创意协作者”： 在谷歌最新一代音乐生成模型 Lyria 3 Pro 的驱动下，Flow Music 能深度理解音乐结构（如前奏、主歌、副歌等）。它不仅能协助构思歌词、探索复杂节奏与流派（如 Amapiano 或 Dream Pop），还能跨语种测试人声，甚至创造全新乐器。同时，谷歌明确承诺不主张对平台生成原创内容的所有权。 • 绝对的版权合规壁垒： 结合上周 Believe 全面封杀未授权 AI 平台的强硬举措，谷歌此次特别强调了 Lyria 3 Pro 训练数据的合法性。其训练素材均来自于 YouTube 和谷歌拥有合法使用权的许可协议内，为专业音乐人的商业化道路扫清了侵权风险。 • 专业制作人深度共创： Believe 和 TuneCore 将特邀一批核心艺术家作为“项目大使”，他们将每周与谷歌产品团队开展深度研讨，用一线音乐人的真实需求直接主导 Flow Music 的未来功能迭代。 Mozart AI 重磅更新：Vibe Sessions 上线双模式 （视频见公众号） 5 月 8 日，生成式音频工作站 Mozart AI 宣布为其核心功能 Vibe Sessions 推出重大更新，正式上线“变体（Variations）”生成，并引入了全新的双模式工作流，完美解决了此前用户在确定创意前难以进行海量试错的痛点。 核心功能与体验升级 • 探索模式（Explore Mode）： 告别了过去“开盲盒”式的一次性生成。现在，创作者可以基于同一个提示词，调用不同的底层模型生成数百个甚至“几乎无限”的音乐变体。用户可以尽情试听和探索，挑选出最契合自身灵感起点的完美初稿。 • 编辑模式（Edit Mode）： 当在海量变体中锁定心仪的曲目后，用户即可将其带入编辑模式。此时，对话式 AI 助手（Mozart）会重新介入，创作者可以通过与 AI 的自然语言对话，精细打磨音乐细节，完成创意的最终收敛。 • 配套升级与专业控制： 此外，官方还全面重构了封面艺术（Cover Art）生成系统并优化了内部组件“Hans”。官方也再次强调了其专业级定位：如果对话式编辑无法满足需求，用户可以随时跳转至 Studio 界面，接管当前业界最强大的 AI 音乐深度控制工具。 链接：https://mozartai.com/app 实时交互式音乐 AI 系统 Continuator 上线：首创“精确位置约束”解决生成痛点 近日，实时交互式音乐生成系统 Continuator 正式登陆 Hugging Face Space。借助全新的 Web 界面及 MIDI 输入/输出架构，用户只需弹奏一段乐句，系统便能实时聆听、学习，并以完全一致的音乐风格进行无缝续写。 核心突破与技术亮点 • 绝对精准的“位置约束”机制： 这是目前已知唯一能在生成过程中“精确”满足位置约束的交互式音乐系统。传统的生成式 AI 在面对具体指令时通常只能“模糊预测”，而 Continuator 允许用户设定绝对条件——例如强制要求生成的乐句必须以某个特定音符结尾，或在序列的特定位置严格指定音符。 • 直击音乐 AI 的核心软肋： 真实的音乐创作充斥着各种不可违背的规则与约束（如终止式、节奏对齐、旋律目标和曲式结构等），这恰恰是当前大多数生成大模型的短板。Continuator 不仅能精确遵守这些硬性约束，还能以正确的概率采样生成旋律，确保续写内容的自然与灵动。 开发团队透露，近期还将推出可视化的“约束工作室（Constraint Studio）”，让这种精确控制能力变得更加直观和具可玩性。此外，未来还将引入全新一代的生成引擎，它们将不再依赖庞大的训练数据集，且具备更高水平的创造力与可解释性。 尝试：https://huggingface.co/spaces/pachet/continuator front 论文：https://arxiv.org/abs/2604.07855 论文 🌈 以下是 5.5—5.11 期间发布的相关论文，已整理翻译 以下是 5.5—5.11 期间发布的相关论文，已整理翻译 MG Former：基于 Transformer 的音乐驱动 3D 指挥手势生成框架 概述：从音乐中生成富有表现力的指挥手势是一个极具挑战性的跨模态动作合成问题：输出必须遵循长期的音乐结构，保持节拍级别的同步，并保持作为细粒度 3D 人体表演的合理性。现有的指挥动作研究通常受到稀疏姿态表示、小规模数据或无法直接衡量音乐与手势是否相互对齐的评估协议的限制。本文提出了 TransConductor，一个基于 Transformer 的音乐驱动指挥手势生成框架。我们引入了 ConductorMotion，这是一个 SMPL 参数数据构建流水线，能够从指挥视频中恢复详细的身体动作，并形成一个针对专业指挥手势的数据集。给定从音频中提取的声学描述符和初始姿态，TransConductor 使用跨时间音乐编码器和跨时间指挥手势解码器来自回归地预测 SMPL 姿态参数。为了更好地评估艺术对应性，我们进一步构建了一个基于检索的评估模型，该模型将音乐和手势嵌入到一个共享空间中，并产生 FID、模态距离、多模态距离和多样性指标。实验表明，TransConductor 优于舞蹈生成和指挥生成的基线模型，同时消融实验也验证了 Transformer 主干网络和所提出的对齐损失的优势。 论文链接： https://arxiv.org/abs/2605.01197 MindMelody：用于个性化音乐干预的脑电图（EEG）驱动闭环系统 概述：受全球精神健康状况日益加剧的负担驱动，基于音乐的干预作为一种用于情绪调节和缓解心理压力的非侵入性、高性价比方式，引起了广泛关注。然而，当前的数字音乐服务依赖于静态偏好，无法适应用户即时的心理状态。此外，由于严重的配对数据稀缺和缺乏可解释性，将脑电图（EEG）直接映射到音乐生成仍然具有挑战性。为了解决这些局限性，我们提出了 MindMelody，一个功能齐全的、用于脑电图驱动的个性化音乐干预的闭环实时系统。MindMelody 引入了一种情感介导的语义桥梁。具体而言，混合 Transformer GNN 首先将实时 EEG 信号解码为全局的效价 唤醒（Valence Arousal）状态和局部的时间情感轨迹。然后将这些状态输入到配备检索增强生成（RAG）的大型语言模型（LLM）中，以制定结构化的干预计划。随后，一种新颖的分层 EEG 控制器将全局情感前缀和局部时间引导注入到预训练的音乐主干网络中，实现细粒度可控的音频合成。至关重要的是，该系统结合了一个连续反馈循环，可根据用户不断演变的 EEG 动态即时更新生成参数。大量实验表明，MindMelody 提高了控制依从性和情感对齐度，并在短期聆听环境中获得了更高的感知有用性，这表明它作为一个自适应的情感感知音乐生成框架具有广阔的前景。 论文链接： https://arxiv.org/abs/2605.01235 Khala：扩展声学标记语言模型以实现高保真音乐生成 概述：高质量音乐生成中的一个常见设计模式是在不同的表示空间中处理结构和保真度：生成器首先对高级结构进行建模，然后通过基于扩散或神经解码的阶段重建精细细节。在这项工作中，我们探索了一种替代视角：这两者都可以通过单个深层声学标记（acoustic token）层次结构进行渐进式建模。为了研究这一点，我们构建了一个 64 层的残差矢量量化（RVQ）声学表示，并提出了一个两阶段由粗到细的生成框架。主干模型首先生成整个音轨的粗略声学标记，然后超分辨率模型在相同的声学标记空间内完成更精细的标记。超分辨率阶段在全音轨尺度上工作，逐层细化标记，同时在时间上并行运行，从而形成一个固定的 62 步推理过程。为了共同改善歌词对齐和细粒度细节重建，我们进一步引入了混合注意力训练：对齐目标使用因果注意力，而逐层细化使用全注意力。一个关键发现是，文本 人声对齐可以在纯声学标记语言建模中涌现，而不需要单独的语义标记阶段。此外，从训练好的主干模型初始化超分辨率模型显著提高了收敛速度和最终质量。总而言之，我们的结果表明，可以在不将结构和保真度分离到异构表示空间的情况下有效地追求高质量的音乐生成。相反，这两者可以在一个统一的声学标记层次结构中进行渐进式建模，这为高质量音乐生成指明了一条更简单、更统一的道路。 论文链接： https://arxiv.org/abs/2605.01790 TMD Bench：音乐 舞蹈协同生成的多级评估范式 概述：统一的音视频生成正迅速获得工业和创意领域的相关性，实现了虚拟制作和互动媒体中的应用。然而，当从通用的音视频合成转向音乐 舞蹈协同生成时，任务变得实质上更加困难：音乐的节奏、乐句和重音必须在精细的时间分辨率下驱动编舞动作，而这种节奏耦合是无法通过当前评估实践中使用的单模态指标或通用的视听一致性得分来捕捉的。我们引入了 TMD Bench，这是一个用于文本驱动的音乐 舞蹈协同生成的基准测试，它从单模态生成质量、指令遵循和跨模态节奏对齐等方面对系统进行评估。该基准将可计算的物理指标与感知的多模态判断相结合，并由精心策划的节奏对齐音乐 舞蹈数据集和用于结构化音乐语义的细粒度音乐字幕生成器提供支持。TMD Bench 进一步揭示了：（i）现代商业音视频模型（如 Veo 3 和 Sora 2）产生了高质量的音乐和视频，但节奏耦合的优化仍然不够一致，有待改进；（ii）我们在节奏对齐数据上训练的统一基线模型 RhyJAM 在保持具有竞争力的单模态保真度的同时，实现了具有竞争力的节拍级同步。这为构建明确优化节奏和运动连贯性的下一代音乐 舞蹈模型展示了广阔前景。 论文链接： https://arxiv.org/abs/2605.01809 APEX：面向 AI 生成音乐的大规模多任务美学感知流行度预测 概述：音乐流行度预测引起了越来越多的研究兴趣，它与艺术家、平台和推荐系统密切相关。然而，AI 生成音乐平台的爆炸性崛起创造了一个全新的且在很大程度上未被探索的领域：在这里，每天都有大量歌曲被生产和消费，而没有艺术家声誉或唱片公司支持等传统标志。在这一追求中，关键但尚未被探索的是美学质量。我们提出了 APEX，这是第一个面向 AI 生成音乐的大规模多任务学习框架，它在来自 Suno 和 Udio 的超过 21.1 万首歌曲（1 万小时音频）上进行了训练。APEX 从自监督音乐理解模型 MERT 中提取冻结的音频嵌入，联合预测基于参与度的流行度信号（播放量和点赞得分）以及五个感知美学质量维度。美学质量和流行度捕捉了音乐互补的方面，事实证明这两者结合在一起非常有价值：在 Music Arena 数据集的分布外评估中（该数据集包含训练期间未见过的十一个生成音乐系统之间成对的人类偏好对决），包含美学特征始终能改善偏好预测，这证明了所学表示在各种生成架构中具有很强的泛化能力。 论文链接： https://arxiv.org/abs/2605.03395 Cosmodoit：一个用于演奏音乐特征提取的自适应、高效流水线 Python 包 概述：演奏音乐的计算分析是音乐信息研究的一个关键组成部分，因为演奏塑造了我们听到的许多音乐。音乐演奏分析研究表演者引入的声学变化，以及这些变化如何反映音乐的诠释和结构。尽管针对演奏到乐谱的对齐（performance to score alignment）以及符号或音频特征提取等任务存在许多算法和工具，但它们分散在不同的编程语言和数据格式中，导致难以有效地将它们结合起来。为了解决这个问题，我们提出了 Cosmodoit，这是一个新颖的 Python 包，旨在简化从演奏音乐中提取特征的流程。Cosmodoit 将演奏到乐谱的对齐与符号和音频特征提取集成到一个模块化、灵活的流水线中，支持选择性处理、依赖感知计算和增量更新。其可扩展的设计减少了重复工作，最大限度地减少了错误，并实现了高效的大规模处理。通过兼容用多种语言实现的算法并允许参数调整以实现一致的特征提取，Cosmodoit 为音乐演奏分析的研究和开发提供了一个多功能且实用的工具。 论文链接： https://arxiv.org/abs/2605.03541 VocalParse：利用大型音频语言模型迈向统一且可扩展的歌声转录 概述：高质量的歌声标注是现代歌声合成（SVS）系统的基础。然而，由于需要大量劳动力和音乐专业知识，通过手动标注大规模获取这些注释是不现实的，因此自动标注变得非常必要。尽管有其效用，但当前的自动转录系统面临着重大挑战：它们通常依赖于复杂的多阶段流水线，难以恢复文本 音符对齐，并且对分布外（OOD）歌声数据的泛化能力较差。为了缓解这些问题，我们提出了 VocalParse，这是一个建立在大型音频语言模型（LALM）之上的统一歌声转录（SVT）模型。具体来说，我们的新颖贡献是引入了一种交错提示公式，它联合建模歌词、旋律和单词 音符的对应关系，产生一个直接映射到结构化乐谱的生成序列。此外，我们提出了一种思维链（CoT）风格的提示策略，该策略首先将歌词解码为语义支架，显著缓解了上下文中断问题，同时保留了交错生成的结构优势。实验表明，VocalParse 在多个歌声数据集上实现了最先进的 SVT 性能。 论文链接： https://arxiv.org/abs/2605.04613 用于流派自适应和弦生成的流行和爵士混合比例的实证研究 概述：和弦进行生成在实践中非常重要但研究不足。大多数大规模的符号音乐系统针对旋律、多轨编曲或音频合成，而仅包含和弦的模型往往被降级为大型流水线中的条件控制组件。本文将和弦生成作为一个独立的任务来对待，并解决了一个每当这种模型跨流派自适应时就会出现的问题：在微调期间必须保留多少旧领域数据才能获得新领域而不会遗忘旧领域？我从一个流行音乐预训练的 2500 万参数 Music Transformer（在保留的流行音乐测试集上具有 84.24% 的 top 1 和弦准确率）开始，研究爵士乐的微调。可用的爵士乐语料库比流行音乐语料库小一个数量级，因此每次微调运行都使用所有 1,513 个爵士乐训练序列。扫描变量是混合在其中的流行音乐“排练”数据量，取值为 {0, 1K, 2.5K, 5K, 10K}。每个微调后的模型都获得了 7 到 9 个百分点的爵士乐 top 1 提升。在仅使用爵士乐数据的微调下，流行音乐的准确率崩溃了 2.14 个百分点，在约 2.5K 排练样本（1.65 倍于爵士乐数据量）时恢复到基线水平，并在超过该点后饱和。一个补充观察：指标最佳的运行版本（F3，2.5K 混合）并不总是感知上最受青睐的。倾向于流行（10K）和倾向于爵士（1K）的端点带有了更坚定的风格特征，作者在非正式聆听中更常选择它们作为完成的输出。我讨论了这对音乐共创工具意味着什么，但没有提出任何感知上的断言，因为尚未进行正式的听音研究。 论文链接： https://arxiv.org/abs/2605.04998 PianoCoRe：组合与提纯的钢琴 MIDI 数据集 概述：具有匹配的乐谱和演奏的符号音乐数据集对于许多音乐信息检索（MIR）任务至关重要。然而，现有资源往往涵盖的作曲家范围狭窄，缺乏演奏的多样性，忽略了音符级别的对齐，或者使用不一致的命名格式。这项工作提出了 PianoCoRe，这是一