AI音乐周刊 W.A 017

AI音乐周刊 W.A 017 AI音乐周刊 W.A 017 Modified March 2 2 月 27 日，AI 音乐生成平台 Suno 首席执行官 Mikey Shulman 透露了公司的最新商业里程碑：Suno 全球用户量已突破 1 亿，并成功积累了 200 万付费订阅用户，其年度经常性收入（ARR）达到 3 亿美元。 这组数据首次正面回应了行业内关于“AI 音乐工具是否具备可持续商业模式”的质疑。以 1 亿总用户计算，Suno 的付费转化率至少达到了 2%（若仅算活跃用户，比例将更高），充分证明了 C 端消费者对 AI 音乐生成工具存在强烈的付费意愿与实际需求。 在商业数据亮眼的同时，Suno 面临的版权争议却在持续发酵。其投资方 Menlo Ventures 的一位投资者 C.C. Gong 日前发帖称，由于厌倦了 Spotify 的推荐，自己已将大部分听歌时间“转移到了 Suno”。尽管该帖已被删除，但 AI 维权人士 Ed Newton Rex 截图并指出，这条言论等同于直接承认“Suno 与其训练数据（人类音乐）构成了直接的市场竞争”。在未来的版权侵权诉讼中，这极有可能成为击溃 Suno“合理使用（Fair Use）”辩护的核心证据。 RoEx 实验室实现混音技术重大突破：推出全自适应动态智能混音 2月28日，RoEx 实验室宣布其最新一代混音模型取得重大研发突破。新模型在混音质量、处理速度与场景适应性上实现了阶跃式提升，正推动音频后期制作向“真正风格迁移”与“实时混音”的终极目标迈进。 功能亮点 • 全动态自适应混音： 彻底告别传统的静态参数！新系统通过细粒度的自动化控制，动态调整每个音轨段落的增益（Gain）、均衡（EQ）和压缩，能够智能判断并为当前最重要的乐器或声道“腾出空间”。该技术完美兼容音乐、人声对话及拟音（Foley）等多种音频处理场景。 • 参考混音工作流： 全新架构不仅支持复杂的创意效果链，还能通过参考曲目（Reference mix）直接驱动工作流，让自动化混音更具专业审美。 • 支持 DAW 工程导出： 拒绝“黑盒化”。新技术将在未来几周内陆续登陆其 API、SDK 及 Automix 平台，并支持将项目无缝导出至 Ableton Live、Bitwig 和 Fender Studio。制作人可在宿主软件中直观地查看并二次编辑所有的自动化包络线。 这一突破性进展底层得益于自定义 CUDA 内核的硬核优化，并在研发初期获得了 Innovate UK 的支持与 Google 的云算力赞助。 CHI 2026 前沿：Adobe 联合推出 VidTune，用“视觉缩略图”实现 AI 音乐快速预览 在即将到来的 CHI 2026 顶会上，加州大学伯克利分校与 Adobe Research 联合发布了一项名为 VidTune 的创新研究。针对当前 AI 文本生成音乐（Text to Music）模型“生成容易、试听挑选耗时”的痛点，VidTune 创造性地将 AI 生成的音轨转化为基于视频上下文的“视觉缩略图”，让创作者能像浏览图片或视频一样“一眼看懂”音乐。 核心亮点 • 音乐视觉化映射：系统提取用户视频主体作为画面基础，将音乐的情感（Valence）与能量映射为颜色与亮度，并在动态缩略图中直观展示乐器的登场与大致节拍。 • 智能提示与迭代：VidTune 会根据视频场景自动提供 Prompt 建议，一次性扩展生成多首候选音轨。用户还能通过自然语言指令对选定音轨进行微调与迭代。 • 2D 音乐地图 (Music Map)：将所有生成的音轨按音频特征相似度排列在二维空间中，帮助创作者直观地探索、对比和混合（Blend）同类音乐。 这项系统设计极大地优化了视频配乐的工作流。它不仅拓展了音乐检索的视觉记忆，提升了筛选效率，更大大降低了使用门槛，为缺乏乐理基础的新手甚至听障创作者（Deaf creators）打开了无障碍参与 AI 音乐创作的大门。 🔗演示： https://minahuh.com/VidTune/ 📄论文： https://arxiv.org/abs/2601.12180 CMU 推出 Music Arena：免费试玩与评测 Lyria 3、ElevenLabs 等顶尖 AI 音乐模型 近日，由卡内基梅隆大学（CMU）生成创造力实验室（G CLef）主导开发的 Music Arena 平台正式上线测试。这是一个免费的学术研究平台，旨在通过众包人类偏好，对当前最先进的文本到音乐（Text to Music）AI 模型进行严谨的比较与评估。目前，用户已可以在平台上直接体验并评测 Google Lyria 3、ElevenLabs Music v1 等备受瞩目的重磅模型。 平台亮点 • “盲测”竞技场： 用户输入提示词后，两款匿名的 AI 模型将生成相应的音乐。用户通过盲听投票选出最佳作品，系统随后会动态更新各模型的 Elo 评级与天梯排行榜。 • 反哺开源社区： 作为一个纯学术驱动的项目，Music Arena 的平台代码基于 MIT 协议开源。同时，为了推动 AI 音乐技术的发展，用户产生的所有匿名交互数据（如提示词、偏好投票）将通过 CC BY 4.0 协议向整个研究社区公开。 平台条款明确指出，使用者需年满 18 岁。同时平台设立了严格的红线：严禁提交旨在模仿特定艺人、侵犯版权，或生成仇恨、暴力及露骨内容的提示词。此外，由于交互数据将被公开用于学术研究，官方提醒用户切勿在提示词中输入任何个人敏感信息。 体验地址：https://beta.music arena.org/ 论文 🚀 以下是2.25—3.2 期间发布的相关论文，已整理翻译 DTT BSR：结合 RoPE Transformer 增强的基于 GAN 的 DTTNet 用于音乐声源恢复 摘要： 音乐声源恢复（MSR）旨在从经过混音和母带处理的录音中恢复出未处理的分轨。挑战在于不仅要分离重叠的声源，还要重建因压缩和混响等后期制作效果而退化的信号。因此，我们提出了 DTT BSR，这是一种混合生成对抗网络（GAN），它将用于长期时间建模的旋转位置嵌入（RoPE）Transformer 与用于多分辨率频谱处理的双路径带分离循环神经网络（RNN）相结合。我们的模型在 ICASSP 2026 MSR 挑战赛中分别获得了客观排行榜第三名和主观排行榜第四名，在仅有 7.1M 参数的紧凑尺寸下，展现了出色的生成保真度和语义对齐能力。 论文链接： https://arxiv.org/abs/2602.19825 音乐训练（而非仅仅接触音乐）驱动了人工神经网络中“音高类等效性”的出现 摘要： 音高是听觉感知的基础部分。音高感知通常通过两个感知维度来描述：音高高度（不同频率的音调听起来更高或更低的感觉）和音高类等效性（八度音符的周期性相似性，对应于基频的翻倍）。现有研究对音高类等效性是根据音乐经验和文化习得的感知，还是自动发展的先天感知存在分歧。基于最近提出利用人工神经网络（ANNs）来探究大脑认知机制的框架，我们使用表征相似性分析评估了近期的听觉 ANNs，以测试它们在学习到的表征中是否出现了音高高度和音高类等效性。此外，我们在使用语音和音乐的自监督学习任务以及有监督的音乐转录任务上微调了 Wav2Vec 2.0 和 Data2Vec 这两个模型。我们发现所有模型都表现出不同程度的音高高度表征，但只有在有监督音乐转录任务上训练的模型才表现出音高类等效性。仅仅通过自监督学习接触音乐不足以促使音高类等效性的出现。这支持了这样一种观点：音高类等效性是一种高阶认知计算，它的出现是为了支持特定的音乐感知任务，这有别于语音听觉等其他听觉感知。这项工作也突显了 ANNs 在探索产生人类感知表征的发展条件方面的实用性。 论文链接： https://arxiv.org/abs/2602.18635 通过伪标签和知识蒸馏增强自动和弦识别 摘要： 自动和弦识别（ACR）由于获取良好对齐的注释成本高昂，受到了对齐和弦标签稀缺的限制。与此同时，开源权重的预训练模型目前比其专有训练数据更容易获取。在这项工作中，我们提出了一种两阶段训练管道，同时利用预训练模型和无标签音频。该方法将训练解耦为两个阶段：第一阶段，我们使用预训练的 BTC 模型作为教师模型，为超过 1,000 小时的多样化无标签音频生成伪标签，并仅在这些伪标签上训练学生模型。第二阶段，当真实标签可用时，学生模型会在其上进行持续训练，同时应用来自教师模型的选择性知识蒸馏（KD）作为正则化器，以防止对第一阶段学到的表征产生灾难性遗忘。在我们的实验中，使用了 BTC 和 2E1D 作为学生模型。在仅使用伪标签的第一阶段，BTC 学生模型在七个标准 mir eval 指标上达到了教师模型 98% 以上的性能，2E1D 模型达到了约 96%。在第二阶段对两个学生模型进行单次训练后，最终的 BTC 学生模型在所有指标上平均超越传统监督学习基线 2.5%，超越原始教师模型 1.55%。而最终的 2E1D 学生模型比传统监督学习基线平均提高了 3.79%，达到了几乎与教师模型相同的性能。这两者在罕见和弦属性的识别上都取得了大幅提升。 论文链接： https://arxiv.org/abs/2602.19778 深度结构化音乐递归：用于全曲符号音乐建模的预算递归注意力 摘要： 长上下文建模对于符号音乐生成至关重要，因为动机的重复和发展变化可以跨越数千个音乐事件。然而，实际的作曲和表演工作流通常依赖于资源受限的设备（例如电子乐器和便携式计算机），这使得占用大量内存和算力的注意力计算难以部署。我们引入了深度结构化音乐递归（DSMR），这是一种用于全曲符号音乐建模的递归长上下文 Transformer，它通过带有独立跨段落状态的段落级递归将上下文扩展到固定长度片段之外，并采用逐层记忆视界调度策略，在深度上对递归 KV 状态进行预算分配。DSMR 对每首完整的作品进行单次从左到右的传递训练（类似于音乐家从头到尾的体验），同时向前传递跨段落状态。在此框架内，我们系统研究了深度方向的视界分配如何影响优化、最佳困惑度以及效率。通过在各层分配不同的历史窗口长度并保持总预算固定，DSMR 在递归注意力栈内创建了依赖于深度的时间感受野，且没有减少计算深度。我们的主要实例是一个“双尺度 DSMR”调度策略：为较低层分配长历史窗口，为其余层分配统一的短窗口。在 MAESTRO 数据集上的实验表明，双尺度 DSMR 为在有限计算资源下进行长上下文符号音乐建模提供了一个实用的“质量 效率”方案。 论文链接： https://arxiv.org/abs/2602.19816 SongEcho：通过实例自适应元素级线性调制实现翻唱歌曲生成 摘要： 翻唱歌曲是音乐文化的重要组成部分，它保留了原创作品的核心旋律，同时通过重新诠释注入新的情感深度和主题。尽管先前的研究探索了通过基于旋律的“文本到音乐”模型对器乐进行重新诠释，但翻唱歌曲生成任务在很大程度上仍未得到解决。在这项工作中，我们将翻唱歌曲生成重新表述为条件生成任务，即在原始人声旋律和文本提示的条件下，同时生成新的人声和伴奏。为此，我们提出了 SongEcho，它利用实例自适应元素级线性调制（IA EiLM）框架，通过改进条件注入机制和条件表征来实现可控生成。为了增强条件注入机制，我们将特征级线性调制（FiLM）扩展为元素级线性调制（EiLM），以促进旋律控制中精确的时间对齐。对于条件表征，我们提出了实例自适应条件细化（IACR），通过与生成模型的隐藏状态交互来细化条件特征。此外，为了解决全曲数据集匮乏的问题，我们构建了 Suno70k（一个具有全面注释的高质量 AI 歌曲数据集）。实验结果表明，与现有方法相比，我们的方法生成的翻唱歌曲更出色，同时所需的可训练参数不到 30%。 论文链接： https://arxiv.org/abs/2602.19976 组合式歌曲生成管道中基于 MIDI 信息的歌唱伴奏生成 摘要： 歌曲生成旨在根据歌词和文本描述制作包含人声和伴奏的完整歌曲，然而端到端（E2E）模型仍然是数据和计算密集型的，并且可编辑性有限。我们提倡一种组合式的替代方案，将该任务分解为旋律创作、歌声合成和歌唱伴奏生成（SAG）。我们方法的核心是“基于 MIDI 信息的歌唱伴奏生成”（MIDI SAG），它以符号化的人声旋律 MIDI 作为伴奏生成的条件，以改善人声和乐器之间的节奏与和声对齐。此外，传统的 SAG 假设人声是连续的，而组合式歌曲生成包含间歇性的人声；我们通过将显式的节奏/和声控制与音频延续技术相结合来解决这个问题，以保持伴奏在有声和无声区域的一致性。该管道采用了仅在单张 RTX 3090 上使用 2500 小时音频训练的轻量级新组件，在多项指标上接近了近期开源端到端基线模型的感知质量。 论文链接： https://arxiv.org/abs/2602.22029 2 月 27 日，AI 音乐生成平台 Suno 首席执行官 Mikey Shulman 透露了公司的最新商业里程碑：Suno 全球用户量已突破 1 亿，并成功积累了 200 万付费订阅用户，其年度经常性收入（ARR）达到 3 亿美元。 这组数据首次正面回应了行业内关于“AI 音乐工具是否具备可持续商业模式”的质疑。以 1 亿总用户计算，Suno 的付费转化率至少达到了 2%（若仅算活跃用户，比例将更高），充分证明了 C 端消费者对 AI 音乐生成工具存在强烈的付费意愿与实际需求。 在商业数据亮眼的同时，Suno 面临的版权争议却在持续发酵。其投资方 Menlo Ventures 的一位投资者 C.C. Gong 日前发帖称，由于厌倦了 Spotify 的推荐，自己已将大部分听歌时间“转移到了 Suno”。尽管该帖已被删除，但 AI 维权人士 Ed Newton Rex 截图并指出，这条言论等同于直接承认“Suno 与其训练数据（人类音乐）构成了直接的市场竞争”。在未来的版权侵权诉讼中，这极有可能成为击溃 Suno“合理使用（Fair Use）”辩护的核心证据。 RoEx 实验室实现混音技术重大突破：推出全自适应动态智能混音 2月28日，RoEx 实验室宣布其最新一代混音模型取得重大研发突破。新模型在混音质量、处理速度与场景适应性上实现了阶跃式提升，正推动音频后期制作向“真正风格迁移”与“实时混音”的终极目标迈进。 功能亮点 • 全动态自适应混音： 彻底告别传统的静态参数！新系统通过细粒度的自动化控制，动态调整每个音轨段落的增益（Gain）、均衡（EQ）和压缩，能够智能判断并为当前最重要的乐器或声道“腾出空间”。该技术完美兼容音乐、人声对话及拟音（Foley）等多种音频处理场景。 • 参考混音工作流： 全新架构不仅支持复杂的创意效果链，还能通过参考曲目（Reference mix）直接驱动工作流，让自动化混音更具专业审美。 • 支持 DAW 工程导出： 拒绝“黑盒化”。新技术将在未来几周内陆续登陆其 API、SDK 及 Automix 平台，并支持将项目无缝导出至 Ableton Live、Bitwig 和 Fender Studio。制作人可在宿主软件中直观地查看并二次编辑所有的自动化包络线。 这一突破性进展底层得益于自定义 CUDA 内核的硬核优化，并在研发初期获得了 Innovate UK 的支持与 Google 的云算力赞助。 CHI 2026 前沿：Adobe 联合推出 VidTune，用“视觉缩略图”实现 AI 音乐快速预览 在即将到来的 CHI 2026 顶会上，加州大学伯克利分校与 Adobe Research 联合发布了一项名为 VidTune 的创新研究。针对当前 AI 文本生成音乐（Text to Music）模型“生成容易、试听挑选耗时”的痛点，VidTune 创造性地将 AI 生成的音轨转化为基于视频上下文的“视觉缩略图”，让创作者能像浏览图片或视频一样“一眼看懂”音乐。 核心亮点 • 音乐视觉化映射：系统提取用户视频主体作为画面基础，将音乐的情感（Valence）与能量映射为颜色与亮度，并在动态缩略图中直观展示乐器的登场与大致节拍。 • 智能提示与迭代：VidTune 会根据视频场景自动提供 Prompt 建议，一次性扩展生成多首候选音轨。用户还能通过自然语言指令对选定音轨进行微调与迭代。 • 2D 音乐地图 (Music Map)：将所有生成的音轨按音频特征相似度排列在二维空间中，帮助创作者直观地探索、对比和混合（Blend）同类音乐。 这项系统设计极大地优化了视频配乐的工作流。它不仅拓展了音乐检索的视觉记忆，提升了筛选效率，更大大降低了使用门槛，为缺乏乐理基础的新手甚至听障创作者（Deaf creators）打开了无障碍参与 AI 音乐创作的大门。 🔗演示： https://minahuh.com/VidTune/ 📄论文： https://arxiv.org/abs/2601.12180 CMU 推出 Music Arena：免费试玩与评测 Lyria 3、ElevenLabs 等顶尖 AI 音乐模型 近日，由卡内基梅隆大学（CMU）生成创造力实验室（G CLef）主导开发的 Music Arena 平台正式上线测试。这是一个免费的学术研究平台，旨在通过众包人类偏好，对当前最先进的文本到音乐（Text to Music）AI 模型进行严谨的比较与评估。目前，用户已可以在平台上直接体验并评测 Google Lyria 3、ElevenLabs Music v1 等备受瞩目的重磅模型。 平台亮点 • “盲测”竞技场： 用户输入提示词后，两款匿名的 AI 模型将生成相应的音乐。用户通过盲听投票选出最佳作品，系统随后会动态更新各模型的 Elo 评级与天梯排行榜。 • 反哺开源社区： 作为一个纯学术驱动的项目，Music Arena 的平台代码基于 MIT 协议开源。同时，为了推动 AI 音乐技术的发展，用户产生的所有匿名交互数据（如提示词、偏好投票）将通过 CC BY 4.0 协议向整个研究社区公开。 平台条款明确指出，使用者需年满 18 岁。同时平台设立了严格的红线：严禁提交旨在模仿特定艺人、侵犯版权，或生成仇恨、暴力及露骨内容的提示词。此外，由于交互数据将被公开用于学术研究，官方提醒用户切勿在提示词中输入任何个人敏感信息。 体验地址：https://beta.music arena.org/ 论文 🚀 以下是2.25—3.2 期间发布的相关论文，已整理翻译 以下是2.25—3.2 期间发布的相关论文，已整理翻译 DTT BSR：结合 RoPE Transformer 增强的基于 GAN 的 DTTNet 用于音乐声源恢复 摘要： 音乐声源恢复（MSR）旨在从经过混音和母带处理的录音中恢复出未处理的分轨。挑战在于不仅要分离重叠的声源，还要重建因压缩和混响等后期制作效果而退化的信号。因此，我们提出了 DTT BSR，这是一种混合生成对抗网络（GAN），它将用于长期时间建模的旋转位置嵌入（RoPE）Transformer 与用于多分辨率频谱处理的双路径带分离循环神经网络（RNN）相结合。我们的模型在 ICASSP 2026 MSR 挑战赛中分别获得了客观排行榜第三名和主观排行榜第四名，在仅有 7.1M 参数的紧凑尺寸下，展现了出色的生成保真度和语义对齐能力。 论文链接： https://arxiv.org/abs/2602.19825 音乐训练（而非仅仅接触音乐）驱动了人工神经网络中“音高类等效性”的出现 摘要： 音高是听觉感知的基础部分。音高感知通常通过两个感知维度来描述：音高高度（不同频率的音调听起来更高或更低的感觉）和音高类等效性（八度音符的周期性相似性，对应于基频的翻倍）。现有研究对音高类等效性是根据音乐经验和文化习得的感知，还是自动发展的先天感知存在分歧。基于最近提出利用人工神经网络（ANNs）来探究大脑认知机制的框架，我们使用表征相似性分析评估了近期的听觉 ANNs，以测试它们在学习到的表征中是否出现了音高高度和音高类等效性。此外，我们在使用语音和音乐的自监督学习任务以及有监督的音乐转录任务上微调了 Wav2Vec 2.0 和 Data2Vec 这两个模型。我们发现所有模型都表现出不同程度的音高高度表征，但只有在有监督音乐转录任务上训练的模型才表现出音高类等效性。仅仅通过自监督学习接触音乐不足以促使音高类等效性的出现。这支持了这样一种观点：音高类等效性是一种高阶认知计算，它的出现是为了支持特定的音乐感知任务，这有别于语音听觉等其他听觉感知。这项工作也突显了 ANNs 在探索产生人类感知表征的发展条件方面的实用性。 论文链接： https://arxiv.org/abs/2602.18635 通过伪标签和知识蒸馏增强自动和弦识别 摘要： 自动和弦识别（ACR）由于获取良好对齐的注释成本高昂，受到了对齐和弦标签稀缺的限制。与此同时，开源权重的预训练模型目前比其专有训练数据更容易获取。在这项工作中，我们提出了一种两阶段训练管道，同时利用预训练模型和无标签音频。该方法将训练解耦为两个阶段：第一阶段，我们使用预训练的 BTC 模型作为教师模型，为超过 1,000 小时的多样化无标签音频生成伪标签，并仅在这些伪标签上训练学生模型。第二阶段，当真实标签可用时，学生模型会在其上进行持续训练，同时应用来自教师模型的选择性知识蒸馏（KD）作为正则化器，以防止对第一阶段学到的表征产生灾难性遗忘。在我们的实验中，使用了 BTC 和 2E1D 作为学生模型。在仅使用伪标签的第一阶段，BTC 学生模型在七个标准 mir eval 指标上达到了教师模型 98% 以上的性能，2E1D 模型达到了约 96%。在第二阶段对两个学生模型进行单次训练后，最终的 BTC 学生模型在所有指标上平均超越传统监督学习基线 2.5%，超越原始教师模型 1.55%。而最终的 2E1D 学生模型比传统监督学习基线平均提高了 3.79%，达到了几乎与教师模型相同的性能。这两者在罕见和弦属性的识别上都取得了大幅提升。 论文链接： https://arxiv.org/abs/2602.19778 深度结构化音乐递归：用于全曲符号音乐建模的预算递归注意力 摘要： 长上下文建模对于符号音乐生成至关重要，因为动机的重复和发展变化可以跨越数千个音乐事件。然而，实际的作曲和表演工作流通常依赖于资源受限的设备（例如电子乐器和便携式计算机），这使得占用大量内存和算力的注意力计算难以部署。我们引入了深度结构化音乐递归（DSMR），这是一种用于全曲符号音乐建模的递归长上下文 Transformer，它通过带有独立跨段落状态的段落级递归将上下文扩展到固定长度片段之外，并采用逐层记忆视界调度策略，在深度上对递归 KV 状态进行预算分配。DSMR 对每首完整的作品进行单次从左到右的传递训练（类似于音乐家从头到尾的体验），同时向前传递跨段落状态。在此框架内，我们系统研究了深度方向的视界分配如何影响优化、最佳困惑度以及效率。通过在各层分配不同的历史窗口长度并保持总预算固定，DSMR 在递归注意力栈内创建了依赖于深度的时间感受野，且没有减少计算深度。我们的主要实例是一个“双尺度 DSMR”调度策略：为较低层分配长历史窗口，为其余层分配统一的短窗口。在 MAESTRO 数据集上的实验表明，双尺度 DSMR 为在有限计算资源下进行长上下文符号音乐建模提供了一个实用的“质量 效率”方案。 论文链接： https://arxiv.org/abs/2602.19816 SongEcho：通过实例自适应元素级线性调制实现翻唱歌曲生成 摘要： 翻唱歌曲是音乐文化的重要组成部分，它保留了原创作品的核心旋律，同时通过重新诠释注入新的情感深度和主题。尽管先前的研究探索了通过基于旋律的“文本到音乐”模型对器乐进行重新诠释，但翻唱歌曲生成任务在很大程度上仍未得到解决。在这项工作中，我们将翻唱歌曲生成重新表述为条件生成任务，即在原始人声旋律和文本提示的条件下，同时生成新的人声和伴奏。为此，我们提出了 SongEcho，它利用实例自适应元素级线性调制（IA EiLM）框架，通过改进条件注入机制和条件表征来实现可控生成。为了增强条件注入机制，我们将特征级线性调制（FiLM）扩展为元素级线性调制（EiLM），以促进旋律控制中精确的时间对齐。对于条件表征，我们提出了实例自适应条件细化（IACR），通过与生成模型的隐藏状态交互来细化条件特征。此外，为了解决全曲数据集匮乏的问题，我们构建了 Suno70k（一个具有全面注释的高质量 AI 歌曲数据集）。实验结果表明，与现有方法相比，我们的方法生成的翻唱歌曲更出色，同时所需的可训练参数不到 30%。 论文链接： https://arxiv.org/abs/2602.19976 组合式歌曲生成管道中基于 MIDI 信息的歌唱伴奏生成 摘要： 歌曲生成旨在根据歌词和文本描述制作包含人声和伴奏的完整歌曲，然而端到端（E2E）模型仍然是数据和计算密集型的，并且可编辑性有限。我们提倡一种组合式的替代方案，将该任务分解为旋律创作、歌声合成和歌唱伴奏生成（SAG）。我们方法的核心是“基于 MIDI 信息的歌唱伴奏生成”（MIDI SAG），它以符号化的人声旋律 MIDI 作为伴奏生成的条件，以改善人声和乐器之间的节奏与和声对齐。此外，传统的 SAG 假设人声是连续的，而组合式歌曲生成包含间歇性的人声；我们通过将显式的节奏/和声控制与音频延续技术相结合来解决这个问题，以保持伴奏在有声和无声区域的一致性。该管道采用了仅在单张 RTX 3090 上使用 2500 小时音频训练的轻量级新组件，在多项指标上接近了近期开源端到端基线模型的感知质量。 论文链接： https://arxiv.org/abs/2602.22029 AudioCapBench：跨越声音、音乐和语音的音频描述快速评估基准 摘要： 我们推出了 AudioCapBench，这是一个用于评估大型多模态模型音频描述（字幕生成）能力的基准测试。该基准涵盖了环境声音、音乐和语音三个不同领域，包含从现有数据集中精选的 1,000 个评估样本。我们使用基于参考的指标（METEOR、BLEU、ROUGE L）和一个“LLM 作为评委”的框架，在准确性（语义正确性）、完整性（参考内容覆盖率）和幻觉（是否存在虚构内容）这三个正交维度上，对来自 OpenAI 和 Google Gemini 的 13 个模型进行了评估。结果显示，Gemini 模型在整体描述质量上通常优于 OpenAI 模型，其中 Gemini 3 Pro 取得了最高综合得分（6.00/10），而 OpenAI 模型的幻觉率较低。所有模型在语音描述方面表现最好，但在音乐描述方面表现最差。我们发布了该基准测试及评估代码，以促进音频理解研究的可重复性。 论文链接： https://arxiv.org/abs/2602.23649 SongSong：穿越千年还原中国宋词音乐的时光留声机 摘要： 近年来音乐生成技术取得了显著进展，但现有的模型主要集中于创作现代流行歌曲，难以生成具有独特节奏和风格的古风音乐，例如中国古代宋词。在本文中，我们介绍了 SongSong，据我们所知，这是首个能够还原中国宋词的音乐生成模型。我们的模型首先从输入的宋词文本预测旋律，然后根据该旋律分别生成歌声和伴奏，最后将各元素结合创作出最终音乐。此外，为了解决古代音乐数据集匮乏的问题，我们创建了 OpenSongSong，这是一个全面的中国古代宋词音乐数据集，包含多位著名宋词音乐大师创作的 29.9 小时作品。为了评估演绎能力，我们随机挑选了 85 句未在训练集中的宋词，与 Suno 和 SkyMusic 等平台进行了对比评估。主客观结果表明，该模型在生成高质量宋词音乐方面取得了领先表现。 论文链接： https://arxiv.org/abs/2602.24071 参考资料 https://blog.google/innovation and ai/models and research/google labs/producerai/ https://x.com/producer ai/status/2026299324406305166?s=20 https://www.hypebot.com/say no to suno urge artist advocates in open letter/ https://www.musicbusinessworldwide.com/rise of the music making machines/ https://www.digitalmusicnews.com/2026/0