AI音乐周刊 W.A 003

AI音乐周刊 W.A 003 AI音乐周刊 W.A 003 Modified November 24, 2025 FoleyBench：视频转音频模型基准测试 论文：https://arxiv.org/abs/2511.13219 演示：https://gclef cmu.org/foleybench/ FoleyBench 论文引入了一个针对视频转音频（V2A）模型的基准测试，专门聚焦于“拟音”（Foley）风格的声音效果，该技术常用于电影、AR/VR 和声音设计。摘要指出，先前数据集如 VGGSound 中 74% 的视频缺乏视听对应，且以语音和音乐为主，不适用于拟音用例。FoleyBench 通过自动化管道从 YouTube 和 Vimeo 收集了 5000 个（视频、真实音频、文本字幕）三元组，每个片段都包含可见的声音源与因果相关的音频。它采用了拟音特定分类法扩展了声音类别的覆盖范围，并添加了复杂度、UCS/AudioSet 类别和视频长度等元数据。评估指标涵盖了音频质量、视听对齐、时间同步和音频 文本一致性。该基准测试了多个最先进的 V2A 模型，并分析了它们的性能和失败模式。演示网站展示了数据集示例、模型基准（如 MMAudio 的最佳 FAD 分数）和 FoleyBench Long 的 30 秒片段，突出了 V2A AI 在同步、真实声音合成中的挑战。该基准支持细粒度分析，有助于提升 V2A 模型的开发，以应用于增强现实声音生成等下游场景。 计数音符：基于直方图的自动音乐转录监督 论文：https://arxiv.org/abs/2511.14250 演示：https://yoni yaffe.github.io/count the notes/ 论文提出了 CountEM，这是一个新型的弱监督框架。该框架使用音符事件直方图作为监督信号，从而避免了依赖动态时间规整（DTW）或软对齐损失等显式局部对齐方法。CountEM 通过期望最大化（EM）方法，基于音符发生计数迭代精炼预测结果，在保持高准确率的同时，减少了标注工作量和计算成本。在钢琴、吉他和多乐器数据集上的实验显示，CountEM 匹配或超越了现有弱监督方法，提高了自动音乐转录（AMT）的鲁棒性、可扩展性和效率。演示网站呈现了定性示例，例如 Vivaldi 的《四季》、Bach 的小提琴组曲和 Beethoven 的钢琴奏鸣曲，使用 MAESTRO 数据集的 30 秒窗口实现了高达 94.2 的 F 分数，这优于基线模型并达到了监督模型的水平，跨乐器展示了改进的准确性和效率。这一方法显著推动了 AI 转录技术的发展，通过更轻量级的计算和更大的灵活性，支持了实时乐谱生成和教育工具等多样音乐上下文的应用。 使生成式音乐人工智能与人类偏好相一致：方法与挑战 论文：https://arxiv.org/html/2511.15038v1 论文深入探讨了 MusicLM 和 MusicGen 等生成式 AI 系统在计算优化与人类音乐欣赏之间的差距，并倡导采用“偏好对齐技术”来应对音乐领域特有的挑战，包括时间连贯性、和声一致性和主观质量。关键部分包括引言概述对齐问题；背景覆盖 RLHF、DPO 和推理时方法；音乐偏好复杂度详述时间、和声、文化和功能因素；音乐偏好优化审查方法；基准测试与评估讨论指标；技术实施考虑；挑战与开放研究问题；以及愿景与路线图。审查方法包括 MusicRL 的大规模偏好学习，使用 RLHF 和专家奖励在 30 万对数据集上微调自回归模型；DiffRhythm+ 的多偏好扩散优化，将 DPO 集成到扩散架构中，用于可控歌曲生成；以及 Text2midi InferAlign 的推理时技术，使用树搜索和复合奖励实现文本 音频与和声一致性，而无需重新训练。挑战涉及长形式作曲的可扩展性、多模态对齐、个性化、偏见鲁棒性、效率、评价悖论、偏好表示、跨域泛化和动态适应。未来的研究方向聚焦于多元文化开放数据集、统一推理框架、民族音乐学合作、实时适应系统和跨学科努力，以推动交互工具、适应性配乐和个性化服务的发展。 LargeSHS：大规模音乐适应数据集 论文：https://arxiv.org/html/2511.15270v1 LargeSHS 是一个大规模的“音乐改编”数据集，它的发布弥补了当前以文本到音乐模型为主导的研究空白，专用于参考音频式（reference based）音乐生成。LargeSHS 衍生自 SecondHandSongs（SHS），包含超过 170 万条元数据条目和约 90 万个可通过 YouTube ID 访问的公开音频链接。它囊括了音乐作品间结构化的改编关系，支持构建“改编树”和“表演集群”，代表了翻唱家族。数据集涵盖 218,407 个作品、1,532,570 个表演和 212,128 位艺术家，平均每个作品有 7.19 个表演（中位数 2）。改编树多达 150,321 个，最大深度为 4，集群平均包含 10.1 个表演（中位数 3）。音频时长标准差与均值比为 15.75%，显示出翻唱作品的多样性。与现有数据集相比，LargeSHS 提供了前所未有的规模和原始音频访问权限，并带有丰富的改编标注。LargeSHS 通过提供大规模改编信息和音频，填补了现有音乐数据集的空白，支持翻唱生成、参考基础音乐生成、翻唱识别和版权侵权检测等任务。它解决了参考引导音乐生成研究的空白，与先前专注于文本字幕或缺乏改编关系特征的数据集有所不同。 MusicAIR：一个由算法驱动核心驱动的多模态人工智能音乐生成框架 论文：https://arxiv.org/abs/2511.17323 MusicAIR 是一个多模态 AI 音乐生成框架，它使用算法驱动的符号音乐核心从歌词、文本或图像创建音乐，从而降低了神经模型可能引发的版权风险。其核心算法从歌词和节奏信息中提取音乐特征，确保生成的音乐符合音乐理论、歌词结构和节奏惯例。该框架已在 GenAIM web 工具中实现，支持歌词转歌曲、文本转音乐和图像转音乐等多种生成方式。实验使用标准音乐指标评估 AI 生成的乐谱，并与原作进行比较，实现了平均键置信度 85%，超越了人类作曲家 79% 的得分。MusicAIR 生成的作曲多样且富有人性化，可作为音乐作曲和教育的协作工具，降低了有志音乐家的门槛。 其他 音乐科技工具名单 该名单由 Zach 进行收集整理的，涵括艺人发掘、发行平台、财务与法律、营销、平台分析、制作、商用授权等方面，并且还在持续更新中。 小编已将文档进行翻译，感兴趣的读者可以后台回复 “音乐科技工具名单” 获取链接文档。 开源AI音乐模型合集 小编发现HF上有个收录了众多AI音乐开源模型的合集，可以点击下面链接进行查看！ 链接：https://huggingface.co/spaces?category=music generation Neutune 的代表性论文 Jongpil Lee 近日在linkedin上发表了一则动态，介绍了Neutune八位联合创始人相关的一些代表性论文，感兴趣的读者可以点击下面链接阅读！ 链接：https://www.linkedin.com/posts/jongpillee the eight co founders of mixaudio by neutune activity 7396704366738644992 wCCD?utm source=share&utm medium=member desktop&rcm=ACoAAEf4sYcB 7kwpHm7WTW6ML5ECD H8EXZk8c 参考资料 https://www.sohu.com/a/956236065 109401 https://vertiseit.com/mfn news/vertiseit acquires muse content including the ai platform stokedai and resolves on directed share issue/ https://invidis.com/news/2025/11/screens sound and ai vertiseit acquires muse/ https://www.musicbusinessworldwide.com/musixmatch launches music lens an ai agent that transforms catalogs into actionable insights for publishers labels and creators/ https://www.hypebot.com/hypebot/2025/11/latest music business news and live music industry updates.html https://www.forbes.com/sites/conormurray/2025/11/19/ai music generator suno valued at 245 billion heres why its controversial/ https://www.reuters.com/business/media telecom/ai music company suno valued 245 billion latest funding round 2025 11 19/ https://techcrunch.com/2025/11/19/legally embattled ai music startup suno raises at 2 45b valuation on 200m revenue/ https://selfpublishingadvice.org/spotify tests ai audiobook recaps/ https://www.musicweek.com/digital/read/spotify cleans up ai slop with more protections for real artists including disclosure on genai music/092725 https://newsroom.spotify.com/2025 09 25/spotify strengthens ai protections/ https://www.wmg.com/news/warner music group and stability ai join forces to build the next generation of responsible ai tools for music creation https://www.aljazeera.com/economy/2025/11/20/sony warner and universal sign ai music licensing deals with startup klay https://www.local10.com/business/2025/11/20/warner music and ai startup udio settle copyright battle and ink license deal/ https://www.prnewswire.com/news releases/vobile launches ai song detector 302622458.html https://creativeindustriesnews.com/2025/11/vobile launches an ai song detector to accurately identify ai generated music/ https://tucson.com/online features/press releases/article e3ed07df 9d76 5600 bf14 4df73c09c446.html https://medium.com/platform stream/aims debuts next generation ai model delivering up to 20 percent higher accuracy in music search 55f682cf08f7 https://www.digitalmusicnews.com/2025/11/21/i run reappears on streaming services/ https://www.reddit.com/r/EDM/comments/1p1kzwl/i run by haven removed from streaming platforms/ https://www.dailymail.co.uk/sciencetech/article 15298139/TikTok learn biggest song AI.html https://www.billboard.com/pro/haven i run poised hit ai deepfake allegations slowed/ https://x.com/auaimusic/status/1992727012604293387 https://www.thenewdaily.com.au/life/entertainment/music/2025/11/20/music industrys ai concern https://countrytown.com/news/ai generated songs detected in golden guitar award entries/L6eNIyIlJCc/19 09 25 https://www.abc.net.au/news/2025 11 23/golden guitar awards generative ai country music/106023832 FoleyBench：视频转音频模型基准测试 论文：https://arxiv.org/abs/2511.13219 演示：https://gclef cmu.org/foleybench/ FoleyBench 论文引入了一个针对视频转音频（V2A）模型的基准测试，专门聚焦于“拟音”（Foley）风格的声音效果，该技术常用于电影、AR/VR 和声音设计。摘要指出，先前数据集如 VGGSound 中 74% 的视频缺乏视听对应，且以语音和音乐为主，不适用于拟音用例。FoleyBench 通过自动化管道从 YouTube 和 Vimeo 收集了 5000 个（视频、真实音频、文本字幕）三元组，每个片段都包含可见的声音源与因果相关的音频。它采用了拟音特定分类法扩展了声音类别的覆盖范围，并添加了复杂度、UCS/AudioSet 类别和视频长度等元数据。评估指标涵盖了音频质量、视听对齐、时间同步和音频 文本一致性。该基准测试了多个最先进的 V2A 模型，并分析了它们的性能和失败模式。演示网站展示了数据集示例、模型基准（如 MMAudio 的最佳 FAD 分数）和 FoleyBench Long 的 30 秒片段，突出了 V2A AI 在同步、真实声音合成中的挑战。该基准支持细粒度分析，有助于提升 V2A 模型的开发，以应用于增强现实声音生成等下游场景。 计数音符：基于直方图的自动音乐转录监督 论文：https://arxiv.org/abs/2511.14250 演示：https://yoni yaffe.github.io/count the notes/ 论文提出了 CountEM，这是一个新型的弱监督框架。该框架使用音符事件直方图作为监督信号，从而避免了依赖动态时间规整（DTW）或软对齐损失等显式局部对齐方法。CountEM 通过期望最大化（EM）方法，基于音符发生计数迭代精炼预测结果，在保持高准确率的同时，减少了标注工作量和计算成本。在钢琴、吉他和多乐器数据集上的实验显示，CountEM 匹配或超越了现有弱监督方法，提高了自动音乐转录（AMT）的鲁棒性、可扩展性和效率。演示网站呈现了定性示例，例如 Vivaldi 的《四季》、Bach 的小提琴组曲和 Beethoven 的钢琴奏鸣曲，使用 MAESTRO 数据集的 30 秒窗口实现了高达 94.2 的 F 分数，这优于基线模型并达到了监督模型的水平，跨乐器展示了改进的准确性和效率。这一方法显著推动了 AI 转录技术的发展，通过更轻量级的计算和更大的灵活性，支持了实时乐谱生成和教育工具等多样音乐上下文的应用。 使生成式音乐人工智能与人类偏好相一致：方法与挑战 论文：https://arxiv.org/html/2511.15038v1 论文深入探讨了 MusicLM 和 MusicGen 等生成式 AI 系统在计算优化与人类音乐欣赏之间的差距，并倡导采用“偏好对齐技术”来应对音乐领域特有的挑战，包括时间连贯性、和声一致性和主观质量。关键部分包括引言概述对齐问题；背景覆盖 RLHF、DPO 和推理时方法；音乐偏好复杂度详述时间、和声、文化和功能因素；音乐偏好优化审查方法；基准测试与评估讨论指标；技术实施考虑；挑战与开放研究问题；以及愿景与路线图。审查方法包括 MusicRL 的大规模偏好学习，使用 RLHF 和专家奖励在 30 万对数据集上微调自回归模型；DiffRhythm+ 的多偏好扩散优化，将 DPO 集成到扩散架构中，用于可控歌曲生成；以及 Text2midi InferAlign 的推理时技术，使用树搜索和复合奖励实现文本 音频与和声一致性，而无需重新训练。挑战涉及长形式作曲的可扩展性、多模态对齐、个性化、偏见鲁棒性、效率、评价悖论、偏好表示、跨域泛化和动态适应。未来的研究方向聚焦于多元文化开放数据集、统一推理框架、民族音乐学合作、实时适应系统和跨学科努力，以推动交互工具、适应性配乐和个性化服务的发展。 LargeSHS：大规模音乐适应数据集 论文：https://arxiv.org/html/2511.15270v1 LargeSHS 是一个大规模的“音乐改编”数据集，它的发布弥补了当前以文本到音乐模型为主导的研究空白，专用于参考音频式（reference based）音乐生成。LargeSHS 衍生自 SecondHandSongs（SHS），包含超过 170 万条元数据条目和约 90 万个可通过 YouTube ID 访问的公开音频链接。它囊括了音乐作品间结构化的改编关系，支持构建“改编树”和“表演集群”，代表了翻唱家族。数据集涵盖 218,407 个作品、1,532,570 个表演和 212,128 位艺术家，平均每个作品有 7.19 个表演（中位数 2）。改编树多达 150,321 个，最大深度为 4，集群平均包含 10.1 个表演（中位数 3）。音频时长标准差与均值比为 15.75%，显示出翻唱作品的多样性。与现有数据集相比，LargeSHS 提供了前所未有的规模和原始音频访问权限，并带有丰富的改编标注。LargeSHS 通过提供大规模改编信息和音频，填补了现有音乐数据集的空白，支持翻唱生成、参考基础音乐生成、翻唱识别和版权侵权检测等任务。它解决了参考引导音乐生成研究的空白，与先前专注于文本字幕或缺乏改编关系特征的数据集有所不同。 MusicAIR：一个由算法驱动核心驱动的多模态人工智能音乐生成框架 论文：https://arxiv.org/abs/2511.17323 MusicAIR 是一个多模态 AI 音乐生成框架，它使用算法驱动的符号音乐核心从歌词、文本或图像创建音乐，从而降低了神经模型可能引发的版权风险。其核心算法从歌词和节奏信息中提取音乐特征，确保生成的音乐符合音乐理论、歌词结构和节奏惯例。该框架已在 GenAIM web 工具中实现，支持歌词转歌曲、文本转音乐和图像转音乐等多种生成方式。实验使用标准音乐指标评估 AI 生成的乐谱，并与原作进行比较，实现了平均键置信度 85%，超越了人类作曲家 79% 的得分。MusicAIR 生成的作曲多样且富有人性化，可作为音乐作曲和教育的协作工具，降低了有志音乐家的门槛。 其他 音乐科技工具名单 该名单由 Zach 进行收集整理的，涵括艺人发掘、发行平台、财务与法律、营销、平台分析、制作、商用授权等方面，并且还在持续更新中。 小编已将文档进行翻译，感兴趣的读者可以后台回复 “音乐科技工具名单” 获取链接文档。 开源AI音乐模型合集 小编发现HF上有个收录了众多AI音乐开源模型的合集，可以点击下面链接进行查看！ 链接：https://huggingface.co/spaces?category=music generation Neutune 的代表性论文 Jongpil Lee 近日在linkedin上发表了一则动态，介绍了Neutune八位联合创始人相关的一些代表性论文，感兴趣的读者可以点击下面链接阅读！ 链接：https://www.linkedin.com/posts/jongpillee the eight co founders of mixaudio by neutune activity 7396704366738644992 wCCD?utm source=share&utm medium=member desktop&rcm=ACoAAEf4sYcB 7kwpHm7WTW6ML5ECD H8EXZk8c 参考资料 https://www.sohu.com/a/956236065 109401 https://vertiseit.com/mfn news/vertiseit acquires muse content including the ai platform stokedai and resolves on directed share issue/ https://invidis.com/news/2025/11/screens sound and ai vertiseit acquires muse/ https://www.musicbusinessworldwide.com/musixmatch launches music lens an ai agent that transforms catalogs into actionable insights for publishers labels and creators/ https://www.hypebot.com/hypebot/2025/11/latest music business news and live music industry updates.html https://www.forbes.com/sites/conormurray/2025/11/19/ai music generator suno valued at 245 billion heres why its controversial/ https://www.reuters.com/business/media telecom/ai music company suno valued 245 billion latest funding round 2025 11 19/ https://techcrunch.com/2025/11/19/legally embattled ai music startup suno raises at 2 45b valuation on 200m revenue/ https://selfpublishingadvice.org/spotify tests ai audiobook recaps/ https://www.musicweek.com/digital/read/spotify cleans up ai slop with more protections for real artists including disclosure on genai music/092725 https://newsroom.spotify.com/2025 09 25/spotify strengthens ai protections/ https://www.wmg.com/news/warner music group and stability ai join forces to build the next generation of responsible ai tools for music creation https://www.aljazeera.com/economy/2025/11/20/sony warner and universal sign ai music licensing deals with startup klay https://www.local10.com/business/2025/11/20/warner music and ai startup udio settle copyright battle and ink license deal/ https://www.prnewswire.com/news releases/vobile launches ai song detector 302622458.html https://creativeindustriesnews.com/2025/11/vobile launches an ai song detector to accurately identify ai generated music/ https://tucson.com/online features/press releases/article e3ed07df 9d76 5600 bf14 4df73c09c446.html https://medium.com/platform stream/aims debuts next generation ai model delivering up to 20 percent higher accuracy in music search 55f682cf08f7 https://www.digitalmusicnews.com/2025/11/21/i run reappears on streaming services/ https://www.reddit.com/r/EDM/comments/1p1kzwl/i run by haven removed from streaming platforms/ https://www.dailymail.co.uk/sciencetech/article 15298139/TikTok learn biggest song AI.html https://www.billboard.com/pro/haven i run poised hit ai deepfake allegations slowed/ https://x.com/auaimusic/status/1992727012604293387 https://www.thenewdaily.com.au/life/entertainment/music/2025/11/20/music industrys ai concern https://countrytown.com/news/ai generated songs detected in golden guitar award entries/L6eNIyIlJCc/19 09 25 https://www.abc.net.au/news/2025 11 23/golden guitar awards generative ai country music/106023832 🏆 本文作者：智音Brook 链接：https://mp.weixin.qq.com/s/6S6g1JpijVYpETibxH3MsA 本文作者：智音Brook 链接：https://mp.weixin.qq.com/s/6S6g1JpijVYpETibxH3MsA 🎼 本周AI音乐领域迎来多项重要进展，体现了产业在伦理、商业化和技术应用上的加速融合与规范化。 国家队咪咕音乐发布“咪咕知音”和“AI星辰计划”，