AI音乐周刊 W.A 007

AI音乐周刊 W.A 007 AI音乐周刊 W.A 007 Modified December 23, 2025 Audio or video is not supported Please download the file and open it with the appropriate software. 微信视频2025 12 22 224031 045.mp4 · 5.72MB 微信视频2025 12 22 224031 045 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. producer.ai视频.mp4 · 695.35KB producer.ai视频 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. Spaces功能演示.mp4 · 6.14MB Spaces功能演示 00:00 Blog：https://ai.sony/blog/Protecting Creator%E2%80%99s Rights in the Age of AI/ 最近，面对 AI 音乐生成引发的原创性、公平性和版权归属问题，Sony AI 发布了三项重要研究成果，旨在通过技术手段维护音乐人和版权方的利益。 这些研究主要涵盖三个维度： 1. 归因（Attribution）：利用“反学习（Unlearning）”技术，追踪生成式 AI 模型的训练数据来源，识别出具体影响 AI 创作的原始音乐作品，从而实现对原作者的溯源与致谢。 2. 识别（Recognition）：通过 CLEWS 模型进行“弱监督对比学习”，能够基于短小的音频片段（约 20 秒）精准识别出音乐作品之间的翻唱或相似关系，有助于发现未授权的使用。 3. 保护（Protection）：建立了 RAW Bench 测评基准，测试现有音频水印技术在面对新型神经音频编解码器（如 EnCodec）时的生存能力，揭示了当前水印技术的脆弱性，并指明了未来更强鲁棒性保护技术的发展方向。 Sony AI 致力于通过这些技术创新，构建一个尊重来源、理解关联且能有效防伪的 AI 音乐生态系统，确保技术发展不以牺牲人类创造力为代价。 2025 音频与语音 AI 市场版图：从工具到基础设施的全景解析 Blog：https://www.joinmassive.com/blog/audio speech ai market map 本文深入剖析了迅速爆发的音频 AI 市场，将 40+ 家定义行业的公司划分为四个核心层级： 1. 应用层（Applications）：面向创作者和企业的成品工具。包括 Descript 等播客编辑神器，Speechify 等语音朗读工具，以及 Suno、Udio 等音乐生成平台，甚至涵盖了 Rask AI 等自动配音与本地化服务。 2. 开发者平台（Developer Platforms）：提供集成能力的 API。OpenAI Realtime API 和 ElevenLabs 等提供低延迟的语音交互和高质量克隆技术，赋能开发者构建实时语音应用。 3. 基础模型与基础设施（Foundation Models）：底层的技术基石。Meta 的 AudioCraft 和 OpenAI 的 Whisper 等模型推动了技术边界，而 AssemblyAI 等则提供高精度的语音转文字服务。 4. 企业云服务（Enterprise Cloud）：AWS、Google Cloud 和 Azure 提供的整合服务，凭借强大的生态和安全合规优势，成为大企业的首选。 文章指出，未来创新将聚焦于情感智能、实时协作及音视频深度融合。对于企业而言，选择直接使用成品应用还是基于 API 开发，取决于具体需求与定制化程度。 Meta 推出 AudioSeal：新一代主动式音频水印技术 论文：https://arxiv.org/abs/2401.17264 Github：https://github.com/facebookresearch/audioseal 演示：https://pierrefdz.github.io/publications/audioseal/ AudioSeal 是 Meta AI 推出的首个针对 AI 语音克隆的主动防御式水印解决方案，旨在解决 AI 合成内容泛滥带来的信任危机。 与传统的被动检测不同，AudioSeal 采用“生成器 检测器”联合架构，具备三大核心优势： 1. 局部精确定位：它是首个能以 1/16000 秒精度定位水印位置的技术，可直接在长音频流中判断哪一段是 AI 生成的，适用于实时检测。 2. 极速与鲁棒性：其检测速度比现有 SOTA（如 WavMark）快近 1000 倍，且在压缩、剪辑、加噪等多种攻击下仍保持高检出率。 3. 无损听感与溯源：在不影响人耳听感的前提下嵌入水印，并支持通过多位水印识别特定的生成模型或版本。 目前 AudioSeal 已开源并支持 pip 安装，为 AI 生成语音的版权保护和防伪提供了高效、实时的技术手段。 Musically发布《2025年AI音乐A到Z》系列 Musically 近期发布了四篇关于AI音乐的Blog，回顾全年 AI 音乐趋势，从第一部分的“人工智能技术与合理使用”到第四部分的“从透明化到零和博弈”，内容相当多，推荐一看！ Blog 1：https://musically.com/2025/12/15/the a to z of ai music in 2025 part 1 ai technologies to fair use/ Blog 2：https://musically.com/2025/12/15/the a to z of ai music in 2025 part 2 gema to merlin/ Blog 3：https://musically.com/2025/12/15/the a to z of ai music in 2025 part 3 newton rex to spotify/ Blog 4：https://musically.com/2025/12/17/the a to z of ai music in 2025 part 4 transparency to zero sum game/ 论文 MIDI LLM：让大型语言模型适配文本到 MIDI 音乐生成 Github：https://github.com/slSeanWU/MIDI LLM 论文：https://arxiv.org/abs/2511.03942 Demo：https://midi llm demo.vercel.app/ 我们提出了 MIDI LLM，这是一种能根据自由格式文本提示（prompts）生成多轨 MIDI 音乐的大型语言模型（LLM）。我们的方法扩展了文本 LLM 的词汇表以包含 MIDI token，并使用两阶段训练方案赋予其文本到 MIDI 的生成能力。通过保留原始 LLM 的参数结构，我们可以直接利用 vLLM 库进行加速推理。实验表明，与最近的 Text2midi 模型相比，MIDI LLM 实现了更高的生成质量、更好的文本控制能力以及更快的推理速度。 AutoMV：一种用于音乐视频生成的自动多智能体系统 演示：https://m a p.ai/AutoMV/ 论文：https://arxiv.org/abs/2512.12196 针对整首歌曲的音乐到视频（M2V）生成面临巨大挑战。现有方法生成的片段往往短小、不连贯，且无法将视觉画面与音乐结构、节拍或歌词对齐，缺乏时间上的一致性。我们提出了 AutoMV，这是一个能够直接从歌曲生成完整音乐视频（MV）的多智能体系统。AutoMV 首先应用音乐处理工具提取音乐属性（如结构、人声轨道和时间对齐的歌词），并将这些特征构建为后续智能体的上下文输入。编剧智能体和导演智能体利用这些信息设计简短剧本，在共享的外部库中定义角色档案，并指定镜头指令。随后，这些智能体调用图像生成器生成关键帧，并调用不同的视频生成器生成“故事”或“歌手”场景。验证者智能体评估其输出，从而实现多智能体协作以制作连贯的长篇 MV。为了评估 M2V 生成效果，我们还提出了一个包含四个高级类别（音乐内容、技术、后期制作、艺术）和十二个细粒度标准的基准测试。该基准被用于比较商业产品、AutoMV 和人类导演的 MV（由专家人工评分）：AutoMV 在所有四个类别中都显著优于当前的基线模型，缩小了与专业 MV 的差距。最后，我们研究了使用大型多模态模型作为自动 MV 评判者的可能性；虽然前景广阔，但它们仍落后于人类专家，凸显了未来工作的空间。 深度音乐转录模型中的声音与音乐偏差：系统性分析 论文：https://arxiv.org/abs/2512.14602 自动音乐转录（AMT）——即将音乐音频转换为音符表示的任务——在深度学习系统的推动下取得了快速进展。由于丰富标注的音乐数据集极其有限，AMT 的大部分进展都集中在古典钢琴音乐上，甚至仅限于少数非常特定的数据集。这些系统能否有效泛化到其他音乐语境仍然是一个悬而未决的问题。作为对近期关于声音分布偏移（如录音条件）研究的补充，本工作调查了音乐维度的偏移——具体而言是流派、力度和复调水平的变化。为此，我们引入了 MDS 语料库，包含三个不同的子集——(1) 流派、(2) 随机和 (3) MAEtest——以模拟不同轴向的分布偏移。我们使用传统的信息检索指标和基于音乐信息的性能指标，在 MDS 语料库上评估了几种最先进的 AMT 系统的性能。我们广泛的评估分离并揭示了在特定分布偏移下不同程度的性能下降。特别是，我们测得由于声音原因导致的音符级 F1 性能下降了 20 个百分点，由于流派原因下降了 14 个百分点。总体而言，我们发现力度估计比起始点（onset）预测更容易受到音乐变化的影响。基于音乐信息的评估指标，特别是那些捕捉和声结构的指标，有助于识别潜在的影响因素。此外，针对随机生成的非音乐序列的实验揭示了系统性能在极端音乐分布偏移下的明显局限性。总之，这些发现为深度 AMT 系统中语料库偏差问题的持续影响提供了新的证据。 MuseCPBench：基于音乐上下文保留的音乐编辑方法的实证研究 论文：https://arxiv.org/abs/2512.14629 音乐编辑在现代音乐制作中起着至关重要的作用，广泛应用于电影、广播和游戏开发中。音乐生成模型的最新进展使得诸如音色转换、乐器替换和流派转换等多样化的编辑任务成为可能。然而，许多现有工作忽视了评估其保留在编辑过程中应保持不变的音乐层面的能力——我们将这一属性定义为音乐上下文保留（MCP）。虽然有些研究确实考虑了 MCP，但它们采用了不一致的评估协议和指标，导致比较不可靠且不公平。为了填补这一空白，我们引入了首个 MCP 评估基准 MuseCPBench，涵盖了四类音乐层面，并实现了对五个代表性音乐编辑基线模型的综合比较。通过对音乐层面、方法和模型的系统分析，我们发现了当前音乐编辑方法中一致存在的保留差距，并提供了深刻的解释。我们希望我们的发现能为开发更有效、更可靠且具有强大 MCP 能力的音乐编辑策略提供实践指导。 利用先验和后验不确定性进行歌声合成的鲁棒训练 论文：https://arxiv.org/abs/2512.14653 歌声合成（SVS）近年来取得了显著进展。然而，与语音和一般音频数据相比，公开可用的歌声数据集仍然有限。在实践中，这种数据稀缺往往导致长尾场景下的性能下降，例如音高分布不平衡或罕见的演唱风格。为了缓解这些挑战，我们提出了基于不确定性的优化方法，以改进端到端 SVS 模型的训练过程。首先，我们在对抗训练中引入了可微数据增强，以样本方式运行从而增加先验不确定性。其次，我们加入了一个帧级不确定性预测模块来估计后验不确定性，使模型能够将更多的学习能力分配给低置信度片段。在中文 Opencpop 和日文 Ofuton P 数据集上的实证结果表明，我们的方法在多个方面提升了性能。 将语音语言模型适配于歌声合成 论文：https://arxiv.org/abs/2512.14657 语音语言模型（SLMs）近期已成为解决广泛语音相关任务（包括文本转语音 TTS、语音增强 SE 和自动语音识别 ASR）的统一范式。然而，大规模预训练 SLM 的泛化能力仍未得到充分探索。在这项工作中，我们仅使用 135 小时的合成歌声语料库 ACE Opencpop，将一个 17 亿参数的 TTS 预训练 SLM 适配于歌声合成（SVS）。基于 ESPNet SpeechLM，我们的方案包括以下过程：(1) 乐谱条件和歌声波形的 token 化，(2) 多流语言模型 token 预测，(3) 基于条件流匹配（conditional flow matching）的梅尔频谱图生成，(4) 梅尔到波形声码器。实验结果表明，我们适配后的 SLM 能够很好地泛化到 SVS，并取得了与领先的基于离散 token 的 SVS 模型相当的性能。 参考资料 https://www.digitalmusicnews.com/2025/12/15/ai music companies need accurate music rights data/ https://www.linkedin.com/posts/music reports inc ai music companies urgently need accurate activity 7406702023867322368 5cLF?utm source=share&utm medium=member desktop&rcm=ACoAAEf4sYcB 7kwpHm7WTW6ML5ECD H8EXZk8c https://x.com/AIatMeta/status/2000980784425931067?s=20 Audio or video is not supported Please download the file and open it with the appropriate software. 微信视频2025 12 22 224031 045.mp4 · 5.72MB 微信视频2025 12 22 224031 045 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. 微信视频2025 12 22 224031 045.mp4 · 5.72MB 微信视频2025 12 22 224031 045 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. producer.ai视频.mp4 · 695.35KB producer.ai视频 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. producer.ai视频.mp4 · 695.35KB producer.ai视频 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. Spaces功能演示.mp4 · 6.14MB Spaces功能演示 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. Spaces功能演示.mp4 · 6.14MB Spaces功能演示 00:00 Blog：https://ai.sony/blog/Protecting Creator%E2%80%99s Rights in the Age of AI/ 最近，面对 AI 音乐生成引发的原创性、公平性和版权归属问题，Sony AI 发布了三项重要研究成果，旨在通过技术手段维护音乐人和版权方的利益。 这些研究主要涵盖三个维度： 1. 归因（Attribution）：利用“反学习（Unlearning）”技术，追踪生成式 AI 模型的训练数据来源，识别出具体影响 AI 创作的原始音乐作品，从而实现对原作者的溯源与致谢。 2. 识别（Recognition）：通过 CLEWS 模型进行“弱监督对比学习”，能够基于短小的音频片段（约 20 秒）精准识别出音乐作品之间的翻唱或相似关系，有助于发现未授权的使用。 3. 保护（Protection）：建立了 RAW Bench 测评基准，测试现有音频水印技术在面对新型神经音频编解码器（如 EnCodec）时的生存能力，揭示了当前水印技术的脆弱性，并指明了未来更强鲁棒性保护技术的发展方向。 Sony AI 致力于通过这些技术创新，构建一个尊重来源、理解关联且能有效防伪的 AI 音乐生态系统，确保技术发展不以牺牲人类创造力为代价。 2025 音频与语音 AI 市场版图：从工具到基础设施的全景解析 Blog：https://www.joinmassive.com/blog/audio speech ai market map 本文深入剖析了迅速爆发的音频 AI 市场，将 40+ 家定义行业的公司划分为四个核心层级： 1. 应用层（Applications）：面向创作者和企业的成品工具。包括 Descript 等播客编辑神器，Speechify 等语音朗读工具，以及 Suno、Udio 等音乐生成平台，甚至涵盖了 Rask AI 等自动配音与本地化服务。 2. 开发者平台（Developer Platforms）：提供集成能力的 API。OpenAI Realtime API 和 ElevenLabs 等提供低延迟的语音交互和高质量克隆技术，赋能开发者构建实时语音应用。 3. 基础模型与基础设施（Foundation Models）：底层的技术基石。Meta 的 AudioCraft 和 OpenAI 的 Whisper 等模型推动了技术边界，而 AssemblyAI 等则提供高精度的语音转文字服务。 4. 企业云服务（Enterprise Cloud）：AWS、Google Cloud 和 Azure 提供的整合服务，凭借强大的生态和安全合规优势，成为大企业的首选。 文章指出，未来创新将聚焦于情感智能、实时协作及音视频深度融合。对于企业而言，选择直接使用成品应用还是基于 API 开发，取决于具体需求与定制化程度。 Meta 推出 AudioSeal：新一代主动式音频水印技术 论文：https://arxiv.org/abs/2401.17264 Github：https://github.com/facebookresearch/audioseal 演示：https://pierrefdz.github.io/publications/audioseal/ AudioSeal 是 Meta AI 推出的首个针对 AI 语音克隆的主动防御式水印解决方案，旨在解决 AI 合成内容泛滥带来的信任危机。 与传统的被动检测不同，AudioSeal 采用“生成器 检测器”联合架构，具备三大核心优势： 1. 局部精确定位：它是首个能以 1/16000 秒精度定位水印位置的技术，可直接在长音频流中判断哪一段是 AI 生成的，适用于实时检测。 2. 极速与鲁棒性：其检测速度比现有 SOTA（如 WavMark）快近 1000 倍，且在压缩、剪辑、加噪等多种攻击下仍保持高检出率。 3. 无损听感与溯源：在不影响人耳听感的前提下嵌入水印，并支持通过多位水印识别特定的生成模型或版本。 目前 AudioSeal 已开源并支持 pip 安装，为 AI 生成语音的版权保护和防伪提供了高效、实时的技术手段。 Musically发布《2025年AI音乐A到Z》系列 Musically 近期发布了四篇关于AI音乐的Blog，回顾全年 AI 音乐趋势，从第一部分的“人工智能技术与合理使用”到第四部分的“从透明化到零和博弈”，内容相当多，推荐一看！ Blog 1：https://musically.com/2025/12/15/the a to z of ai music in 2025 part 1 ai technologies to fair use/ Blog 2：https://musically.com/2025/12/15/the a to z of ai music in 2025 part 2 gema to merlin/ Blog 3：https://musically.com/2025/12/15/the a to z of ai music in 2025 part 3 newton rex to spotify/ Blog 4：https://musically.com/2025/12/17/the a to z of ai music in 2025 part 4 transparency to zero sum game/ 论文 MIDI LLM：让大型语言模型适配文本到 MIDI 音乐生成 Github：https://github.com/slSeanWU/MIDI LLM 论文：https://arxiv.org/abs/2511.03942 Demo：https://midi llm demo.vercel.app/ 我们提出了 MIDI LLM，这是一种能根据自由格式文本提示（prompts）生成多轨 MIDI 音乐的大型语言模型（LLM）。我们的方法扩展了文本 LLM 的词汇表以包含 MIDI token，并使用两阶段训练方案赋予其文本到 MIDI 的生成能力。通过保留原始 LLM 的参数结构，我们可以直接利用 vLLM 库进行加速推理。实验表明，与最近的 Text2midi 模型相比，MIDI LLM 实现了更高的生成质量、更好的文本控制能力以及更快的推理速度。 AutoMV：一种用于音乐视频生成的自动多智能体系统 演示：https://m a p.ai/AutoMV/ 论文：https://arxiv.org/abs/2512.12196 针对整首歌曲的音乐到视频（M2V）生成面临巨大挑战。现有方法生成的片段往往短小、不连贯，且无法将视觉画面与音乐结构、节拍或歌词对齐，缺乏时间上的一致性。我们提出了 AutoMV，这是一个能够直接从歌曲生成完整音乐视频（MV）的多智能体系统。AutoMV 首先应用音乐处理工具提取音乐属性（如结构、人声轨道和时间对齐的歌词），并将这些特征构建为后续智能体的上下文输入。编剧智能体和导演智能体利用这些信息设计简短剧本，在共享的外部库中定义角色档案，并指定镜头指令。随后，这些智能体调用图像生成器生成关键帧，并调用不同的视频生成器生成“故事”或“歌手”场景。验证者智能体评估其输出，从而实现多智能体协作以制作连贯的长篇 MV。为了评估 M2V 生成效果，我们还提出了一个包含四个高级类别（音乐内容、技术、后期制作、艺术）和十二个细粒度标准的基准测试。该基准被用于比较商业产品、AutoMV 和人类导演的 MV（由专家人工评分）：AutoMV 在所有四个类别中都显著优于当前的基线模型，缩小了与专业 MV 的差距。最后，我们研究了使用大型多模态模型作为自动 MV 评判者的可能性；虽然前景广阔，但它们仍落后于人类专家，凸显了未来工作的空间。 深度音乐转录模型中的声音与音乐偏差：系统性分析 论文：https://arxiv.org/abs/2512.14602 自动音乐转录（AMT）——即将音乐音频转换为音符表示的任务——在深度学习系统的推动下取得了快速进展。由于丰富标注的音乐数据集极其有限，AMT 的大部分进展都集中在古典钢琴音乐上，甚至仅限于少数非常特定的数据集。这些系统能否有效泛化到其他音乐语境仍然是一个悬而未决的问题。作为对近期关于声音分布偏移（如录音条件）研究的补充，本工作调查了音乐维度的偏移——具体而言是流派、力度和复调水平的变化。为此，我们引入了 MDS 语料库，包含三个不同的子集——(1) 流派、(2) 随机和 (3) MAEtest——以模拟不同轴向的分布偏移。我们使用传统的信息检索指标和基于音乐信息的性能指标，在 MDS 语料库上评估了几种最先进的 AMT 系统的性能。我们广泛的评估分离并揭示了在特定分布偏移下不同程度的性能下降。特别是，我们测得由于声音原因导致的音符级 F1 性能下降了 20 个百分点，由于流派原因下降了 14 个百分点。总体而言，我们发现力度估计比起始点（onset）预测更容易受到音乐变化的影响。基于音乐信息的评估指标，特别是那些捕捉和声结构的指标，有助于识别潜在的影响因素。此外，针对随机生成的非音乐序列的实验揭示了系统性能在极端音乐分布偏移下的明显局限性。总之，这些发现为深度 AMT 系统中语料库偏差问题的持续影响提供了新的证据。 MuseCPBench：基于音乐上下文保留的音乐编辑方法的实证研究 论文：https://arxiv.org/abs/2512.14629 音乐编辑在现代音乐制作中起着至关重要的作用，广泛应用于电影、广播和游戏开发中。音乐生成模型的最新进展使得诸如音色转换、乐器替换和流派转换等多样化的编辑任务成为可能。然而，许多现有工作忽视了评估其保留在编辑过程中应保持不变的音乐层面的能力——我们将这一属性定义为音乐上下文保留（MCP）。虽然有些研究确实考虑了 MCP，但它们采用了不一致的评估协议和指标，导致比较不可靠且不公平。为了填补这一空白，我们引入了首个 MCP 评估基准 MuseCPBench，涵盖了四类音乐层面，并实现了对五个代表性音乐编辑基线模型的综合比较。通过对音乐层面、方法和模型的系统分析，我们发现了当前音乐编辑方法中一致存在的保留差距，并提供了深刻的解释。我们希望我们的发现能为开发更有效、更可靠且具有强大 MCP 能力的音乐编辑策略提供实践指导。 利用先验和后验不确定性进行歌声合成的鲁棒训练 论文：https://arxiv.org/abs/2512.14653 歌声合成（SVS）近年来取得了显著进展。然而，与语音和一般音频数据相比，公开可用的歌声数据集仍然有限。在实践中，这种数据稀缺往往导致长尾场景下的性能下降，例如音高分布不平衡或罕见的演唱风格。为了缓解这些挑战，我们提出了基于不确定性的优化方法，以改进端到端 SVS 模型的训练过程。首先，我们在对抗训练中引入了可微数据增强，以样本方式运行从而增加先验不确定性。其次，我们加入了一个帧级不确定性预测模块来估计后验不确定性，使模型能够将更多的学习能力分配给低置信度片段。在中文 Opencpop 和日文 Ofuton P 数据集上的实证结果表明，我们的方法在多个方面提升了性能。 将语音语言模型适配于歌声合成 论文：https://arxiv.org/abs/2512.14657 语音语言模型（SLMs）近期已成为解决广泛语音相关任务（包括文本转语音 TTS、语音增强 SE 和自动语音识别 ASR）的统一范式。然而，大规模预训练 SLM 的泛化能力仍未得到充分探索。在这项工作中，我们仅使用 135 小时的合成歌声语料库 ACE Opencpop，将一个 17 亿参数的 TTS 预训练 SLM 适配于歌声合成（SVS）。基于 ESPNet SpeechLM，我们的方案包括以下过程：(1) 乐谱条件和歌声波形的 token 化，(2) 多流语言模型 token 预测，(3) 基于条件流匹配（conditional flow matching）的梅尔频谱图生成，(4) 梅尔到波形声码器。实验结果表明，我们适配后的 SLM 能够很好地泛化到 SVS，并取得了与领先的基于离散 token 的 SVS 模型相当的性能。 参考资料 https://www.dig