AI音乐周刊 W.A 016

AI音乐周刊 W.A 016 AI音乐周刊 W.A 016 Modified February 24 • 核心亮点： ◦ 轻量化备用方案：全新的托管式 API 为无法在本地运行模型的用户（或算力受限场景）提供了完美备选，甚至有极客社区探讨了在树莓派上构建电台风格连续播放的可行性。 • 适用人群与场景：AI 音乐开发者、ComfyUI 用户、希望低成本将 AI 音乐集成到客户端的应用创作者。相关链接 ComfyUI 节点：https://registry.comfy.org/nodes/ACE Step ComfyUI API key：https://acemusic.ai/playground/api key API文档：https://github.com/ace step/ACE Step 1.5/blob/main/docs/en/Openrouter API DOC.md Lyria 3：Google DeepMind 新一代音乐生成模型 2月19日，Google DeepMind 正式发布最新一代生成式音乐模型 Lyria 3，现已面向 Gemini 用户开放。用户仅需通过文本描述，甚至上传照片或视频，即可快速生成 30 秒包含人声、歌词及专属封面的高保真音乐片段。 Lyria 3支持文本、照片或视频作为输入进行音乐生成，同时支持生成配套的完整歌词以及由 Nano Banana 模型绘制的定制专辑封面。 Lyria 3生成的音频均植入 SynthID，同时 Gemini 自带验证功能，可检测用户上传音频文件是否由 Google AI 生成。 Lyria 3 技术同步应用于 YouTube Dream Track，目前已向美区创作者开放使用，其他地区在陆续开放。详情见：https://blog.google/innovation and ai/products/gemini app/lyria 3/?utm source=x&utm medium=social&utm campaign=&utm content= Producer.AI 迎来“硬重启”：旧数据清空，新一代模型 FUZZ 3 引发热议前身是知名 AI 音乐生成器 Riffusion 的 Producer.AI 近期完成了一次罕见的平台级重构，引发了大量创作者的关注与讨论。旧数据清空与积分补偿 2月19日，Producer.AI 正式结束内测阶段，彻底清空了旧版生成的所有歌曲、歌词与项目数据（经典版 Riffusion 网站也同步关停），平台仅保留了用户的个人资料、自定义指令和关注者等社交配置属性。为安抚受数据丢失影响的创作者，官方根据用户的订阅等级，发放了 100 至 30,000 不等的额度积分作为补偿。 FUZZ 3 模型上线与功能取舍 2月21日，全新一代模型 FUZZ 3 Demo 正式发布。新模型带来了更深度的节奏处理能力、更高的提示词准确度、多语言支持，并推出了主打迭代修改的“Modify”对话工作流。然而，此次底层重构也伴随了显著的“阵痛期”：重混滑块等实用工具暂时下线，歌曲时长被强制限制在3分钟内，且在说唱、朋克等风格中，人声表现显得较为不稳定。社区反响两极分化这次以放弃旧平台为代价的升级在社区内引发了震惊与两极分化的评价。大多数用户对短期内的功能缺失和体验下降感到担忧与质疑；但也有部分创作者对其强大的器乐深度和低音表现表示惊叹。总体来看，Producer.AI 似乎正通过牺牲短期的产品完善度，来换取长期的底层架构合规与更专业的创作潜力。 Apple Music 推出 AI 歌单生成与全屏沉浸式 UI 2 月 23 日，据测试版反馈，苹果即将推送的 iOS 26.4 将为 Apple Music 带来一次重大升级。除了备受期待的 AI 辅助功能外，应用界面的视觉体验也将全面革新。全新功能盘点 • AI 歌单生成 (Playlist Playground)：紧随 Spotify 与 YouTube Music 的步伐，Apple Music 终于引入自然语言生成歌单功能。用户只需输入如“适合晨间咖啡的氛围”或具体的艺人、流派需求，AI 即可生成包含 25 首歌曲的定制列表，并支持用户自定义标题、封面及微调曲目。 • 沉浸式视觉焕新：彻底告别传统的黑白背景。新版 UI 将根据专辑或歌单封面的主色调全屏自适应变换色彩，并在支持动态封面的界面中呈现更具沉浸感的视觉效果。 • 操作体验优化：新增“一键添加至多个歌单”功能，大幅提升整理效率；桌面新增“环境音乐 (Ambient Music)”小组件，可一键播放助眠、专注或放松等四种环境音；此外，新版还加入了“附近的演唱会 (Concerts Near You)”板块，方便乐迷发现和追踪本地演出资讯。目前该版本正在 Beta 测试中，具体哪些 AI 功能将作为订阅会员专享，仍待苹果官方进一步确认。论文 👉 以下是 2月17日 2月24日相关的论文汇总 TAC：带时间戳的音频描述（字幕）摘要：大型音频语言模型在解开复杂声学场景中重叠的事件时常常遇到困难，导致生成的时间描述不一致且频繁出现幻觉。为此，我们引入了带时间戳的音频描述生成器（TAC），该模型能够生成具有不同细节和分辨率、且基于准确时间定位的音频描述。TAC 采用合成数据管道进行训练，该管道利用真实音频源构建了具有挑战性的动态混合音频，从而在逼真的复音条件下实现鲁棒学习。在事件检测和密集描述任务中，TAC 优于所有竞争方法，具有低幻觉率和准确的时间定位。我们还介绍了 TAC V，一个用于生成语义丰富的视听描述的管道。随后我们证明了 TAC 和 TAC V 可以作为纯文本推理器的“语义桥梁”：简单的 TAC+LLM 和 TAC V+LLM 级联架构，分别在音频（MMAU Pro, MMSU, MMAR）和视听（DailyOmni, VideoHolmes）的理解与推理基准测试中取得了最先进（SOTA）的成绩。论文链接： https://arxiv.org/abs/2602.15766 Audiocards：结构化元数据提升用于声音设计的音频语言模型摘要：声音设计师通常根据声音类别或视觉上下文等维度在大型音效库中搜索声音。然而，这类搜索所需的元数据往往缺失或不完整，并且需要耗费大量人工进行添加。现有的自动化解决方案（如生成元数据或基于文本音频检索的嵌入学习）并未在使用针对“声音设计”结构和信息的元数据上进行过训练。为此，我们提出了“Audiocards”（音频卡片）——利用大语言模型（LLM）的世界知识，构建基于声学属性和声音描述符的结构化元数据。我们证明，在专业音效库上使用 Audiocards 进行训练，能够改善下游的文本音频检索、描述性字幕生成和元数据生成任务。此外，与基线的单句描述方法相比，Audiocards 还提高了通用音频描述和检索的性能。我们发布了一个精选的音效 Audiocards 数据集，以期推动相关领域的进一步研究。论文链接： https://arxiv.org/abs/2602.13835 voice2mode：使用自监督语音模型进行歌唱发声模式分类摘要：我们提出了 voice2mode，这是一种利用从大型自监督语音模型中提取的嵌入特征，对四种歌唱发声模式（气声、常态声、流动声和挤压声）进行分类的方法。此前关于歌唱发声模式的研究主要依赖于手工提取的信号特征或特定任务的神经网络；本研究评估了语音基础模型在歌唱发声分类任务上的可迁移性。voice2mode 从 HuBERT 和两个 wav2vec2 变体中提取逐层表示，应用全局时间池化，并使用轻量级分类器（SVM、XGBoost）进行分类。在一个公开的女高音数据集（763 个持续元音录音）上的实验表明，基础模型特征大大优于传统的频谱基线方法。从较浅层获取的 HuBERT 嵌入取得了最佳结果（准确率约 95.7%），比最佳传统基线提升了约 12 15%。研究还表明，保留声学/语音细节的较低层比专用于自动语音识别（ASR）的顶层更加有效。论文链接： https://arxiv.org/abs/2602.13928 通过风格规划与数据集对齐模式检索实现结构感知的钢琴伴奏摘要：我们介绍了一种用于符号化钢琴伴奏的结构感知方法，将高级规划与音符级实现解耦。一个轻量级的 Transformer 在考虑段落/乐句结构和功能和声的条件下，预测出一个具可解释性、逐小节的“风格计划”，随后检索器从语料库中选择人类演奏的钢琴模式并进行重新和声化。我们将检索公式化为显式能量函数下的模式匹配，该函数包含和声可行性、结构角色兼容性、声部连接连续性、风格偏好以及重复控制。给定结构化的主旋律谱和可选的关键字提示，该系统即可生成钢琴伴奏 MIDI。实验表明，由 Transformer 引导的检索能够生成具有强烈风格表现力的多样化长篇伴奏，证明了该推理期方法在生成钢琴伴奏方面的有效性。论文链接： https://arxiv.org/abs/2602.15074 SELEBI：通过非平稳 Gabor 变换选择性压缩幅度频谱图实现的打击乐感知时间拉伸摘要：基于相位声码器（Phase vocoder）的时间拉伸技术被广泛用于音频的时间尺度修改，但常常受到“打击乐涂抹（percussion smearing）”伪影的困扰。我们将该现象归因于时间上涂抹的幅度频谱图与新生成的局部相位之间存在时间尺度不匹配。为此，我们提出了 SELEBI，这是一种信号自适应的相位声码器算法，能显著减少该伪影并保持完美重构特性。我们的方法利用非平稳 Gabor 变换，动态调整分析窗口长度（为包含打击乐能量的区间分配短窗口），直接计算时间局部化的幅度频谱图，确保了幅度和相位在时间结构上的更高一致性。实验结果表明，该方法有效缓解了打击乐涂抹问题，并产生了极其自然的音质。论文链接： https://arxiv.org/abs/2602.16421 Art2Mus：通过视觉条件化与大规模跨模态对齐实现艺术品到音乐的生成摘要：多模态深度学习使模型能够从图像合成音频，但现有的以图像为条件的系统存在局限：一是通常仅在自然照片上训练，难以捕捉艺术品的深层语义与文化；二是大多依赖“图像到文本”作为语义捷径，阻碍了直接的视觉音频学习。受此启发，我们推出了 ArtSound——一个包含 105,884 个“艺术品音乐”对的大规模多模态数据集。进一步地，我们提出了 ArtToMus，这是首个专为直接“艺术品到音乐”生成设计的框架。它无需图文翻译，将视觉嵌入直接投影到潜在扩散模型的条件空间中，仅凭视觉信息引导音乐合成。实验表明，ArtToMus 能生成连贯且风格一致、反映源艺术品显著视觉线索的音乐输出，确立了这一具有挑战性的研究新方向。论文链接： https://arxiv.org/abs/2602.17599 AudioChat：结合 Transfusion Forcing 机制的统一音频故事生成、编辑与理解摘要：尽管近期取得了突破，音频基础模型在处理复杂的、包含多说话者和各种音效的多源声学场景（即“音频故事”）时仍然面临困难。为了应对这一语义、时间和物理层面的新复杂性挑战，我们提出了 AudioChat 框架。该框架引入了新范式：让基于 LLM 的工具调用智能体模拟用户与系统的交互，并将模拟对话作为训练数据。我们还引入了新颖的“音频转换强制（Audio Transfusion Forcing）”目标，使模型能通过思维链（CoT）推理同步分解高级指令，并执行交互式的多轮音频理解与生成。我们还开发了三个直接衡量任务表现的新指标来评估其性能。论文链接： https://arxiv.org/abs/2602.17097 MusicSem：一个语义丰富的自然音乐描述“语言音频”数据集摘要：现有的多模态模型在跨模态检索和生成任务中，往往难以捕捉用户在自然语言中表达的音乐意图，因为训练数据集未能反映人类真实话语的多样性。本文介绍了 MusicSem，一个包含 32,493 个“语言音频”对的数据集，源自 Reddit 上的有机讨论。MusicSem 捕捉了更广泛的音乐语义，并提出了包含五大类别（描述性、氛围性、情境性、元数据相关、上下文相关）的分类法。我们使用该数据集评估了广泛的多模态模型，突显了细粒度语义建模的重要性。MusicSem 将为未来与人类对齐的音乐表征学习提供有力支持。论文链接： https://arxiv.org/abs/2602.17769 当代流行音乐中的音高分析方法：跨流派的复音音调摘要：本研究认为，当代流行音乐中常用的电子音调（包括 808 风格的低音和强力和弦）在结构和感知上与当代古典音乐中的复音音调（Multiphonics）是等效的。通过听音测试和信号分析，我们证明这两种类型的音调由于相似的频谱和时间特征，都会引发多种因听众而异的音高感知。这些发现表明，音高模糊性不仅局限于实验性古典音乐，也是主流音乐制作的一个共有特征。论文链接： https://arxiv.org/abs/2602.18030 DTT BSR：结合 RoPE Transformer 增强的基于 GAN 的 DTTNet 用于音乐声源恢复摘要：音乐声源恢复（MSR）旨在从经过混音和母带处理的录音中恢复出未处理的分轨。这一挑战在于不仅要分离重叠声源，还要重建因压缩和混响而退化的信号。为此，我们提出了 DTT BSR，这是一种混合生成对抗网络（GAN），结合了用于长期时间建模的旋转位置嵌入（RoPE）Transformer，以及用于多分辨率频谱处理的双路径带分离 RNN。我们的模型在 ICASSP 2026 MSR 挑战赛中分获客观/主观排行榜的第三和第四名，展现了出色的生成保真度，且参数量仅为 7.1M。论文链接： https://arxiv.org/abs/2602.19825 音乐训练（而非仅仅接触音乐）驱动了人工神经网络中“音高类等效性”的出现 • 核心亮点： ◦ 轻量化备用方案：全新的托管式 API 为无法在本地运行模型的用户（或算力受限场景）提供了完美备选，甚至有极客社区探讨了在树莓派上构建电台风格连续播放的可行性。 ◦ 轻量化备用方案：全新的托管式 API 为无法在本地运行模型的用户（或算力受限场景）提供了完美备选，甚至有极客社区探讨了在树莓派上构建电台风格连续播放的可行性。 • 适用人群与场景：AI 音乐开发者、ComfyUI 用户、希望低成本将 AI 音乐集成到客户端的应用创作者。相关链接 ComfyUI 节点：https://registry.comfy.org/nodes/ACE Step ComfyUI API key：https://acemusic.ai/playground/api key API文档：https://github.com/ace step/ACE Step 1.5/blob/main/docs/en/Openrouter API DOC.md Lyria 3：Google DeepMind 新一代音乐生成模型 2月19日，Google DeepMind 正式发布最新一代生成式音乐模型 Lyria 3，现已面向 Gemini 用户开放。用户仅需通过文本描述，甚至上传照片或视频，即可快速生成 30 秒包含人声、歌词及专属封面的高保真音乐片段。 Lyria 3支持文本、照片或视频作为输入进行音乐生成，同时支持生成配套的完整歌词以及由 Nano Banana 模型绘制的定制专辑封面。 Lyria 3生成的音频均植入 SynthID，同时 Gemini 自带验证功能，可检测用户上传音频文件是否由 Google AI 生成。 Lyria 3 技术同步应用于 YouTube Dream Track，目前已向美区创作者开放使用，其他地区在陆续开放。详情见：https://blog.google/innovation and ai/products/gemini app/lyria 3/?utm source=x&utm medium=social&utm campaign=&utm content= Producer.AI 迎来“硬重启”：旧数据清空，新一代模型 FUZZ 3 引发热议前身是知名 AI 音乐生成器 Riffusion 的 Producer.AI 近期完成了一次罕见的平台级重构，引发了大量创作者的关注与讨论。旧数据清空与积分补偿 2月19日，Producer.AI 正式结束内测阶段，彻底清空了旧版生成的所有歌曲、歌词与项目数据（经典版 Riffusion 网站也同步关停），平台仅保留了用户的个人资料、自定义指令和关注者等社交配置属性。为安抚受数据丢失影响的创作者，官方根据用户的订阅等级，发放了 100 至 30,000 不等的额度积分作为补偿。 FUZZ 3 模型上线与功能取舍 2月21日，全新一代模型 FUZZ 3 Demo 正式发布。新模型带来了更深度的节奏处理能力、更高的提示词准确度、多语言支持，并推出了主打迭代修改的“Modify”对话工作流。然而，此次底层重构也伴随了显著的“阵痛期”：重混滑块等实用工具暂时下线，歌曲时长被强制限制在3分钟内，且在说唱、朋克等风格中，人声表现显得较为不稳定。社区反响两极分化这次以放弃旧平台为代价的升级在社区内引发了震惊与两极分化的评价。大多数用户对短期内的功能缺失和体验下降感到担忧与质疑；但也有部分创作者对其强大的器乐深度和低音表现表示惊叹。总体来看，Producer.AI 似乎正通过牺牲短期的产品完善度，来换取长期的底层架构合规与更专业的创作潜力。 Apple Music 推出 AI 歌单生成与全屏沉浸式 UI 2 月 23 日，据测试版反馈，苹果即将推送的 iOS 26.4 将为 Apple Music 带来一次重大升级。除了备受期待的 AI 辅助功能外，应用界面的视觉体验也将全面革新。全新功能盘点 • AI 歌单生成 (Playlist Playground)：紧随 Spotify 与 YouTube Music 的步伐，Apple Music 终于引入自然语言生成歌单功能。用户只需输入如“适合晨间咖啡的氛围”或具体的艺人、流派需求，AI 即可生成包含 25 首歌曲的定制列表，并支持用户自定义标题、封面及微调曲目。 • 沉浸式视觉焕新：彻底告别传统的黑白背景。新版 UI 将根据专辑或歌单封面的主色调全屏自适应变换色彩，并在支持动态封面的界面中呈现更具沉浸感的视觉效果。 • 操作体验优化：新增“一键添加至多个歌单”功能，大幅提升整理效率；桌面新增“环境音乐 (Ambient Music)”小组件，可一键播放助眠、专注或放松等四种环境音；此外，新版还加入了“附近的演唱会 (Concerts Near You)”板块，方便乐迷发现和追踪本地演出资讯。目前该版本正在 Beta 测试中，具体哪些 AI 功能将作为订阅会员专享，仍待苹果官方进一步确认。论文 👉 以下是 2月17日 2月24日相关的论文汇总以下是 2月17日 2月24日相关的论文汇总 TAC：带时间戳的音频描述（字幕）摘要：大型音频语言模型在解开复杂声学场景中重叠的事件时常常遇到困难，导致生成的时间描述不一致且频繁出现幻觉。为此，我们引入了带时间戳的音频描述生成器（TAC），该模型能够生成具有不同细节和分辨率、且基于准确时间定位的音频描述。TAC 采用合成数据管道进行训练，该管道利用真实音频源构建了具有挑战性的动态混合音频，从而在逼真的复音条件下实现鲁棒学习。在事件检测和密集描述任务中，TAC 优于所有竞争方法，具有低幻觉率和准确的时间定位。我们还介绍了 TAC V，一个用于生成语义丰富的视听描述的管道。随后我们证明了 TAC 和 TAC V 可以作为纯文本推理器的“语义桥梁”：简单的 TAC+LLM 和 TAC V+LLM 级联架构，分别在音频（MMAU Pro, MMSU, MMAR）和视听（DailyOmni, VideoHolmes）的理解与推理基准测试中取得了最先进（SOTA）的成绩。论文链接： https://arxiv.org/abs/2602.15766 Audiocards：结构化元数据提升用于声音设计的音频语言模型摘要：声音设计师通常根据声音类别或视觉上下文等维度在大型音效库中搜索声音。然而，这类搜索所需的元数据往往缺失或不完整，并且需要耗费大量人工进行添加。现有的自动化解决方案（如生成元数据或基于文本音频检索的嵌入学习）并未在使用针对“声音设计”结构和信息的元数据上进行过训练。为此，我们提出了“Audiocards”（音频卡片）——利用大语言模型（LLM）的世界知识，构建基于声学属性和声音描述符的结构化元数据。我们证明，在专业音效库上使用 Audiocards 进行训练，能够改善下游的文本音频检索、描述性字幕生成和元数据生成任务。此外，与基线的单句描述方法相比，Audiocards 还提高了通用音频描述和检索的性能。我们发布了一个精选的音效 Audiocards 数据集，以期推动相关领域的进一步研究。论文链接： https://arxiv.org/abs/2602.13835 voice2mode：使用自监督语音模型进行歌唱发声模式分类摘要：我们提出了 voice2mode，这是一种利用从大型自监督语音模型中提取的嵌入特征，对四种歌唱发声模式（气声、常态声、流动声和挤压声）进行分类的方法。此前关于歌唱发声模式的研究主要依赖于手工提取的信号特征或特定任务的神经网络；本研究评估了语音基础模型在歌唱发声分类任务上的可迁移性。voice2mode 从 HuBERT 和两个 wav2vec2 变体中提取逐层表示，应用全局时间池化，并使用轻量级分类器（SVM、XGBoost）进行分类。在一个公开的女高音数据集（763 个持续元音录音）上的实验表明，基础模型特征大大优于传统的频谱基线方法。从较浅层获取的 HuBERT 嵌入取得了最佳结果（准确率约 95.7%），比最佳传统基线提升了约 12 15%。研究还表明，保留声学/语音细节的较低层比专用于自动语音识别（ASR）的顶层更加有效。论文链接： https://arxiv.org/abs/2602.13928 通过风格规划与数据集对齐模式检索实现结构感知的钢琴伴奏摘要：我们介绍了一种用于符号化钢琴伴奏的结构感知方法，将高级规划与音符级实现解耦。一个轻量级的 Transformer 在考虑段落/乐句结构和功能和声的条件下，预测出一个具可解释性、逐小节的“风格计划”，随后检索器从语料库中选择人类演奏的钢琴模式并进行重新和声化。我们将检索公式化为显式能量函数下的模式匹配，该函数包含和声可行性、结构角色兼容性、声部连接连续性、风格偏好以及重复控制。给定结构化的主旋律谱和可选的关键字提示，该系统即可生成钢琴伴奏 MIDI。实验表明，由 Transformer 引导的检索能够生成具有强烈风格表现力的多样化长篇伴奏，证明了该推理期方法在生成钢琴伴奏方面的有效性。论文链接： https://arxiv.org/abs/2602.15074 SELEBI：通过非平稳 Gabor 变换选择性压缩幅度频谱图实现的打击乐感知时间拉伸摘要：基于相位声码器（Phase vocoder）的时间拉伸技术被广泛用于音频的时间尺度修改，但常常受到“打击乐涂抹（percussion smearing）”伪影的困扰。我们将该现象归因于时间上涂抹的幅度频谱图与新生成的局部相位之间存在时间尺度不匹配。为此，我们提出了 SELEBI，这是一种信号自适应的相位声码器算法，能显著减少该伪影并保持完美重构特性。我们的方法利用非平稳 Gabor 变换，动态调整分析窗口长度（为包含打击乐能量的区间分配短窗口），直接计算时间局部化的幅度频谱图，确保了幅度和相位在时间结构上的更高一致性。实验结果表明，该方法有效缓解了打击乐涂抹问题，并产生了极其自然的音质。论文链接： https://arxiv.org/abs/2602.16421 Art2Mus：通过视觉条件化与大规模跨模态对齐实现艺术品到音乐的生成摘要：多模态深度学习使模型能够从图像合成音频，但现有的以图像为条件的系统存在局限：一是通常仅在自然照片上训练，难以捕捉艺术品的深层语义与文化；二是大多依赖“图像到文本”作为语义捷径，阻碍了直接的视觉音频学习。受此启发，我们推出了 ArtSound——一个包含 105,884 个“艺术品音乐”对的大规模多模态数据集。进一步地，我们提出了 ArtToMus，这是首个专为直接“艺术品到音乐”生成设计的框架。它无需图文翻译，将视觉嵌入直接投影到潜在扩散模型的条件空间中，仅凭视觉信息引导音乐合成。实验表明，ArtToMus 能生成连贯且风格一致、反映源艺术品显著视觉线索的音乐输出，确立了这一具有挑战性的研究新方向。论文链接： https://arxiv.org/abs/2602.17599 AudioChat：结合 Transfusion Forcing 机制的统一音频故事生成、编辑与理解摘要：尽管近期取得了突破，音频基础模型在处理复杂的、包含多说话者和各种音效的多源声学场景（即“音频故事”）时仍然面临困难。为了应对这一语义、时间和物理层面的新复杂性挑战，我们提出了 AudioChat 框架。该框架引入了新范式：让基于 LLM 的工具调用智能体模拟用户与系统的交互，并将模拟对话作为训练数据。我们还引入了新颖的“音频转换强制（Audio Transfusion Forcing）”目标，使模型能通过思维链（CoT）推理同步分解高级指令，并执行交互式的多轮音频理解与生成。我们还开发了三个直接衡量任务表现的新指标来评估其性能。论文链接： https://arxiv.org/abs/2602.17097 MusicSem：一个语义丰富的自然音乐描述“语言音频”数据集摘要：现有的多模态模型在跨模态检索和生成任务中，往往难以捕捉用户在自然语言中表达的音乐意图，因为训练数据集未能反映人类真实话语的多样性。本文介绍了 MusicSem，一个包含 32,493 个“语言音频”对的数据集，源自 Reddit 上的有机讨论。MusicSem 捕捉了更广泛的音乐语义，并提出了包含五大类别（描述性、氛围性、情境性、元数据相关、上下文相关）的分类法。我们使用该数据集评估了广泛的多模态模型，突显了细粒度语义建模的重要性。MusicSem 将为未来与人类对齐的音乐表征学习提供有力支持。论文链接： https://arxiv.org/abs/2602.17769 当代流行音乐中的音高分析方法：跨流派的复音音调摘要：本研究认为，当代流行音乐中常用的电子音调（包括 808 风格的低音和强力和弦）在结构和感知上与当代古典音乐中的复音音调（Multiphonics）是等效的。通过听音测试和信号分析，我们证明这两种类型的音调由于相似的频谱和时间特征，都会引发多种因听众而异的音高感知。这些发现表明，音高模糊性不仅局限于实验性古典音乐，也是主流音乐制作的一个共有特征。论文链接： https://arxiv.org/abs/2602.18030 DTT BSR：结合 RoPE Transformer 增强的基于 GAN 的 DTTNet 用于音乐声源恢复摘要：音乐声源恢复（MSR）旨在从经过混音和母带处理的录音中恢复出未处理的分轨。这一挑战在于不仅要分离重叠声源，还要重建因压缩和混响而退化的信号。为此，我们提出了 DTT BSR，这是一种混合生成对抗网络（GAN），结合了用于长期时间建模的旋转位置嵌入（RoPE）Transformer，以及用于多分辨率频谱处理的双路径带分离 RNN。我们的模型在 ICASSP 2026 MSR 挑战赛中分获客观/主观排行榜的第三和第四名，展现了出色的生成保真度，且参数量仅为 7.1M。论文链接： https://arxiv.org/abs/2602.19825 音乐训练（而非仅仅接触音乐）驱动了人工神经网络中“音高类等效性”的出现摘要：音高感知包括“音高高度”（声音变高变低）和“音高类等效性”（八度音的周期性相似）。现有研究对后者是后天习得还是先天发展存在分歧。本研究利用表征相似性分析评估了近期的听觉人工神经网络（ANNs）。我们在自监督和监督学习任务上微调了 Wav2Vec 2.0 和 Data2Vec。结果发现，所有模型都表现出音高高度表征，但只有在“监督音乐转录任务”上训练的模型才展现出“音高类等效性”，仅仅通过自监督学习接触音乐是不够的。这支持了音高类等效性是一种为特定音乐感知

在小宇宙note 阅读完整内容