AI音乐周刊 W.A 029

AI音乐周刊 W.A 029 AI音乐周刊 W.A 029 Modified May 25 流媒体巨头破局！Spotify 联手环球音乐推出付费 AI 翻唱与混音功能 5 月 21 日，Spotify 与全球音乐巨头环球音乐（UMG）达成里程碑式授权协议。Spotify 将面向 Premium 用户推出一项全新的付费增值功能，允许粉丝利用生成式 AI，对参与该项目的音乐人歌曲进行合规的 AI 翻唱（Covers）与混音（Remixes）。 机制创新与产业影响 • 坚守创作者核心： 区别于市面上的侵权 AI，该工具完全建立在“知情同意、明确署名与商业补偿”的基础之上。创作者可自主选择是否加入（Opt in），并能直接从粉丝创作的 AI 衍生作品中获得额外收入分账。 • “围墙花园”生态闭环： 尽管该工具仅限 Premium 用户付费后使用，但生成的 AI 歌曲将对平台内所有用户开放播放。该模式确保了 AI 音乐只能在 Spotify 内部流转，严禁下载或分发至平台外部，从而保护原版 IP 不受侵蚀。 该协议的签署为长期搁置的 AI 衍生作品确立了合规的版权框架，标志着传统唱片业与流媒体巨头正式合流，开始合力挖掘“超级粉丝（Superfan）”经济下的 AI 变现新蓝海。 独家爆料！Udio 将推消费级应用 Starstruck：打造合规“围墙花园”二创生态 5 月 21 日，据 Water & Music 独家爆料，AI 音乐巨头 Udio 计划于今年晚些时候推出面向大众粉丝的移动端应用 Starstruck。该应用已与环球、华纳、Merlin 和 Kobalt 等版权巨头达成深度合作，允许粉丝合法使用明星音色和原创作曲进行二次创作。 核心机制与动向 • 四大二创模式： 包含翻唱（Cover）、重塑编曲（Reimagine）、流派混音（Remix）和定制歌词（Create），彻底告别了无版权归属的通用 AI 歌曲生成。 • 高额版税分账： 粉丝每次点击“生成”均会触发向版权方及词曲创作者的版税支付。其词曲分成远高于传统流媒体，且生成的音频版权归属版权方而非粉丝。 • 绝对闭环保护： 所有生成作品禁止导出至应用外部。平台将通过流加密、音频盲水印和分发端指纹比对技术防范盗版，构建严格的“围墙花园”。 虽然这种高度克制的闭环模式因牺牲了社交分享属性而面临用户活跃度的挑战，但 Starstruck 在产品端真正走通了 AI 混音的版权链路，将为整个流媒体生态的“超级粉丝经济”开辟全新的合规变现渠道。 LALAL.AI 推出本地音轨分离模型 Lyra：支持 7 声部，实现全离线与隐私保护 5 月 22 日，知名 AI 音轨分离平台 LALAL.AI 宣布推出全新本地运行模型 Lyra。该模型现已正式集成至 LALAL.AI 的桌面端应用（Desktop App）和 VST 编曲插件中，标志着该平台迈向“本地去中心化算力”的重要一步。 核心亮点与战略意图 • 完全摆脱网络与额度限制： 区别于传统的云端处理，Lyra 完全在用户的本地硬件上运行。一旦激活成功，后续使用无需连接互联网，不会消耗用户的云端点数/处理分钟数（Minutes），更无需上传任何音频文件。 • 高阶 7 声部精细分离： 尽管在本地运行，Lyra 依然展现了强劲的性能，完美支持将音频精准剥离为 人声、伴奏、鼓点、贝斯、钢琴、原声吉他及电吉他 7 大独立声部。 • 主打极致速度与隐私： 官方坦言，若追求用于最终发行的极致母带级分离质量，云端处理仍是首选；但若创作者更看重批量处理速度、断网离线工作流，亦或是操作涉及敏感/保密的音频项目，Lyra 将凭借绝对的隐私安全与零延迟提供全新解法。 详情：https://www.lalal.ai/?utm source=youtube&utm medium=smm&utm campaign=video 扩散模型现场即兴！LMDM 实时音乐生成框架上线：延迟仅 30ms 5 月 23 日，研究团队推出 LMDMs (Live Music Diffusion Models) 框架，成功将原本沉重的离线音频扩散模型，转化为可在普通笔记本上本地运行的实时流式互动乐器。 核心突破 • 30ms 极速响应： 改进了传统扩散大模型的双向注意力机制，引入分块 KV 缓存（KV Caching） 技术。在高级 GPU 上，其首字节响应时间仅需 30 毫秒，计算效率完胜传统自回归大模型。 • 攻克误差累积： 独创 ARC Forcing 范式，无需任何强化学习（RL）或奖励模型，即可完美解决长序列流式生成中常见的误差放大与崩塌痛点。 • 无缝嵌入现场演出： 结合自定义的 ONNX+JUCE 插件，LMDM 可作为“生成式延音器”直接由人类大提琴等器乐实时触发。在普通的消费级游戏本上，就能流畅完成高拟真的多声部即兴伴奏与人机协同。 论文：https://arxiv.org/abs/2605.22717 演示：https://stephenbrade.github.io/lmdm public/ 代码：https://github.com/ZacharyNovack/live music diffusion models 3秒灵感变分轨！Mureka 推出 Ableton Live 本地 AI 助手 Mureka Co 近期，Mureka 发布了专为知名音乐宿主软件 Ableton Live 打造的本地 AI 智能助手 Mureka Co。它作为“DAW 里的 AI 同事”，主打 100% 本地与私密运行，支持 12 种以上乐器类型，实现了 3 秒内将灵感转化为实体轨道的极致速度。 用户只需使用日常语言进行描述，无需任何专业术语，Mureka Co 即可自动操控 DAW 调整 BPM、创建轨道并配置音效。它不仅能根据单条提示词生成完整音乐，并自动将对齐节拍的独立分轨（Stems）导入 Ableton，还能智能读取当前工程，按需生成并精准嵌入契合的新乐器或人声来填补空白。 该工具免去了繁琐的菜单点击，遵循“描述、生成、自动操作、即刻播放”的四步极简工作流。目前已面向 Mac OS用户开放免费下载。 链接：https://www.mureka.ai/mureka desktop?source=popup 印度音乐科技公司 Riffle 推出网页端“无限画布”AI 协作工作室 印度初创公司 Riffle 近日推出了一款基于浏览器的创新音乐协作平台。该平台采用直观的“无限画布”白板界面，支持多人在线实时共创，并引入了名为 “Sous Chef（副主厨）” 的常驻 AI 联合制作人。其核心主张是“反粗制滥造，尊崇匠人精神（anti slop, pro craft）”，专注为人类音乐人的真实手艺赋能。 核心功能与产品特色 • 可视化无限画布： 音乐人可以在白板上自由编辑、粘贴歌词、灵感图片、参考歌曲链接及声音素材，确保所有创意线索不会在繁琐地切换工具时丢失。 • 零门槛网页共创： 全程在浏览器内运行。无需下载客户端，团队即可同步录制灵感、叠加音轨、进行多人实时在线协作并即时分享成品。 • 强力 AI “副主厨”： 由 OpenDAW、Neutone、RoEx 和 ElevenLabs 联合提供底层技术驱动。用户通过与 AI 对话即可直接生成相关音轨，AI 还能随时提供第二构思、协助音轨后期编辑并包揽所有枯燥的程序化杂务。 工具链接：https://www.riffle.studio/ 论文 🌈 以下是 5.19—5.25 期间发布的相关论文，已整理翻译 MusicSynth：利用光学音乐识别从乐谱自动生成小提琴指板动画的流水线 概述：学习小提琴远比看起来要难。与钢琴键盘或吉他品丝不同，小提琴的琴颈上没有任何标记，因此初学者无法通过观看直观地判断每个手指应该放在哪里。MusicSynth 是一个开源的网页端工具，试图解决这一问题：用户只需上传任何小提琴乐谱的照片（或数字乐谱文件），系统就会自动生成一段视频，显示小提琴指板并在正确的时刻高亮标注每个音符——无需安装任何软件，也无需手动输入音符。该系统将三个现有的开源工具连接到一个流水线中：光学音乐识别（OMR）库从上传的图像中读取音符，MusicXML 解析器从数字乐谱中提取时间信息，而视频渲染器则逐帧绘制指板。唯一从头开始构建的部分是一个查找表，它将每个音符映射到小提琴上的对应琴弦和手指位置。在对 110 个公共领域的小提琴乐谱进行测试时，MusicSynth 在清晰的印刷乐谱中正确识别了 91.2% 的音符，并且在给定数字乐谱文件时，有 99.1% 的时间能分配正确的手指位置。据作者所知，目前尚无其他免费可用的工具能够通过单一的浏览器端步骤，自动将乐谱图像转换为小提琴指板教学动画。 论文链接： https://arxiv.org/abs/2605.17181 Stable Audio 3 概述：Stable Audio 3 是一个快速潜在扩散模型家族（包含小型、中型、大型），用于可变长度的音频生成和编辑。由于我们的模型能够生成长达数分钟的音频，可变长度生成对于避免在制作短音效时产生全长生成的成本至关重要。我们还支持局部重绘（inpainting），从而实现定向音频编辑和短录音的无缝延续。我们的潜在扩散模型运行在一种新颖的语义 声学自编码器之上，该编码器将音频投影到紧凑的潜在空间中，在保持音频保真度并促进潜在空间中语义结构的同时，实现了高效的基于扩散的生成。最后，我们运行对抗性后训练（adversarial post training）来加速推理并提高生成质量，在减少推理步骤的同时提高了保真度和提示词遵循度。Stable Audio 3 模型在获得许可的数据和知识共享（Creative Commons）数据上进行训练，在 H200 GPU 上生成音乐和声音的时间不到 2秒，在 MacBook Pro M4 上不到几秒。我们开源了可在消费级硬件上运行的小型和中型版本的权重，以及它们的训练和推理流水线。 论文链接： https://arxiv.org/abs/2605.17991 MusicDET：零样本 AI 生成音乐检测 概述：检测 AI 生成的音乐对于维护艺术真实性、防止生成式音乐技术的滥用至关重要。然而，现有的判别式检测器通常在训练期间依赖于生成的样本，并且在面对由未见过的生成器制作的音乐时，往往会出现严重的性能下降，这限制了其在现实世界中的适用性。为了解决这个问题，我们为 AI 生成音乐检测制定了一种零样本（zero shot）设置，其中检测器专门在真实音乐上进行训练，而无法接触任何生成的样本。在此设置下，我们提出了 MusicDET，这是一个基于频率引导归一化流（normalizing flows）的独立于生成器的检测框架，它对真实音乐特征的分布进行概率建模。通过评估输入样本在已学到的真实音乐分布下的似然度，MusicDET 能够有效检测出分布外（out of distribution）的音乐信号。在 FakeMusicCaps 和 SONICS 数据集上的实验表明，MusicDET 始终优于传统的判别式检测器，尤其是在检测由之前未见过的模型生成的音乐时。 论文链接： https://arxiv.org/abs/2605.18072 Sonalyzer Moz：莫扎特奏鸣曲式结构分析框架 概述：奏鸣曲式是一种音乐内涵丰富且具有层级结构的曲式，给自动分析带来了重大挑战。尽管近年来音乐结构分析取得了长足的进步，外加奏鸣曲式的分析仍处于起步阶段。这在很大程度上是由于标注古典音乐结构需要耗费大量时间，且具有极高的音乐背景门槛。为了推动该领域的研究，我们策划了 SoSA Moz，这是第一个包含全面层级结构标注的大规模数据集。这项工作为系统的奏鸣曲式分析奠定了基础。利用这一最新贡献的资源，我们进一步提出了 Sonalyzer Moz，这是一个专门设计用于研究复杂奏鸣曲结构的基线模型。该框架将特征聚合与序列建模相结合，使其能够捕捉局部特征和上层结构的依赖关系。实验结果表明，Sonalyzer Moz 能够识别对理解奏鸣曲式至关重要的上层结构组件边界。因此，该方法首次证明了自动进行奏鸣曲式上层分析的有效性，为未来自动理解奏鸣曲式的研究提供了强有力的基线，同时推动了古典音乐结构分析的研究。 论文链接： https://arxiv.org/abs/2605.18175 流媒体巨头破局！Spotify 联手环球音乐推出付费 AI 翻唱与混音功能 5 月 21 日，Spotify 与全球音乐巨头环球音乐（UMG）达成里程碑式授权协议。Spotify 将面向 Premium 用户推出一项全新的付费增值功能，允许粉丝利用生成式 AI，对参与该项目的音乐人歌曲进行合规的 AI 翻唱（Covers）与混音（Remixes）。 机制创新与产业影响 • 坚守创作者核心： 区别于市面上的侵权 AI，该工具完全建立在“知情同意、明确署名与商业补偿”的基础之上。创作者可自主选择是否加入（Opt in），并能直接从粉丝创作的 AI 衍生作品中获得额外收入分账。 • “围墙花园”生态闭环： 尽管该工具仅限 Premium 用户付费后使用，但生成的 AI 歌曲将对平台内所有用户开放播放。该模式确保了 AI 音乐只能在 Spotify 内部流转，严禁下载或分发至平台外部，从而保护原版 IP 不受侵蚀。 该协议的签署为长期搁置的 AI 衍生作品确立了合规的版权框架，标志着传统唱片业与流媒体巨头正式合流，开始合力挖掘“超级粉丝（Superfan）”经济下的 AI 变现新蓝海。 独家爆料！Udio 将推消费级应用 Starstruck：打造合规“围墙花园”二创生态 5 月 21 日，据 Water & Music 独家爆料，AI 音乐巨头 Udio 计划于今年晚些时候推出面向大众粉丝的移动端应用 Starstruck。该应用已与环球、华纳、Merlin 和 Kobalt 等版权巨头达成深度合作，允许粉丝合法使用明星音色和原创作曲进行二次创作。 核心机制与动向 • 四大二创模式： 包含翻唱（Cover）、重塑编曲（Reimagine）、流派混音（Remix）和定制歌词（Create），彻底告别了无版权归属的通用 AI 歌曲生成。 • 高额版税分账： 粉丝每次点击“生成”均会触发向版权方及词曲创作者的版税支付。其词曲分成远高于传统流媒体，且生成的音频版权归属版权方而非粉丝。 • 绝对闭环保护： 所有生成作品禁止导出至应用外部。平台将通过流加密、音频盲水印和分发端指纹比对技术防范盗版，构建严格的“围墙花园”。 虽然这种高度克制的闭环模式因牺牲了社交分享属性而面临用户活跃度的挑战，但 Starstruck 在产品端真正走通了 AI 混音的版权链路，将为整个流媒体生态的“超级粉丝经济”开辟全新的合规变现渠道。 LALAL.AI 推出本地音轨分离模型 Lyra：支持 7 声部，实现全离线与隐私保护 5 月 22 日，知名 AI 音轨分离平台 LALAL.AI 宣布推出全新本地运行模型 Lyra。该模型现已正式集成至 LALAL.AI 的桌面端应用（Desktop App）和 VST 编曲插件中，标志着该平台迈向“本地去中心化算力”的重要一步。 核心亮点与战略意图 • 完全摆脱网络与额度限制： 区别于传统的云端处理，Lyra 完全在用户的本地硬件上运行。一旦激活成功，后续使用无需连接互联网，不会消耗用户的云端点数/处理分钟数（Minutes），更无需上传任何音频文件。 • 高阶 7 声部精细分离： 尽管在本地运行，Lyra 依然展现了强劲的性能，完美支持将音频精准剥离为 人声、伴奏、鼓点、贝斯、钢琴、原声吉他及电吉他 7 大独立声部。 • 主打极致速度与隐私： 官方坦言，若追求用于最终发行的极致母带级分离质量，云端处理仍是首选；但若创作者更看重批量处理速度、断网离线工作流，亦或是操作涉及敏感/保密的音频项目，Lyra 将凭借绝对的隐私安全与零延迟提供全新解法。 详情：https://www.lalal.ai/?utm source=youtube&utm medium=smm&utm campaign=video 扩散模型现场即兴！LMDM 实时音乐生成框架上线：延迟仅 30ms 5 月 23 日，研究团队推出 LMDMs (Live Music Diffusion Models) 框架，成功将原本沉重的离线音频扩散模型，转化为可在普通笔记本上本地运行的实时流式互动乐器。 核心突破 • 30ms 极速响应： 改进了传统扩散大模型的双向注意力机制，引入分块 KV 缓存（KV Caching） 技术。在高级 GPU 上，其首字节响应时间仅需 30 毫秒，计算效率完胜传统自回归大模型。 • 攻克误差累积： 独创 ARC Forcing 范式，无需任何强化学习（RL）或奖励模型，即可完美解决长序列流式生成中常见的误差放大与崩塌痛点。 • 无缝嵌入现场演出： 结合自定义的 ONNX+JUCE 插件，LMDM 可作为“生成式延音器”直接由人类大提琴等器乐实时触发。在普通的消费级游戏本上，就能流畅完成高拟真的多声部即兴伴奏与人机协同。 论文：https://arxiv.org/abs/2605.22717 演示：https://stephenbrade.github.io/lmdm public/ 代码：https://github.com/ZacharyNovack/live music diffusion models 3秒灵感变分轨！Mureka 推出 Ableton Live 本地 AI 助手 Mureka Co 近期，Mureka 发布了专为知名音乐宿主软件 Ableton Live 打造的本地 AI 智能助手 Mureka Co。它作为“DAW 里的 AI 同事”，主打 100% 本地与私密运行，支持 12 种以上乐器类型，实现了 3 秒内将灵感转化为实体轨道的极致速度。 用户只需使用日常语言进行描述，无需任何专业术语，Mureka Co 即可自动操控 DAW 调整 BPM、创建轨道并配置音效。它不仅能根据单条提示词生成完整音乐，并自动将对齐节拍的独立分轨（Stems）导入 Ableton，还能智能读取当前工程，按需生成并精准嵌入契合的新乐器或人声来填补空白。 该工具免去了繁琐的菜单点击，遵循“描述、生成、自动操作、即刻播放”的四步极简工作流。目前已面向 Mac OS用户开放免费下载。 链接：https://www.mureka.ai/mureka desktop?source=popup 印度音乐科技公司 Riffle 推出网页端“无限画布”AI 协作工作室 印度初创公司 Riffle 近日推出了一款基于浏览器的创新音乐协作平台。该平台采用直观的“无限画布”白板界面，支持多人在线实时共创，并引入了名为 “Sous Chef（副主厨）” 的常驻 AI 联合制作人。其核心主张是“反粗制滥造，尊崇匠人精神（anti slop, pro craft）”，专注为人类音乐人的真实手艺赋能。 核心功能与产品特色 • 可视化无限画布： 音乐人可以在白板上自由编辑、粘贴歌词、灵感图片、参考歌曲链接及声音素材，确保所有创意线索不会在繁琐地切换工具时丢失。 • 零门槛网页共创： 全程在浏览器内运行。无需下载客户端，团队即可同步录制灵感、叠加音轨、进行多人实时在线协作并即时分享成品。 • 强力 AI “副主厨”： 由 OpenDAW、Neutone、RoEx 和 ElevenLabs 联合提供底层技术驱动。用户通过与 AI 对话即可直接生成相关音轨，AI 还能随时提供第二构思、协助音轨后期编辑并包揽所有枯燥的程序化杂务。 工具链接：https://www.riffle.studio/ 论文 🌈 以下是 5.19—5.25 期间发布的相关论文，已整理翻译 以下是 5.19—5.25 期间发布的相关论文，已整理翻译 MusicSynth：利用光学音乐识别从乐谱自动生成小提琴指板动画的流水线 概述：学习小提琴远比看起来要难。与钢琴键盘或吉他品丝不同，小提琴的琴颈上没有任何标记，因此初学者无法通过观看直观地判断每个手指应该放在哪里。MusicSynth 是一个开源的网页端工具，试图解决这一问题：用户只需上传任何小提琴乐谱的照片（或数字乐谱文件），系统就会自动生成一段视频，显示小提琴指板并在正确的时刻高亮标注每个音符——无需安装任何软件，也无需手动输入音符。该系统将三个现有的开源工具连接到一个流水线中：光学音乐识别（OMR）库从上传的图像中读取音符，MusicXML 解析器从数字乐谱中提取时间信息，而视频渲染器则逐帧绘制指板。唯一从头开始构建的部分是一个查找表，它将每个音符映射到小提琴上的对应琴弦和手指位置。在对 110 个公共领域的小提琴乐谱进行测试时，MusicSynth 在清晰的印刷乐谱中正确识别了 91.2% 的音符，并且在给定数字乐谱文件时，有 99.1% 的时间能分配正确的手指位置。据作者所知，目前尚无其他免费可用的工具能够通过单一的浏览器端步骤，自动将乐谱图像转换为小提琴指板教学动画。 论文链接： https://arxiv.org/abs/2605.17181 Stable Audio 3 概述：Stable Audio 3 是一个快速潜在扩散模型家族（包含小型、中型、大型），用于可变长度的音频生成和编辑。由于我们的模型能够生成长达数分钟的音频，可变长度生成对于避免在制作短音效时产生全长生成的成本至关重要。我们还支持局部重绘（inpainting），从而实现定向音频编辑和短录音的无缝延续。我们的潜在扩散模型运行在一种新颖的语义 声学自编码器之上，该编码器将音频投影到紧凑的潜在空间中，在保持音频保真度并促进潜在空间中语义结构的同时，实现了高效的基于扩散的生成。最后，我们运行对抗性后训练（adversarial post training）来加速推理并提高生成质量，在减少推理步骤的同时提高了保真度和提示词遵循度。Stable Audio 3 模型在获得许可的数据和知识共享（Creative Commons）数据上进行训练，在 H200 GPU 上生成音乐和声音的时间不到 2秒，在 MacBook Pro M4 上不到几秒。我们开源了可在消费级硬件上运行的小型和中型版本的权重，以及它们的训练和推理流水线。 论文链接： https://arxiv.org/abs/2605.17991 MusicDET：零样本 AI 生成音乐检测 概述：检测 AI 生成的音乐对于维护艺术真实性、防止生成式音乐技术的滥用至关重要。然而，现有的判别式检测器通常在训练期间依赖于生成的样本，并且在面对由未见过的生成器制作的音乐时，往往会出现严重的性能下降，这限制了其在现实世界中的适用性。为了解决这个问题，我们为 AI 生成音乐检测制定了一种零样本（zero shot）设置，其中检测器专门在真实音乐上进行训练，而无法接触任何生成的样本。在此设置下，我们提出了 MusicDET，这是一个基于频率引导归一化流（normalizing flows）的独立于生成器的检测框架，它对真实音乐特征的分布进行概率建模。通过评估输入样本在已学到的真实音乐分布下的似然度，MusicDET 能够有效检测出分布外（out of distribution）的音乐信号。在 FakeMusicCaps 和 SONICS 数据集上的实验表明，MusicDET 始终优于传统的判别式检测器，尤其是在检测由之前未见过的模型生成的音乐时。 论文链接： https://arxiv.org/abs/2605.18072 Sonalyzer Moz：莫扎特奏鸣曲式结构分析框架 概述：奏鸣曲式是一种音乐内涵丰富且具有层级结构的曲式，给自动分析带来了重大挑战。尽管近年来音乐结构分析取得了长足的进步，外加奏鸣曲式的分析仍处于起步阶段。这在很大程度上是由于标注古典音乐结构需要耗费大量时间，且具有极高的音乐背景门槛。为了推动该领域的研究，我们策划了 SoSA Moz，这是第一个包含全面层级结构标注的大规模数据集。这项工作为系统的奏鸣曲式分析奠定了基础。利用这一最新贡献的资源，我们进一步提出了 Sonalyzer Moz，这是一个专门设计用于研究复杂奏鸣曲结构的基线模型。该框架将特征聚合与序列建模相结合，使其能够捕捉局部特征和上层结构的依赖关系。实验结果表明，Sonalyzer Moz 能够识别对理解奏鸣曲式至关重要的上层结构组件边界。因此，该方法首次证明了自动进行奏鸣曲式上层分析的有效性，为未来自动理解奏鸣曲式的研究提供了强有力的基线，同时推动了古典音乐结构分析的研究。 论文链接： https://arxiv.org/abs/2605.18175 SAME：语义对齐的音乐自编码器 概述：潜在表示（Latent representations）是大多数现代生成模型的核心。在音频领域，它们通常由神经音频编解码（neural audio codec）自编码器产生。在这项工作中，我们引入了 SAME（语义对齐音乐自编码器），这是一款用于立体声音乐和通用音频的自编码器，在保持重构质量和下游生成性能的同时，达到了 4096倍 的时间压缩率。我们通过将基于 Transformer 的主干网络与一系列语义正则化方法、相位感知重构损失以及改进的判别器设计相结合来实现这一目标。该架构通过其高压缩率以及对高度优化的 Transformer 原语的依赖，带来了巨大的计算成本优势。两款变体（大型 SAME L 和可部署于 CPU 的小型 SAME S）已以开源权重形式发布。 论文链接： https://arxiv.org/abs/2605.18613 WavFlow：波形空间中的音频生成 概述：现代音频生成主要依赖于潜在空间（latent space）压缩，这引入了额外的复杂性并可能导致信息丢失。在这项工作中，我们通过 WavFlow 挑战了这一范式。WavFlow 是一个无需中间表示、直接在原始波形空间中生成高保真音频的框架。为了克服建模高维和低能量信号的内在困难，我们通过波形块化（waveform patchify）将音频重塑为二维标记网格（2D token grids），并引入振幅提升（amplitude lifting）来对齐信号尺度，从而在流匹配（flow matching）中通过直接的 x 预测实现稳定优化。为了捕捉复杂的语义对齐和时间同步，我们利用自动化数据流水线策划了 500万 个高质量的“视频 文本 音频”三元组，使模型能够从头开始学习细粒度的声学模式。实验结果表明，WavFlow 在视频转音频基准测试 VGGSound 上以及文本转音频基准测试 AudioCaps 上均取得了颇具竞争力的性能，达到或超过了已有的基于潜在空间的方法。我们的工作表明，中间压缩并不是高质量合成的先决条件，为多模态音频生成提供了一种更简单、更具扩展性的替代方案。 论文链接： https://arxiv.org/abs/2605.18749 精准且简便的音频与乐谱对齐 概述：音频与乐谱对齐（Audio to score alignment）是音乐信息检索（MIR）中一个长期存在的挑战，可以说是音乐研究中应用最广泛的对齐任务。对齐算法将一件音乐作品的两个版本进行匹配，为了使其正常工作，这些版本需要处于可比的格式。音频到音频对齐匹配的是音频特征；当将音频文件与乐谱匹配时，它们必须要么合成乐谱，要么通过钢琴卷帘（piano rolls）或类似的特征序列导出类似音频的特征。相比之下，符号对齐（symbolic alignment）匹配的是符号编码的音符；在“音频到乐谱”的场景中，这些音符可以通过对音频文件进行转录来获得。在本文中，我们提出了一种直接桥接“类似音频特征”和“符号层级特征”的算法。通过一种源自符号对齐方法的定制动态规划匹配算法，将编码了起音（onset）和频谱激活的连续音频特征与乐谱位置进行匹配。该方法既精准（超越了基于合成乐谱的广泛使用的音频到音频对齐方法），又在数字信号处理（DSP）组件中保持了灵活性，即该方法能够适应多样的音色特征，而不需要单独的转录模型。此外，它继承了符号对齐的部分运行时间优势，其算法复杂度在最坏情况下与通常较短的符号乐谱长度和通常较长的音频特征序列长度呈线性关系。在接下来的章节中，我们将提供详细的算法描述，并在一个大规模的独奏钢琴录音数据集上评估其对齐质量。 论文链接： https://arxiv.org/abs/2605.20014 Musical Attention Transformer：使用音乐专用注意力模型的音乐生成 概述：本研究旨在通过结合元信息（meta information）来提高使用