AI音乐周刊 W.A 034

AI音乐周刊 W.A 034 AI音乐周刊 W.A 034 Modified June 29 颠覆性的核心优势： • 全能生成与修复： 支持中英双语，单次可生成长达 2 分钟的音频。它不仅能从文本生成全新声音，还能化身“音频编辑器”，执行填补静音空白、更换台词、延长片段及生成交替结局等高级修复。 • 影视级多轨混音： 将对白、非语言表达（笑声、叹息、方言）及伴奏压缩进单一指令，自动完成时序编排，彻底省去后期多轨剪辑。 • 零样本长时一致： 最多支持 3 个 30 秒的参考音频输入，攻克长程场景下声音“串戏”痛点，保持前后音色高度统一。 目前，该模型已上架火山方舟模型广场。这种“音频先行”的生成管线，正成为有声书、广播剧、游戏等泛媒体创作的全新基石。 体验中心：https://ark.volcengine.com/region:cn beijing/experience/voice?model=doubao seed audio 1 0&sessionid= 打造专属虚拟歌姬！Mureka 推出“角色”定制与全新 AI 人声模型 核心摘要 6 月 24 日，AI 音乐平台 Mureka 宣布迎来重磅功能升级。本次更新正式将原有的“声音克隆”蜕变升级为全新的“角色”（Character）系统，并同步上线了全新一代核心人声模型，为创作者打造更具辨识度与表现力的 AI 歌声。 核心升级亮点： • 🎤 专属“角色”锁定： 升级后的功能支持用户锁定个性化的定制声音与专属虚拟头像（Avatar）。一旦设置完成，该“角色”便可承包你创作的所有歌曲，让你的音乐作品集拥有高度统一、连贯的专属声线。 • ✨ 全新人声核心模型： 平台对底层 AI 模型进行了全面升级，带来了更卓越的整体音乐性。新模型能够高度还原真实的演唱细节，让生成的歌声听感显著更加自然、细腻且富有情感张力。 目前，全新功能已在 Mureka.ai 官网同步上线，助力创作者一键开启个性化虚拟歌手的“量产”时代。 工具链接：https://www.mureka.ai/create?vocalOpen=true 最长支持30秒！Adobe Firefly 智能音效模型迎来重磅更新 相关视频请移步到原文观看 6 月 24 日，Adobe 宣布对其 Firefly 音效生成（Generate Sound Effects）模型进行重要升级。在保持一贯电影级高品质音效的同时，新模型正式突破了时长限制，将单次生成的音效时长上限大幅扩展至 30 秒。 核心亮点与多端同步： • 电影级声效质感： 升级后的模型延续了此前备受好评的影院级细腻音质与动态表现，能够完美驾驭更长时段的环境氛围音与复杂特效设计。 • 全平台多端覆盖： 全新模型已在 firefly.adobe.com 网页端、Premiere 移动端（Mobile）以及 Firefly iOS 官方应用中同步上线，实现跨设备创作流的无缝衔接。 据悉，本次核心更新由 Hugo F. 领衔，并由 Adobe 研究院旗下的声音设计 AI 小组（SODA）团队共同打造。无论是视频剪辑、游戏开发还是播客创作，用户现在戴上耳机即可前往上述平台，即刻解锁长达 30 秒的沉浸式声场大作。 工具链接：https://firefly.adobe.com/generate/sound effects 灵感一键落地！独立开发者推出免费 AI 混音工具 ReferenceMix 近日，音乐人兼独立开发者 Dani Ever Hadani 结合音乐与编程，推出了免费 AI 混音辅助工具 ReferenceMix。该工具基于 Claude AI 和 React 技术构建，旨在为创作者提供快速的混音起点与方向。 核心功能与特点： • 智能生成效果链： 用户只需选择任一音轨，并输入对目标听感的文字描述，AI 就能瞬间生成一套完整的信号处理链方案，涵盖均衡器（EQ）、压缩、饱和度及混响等。 • 精准参数与插件推荐： 方案不仅提供清晰的调整方向，还会给出具体的混音插件建议与精细的参数设置方案。 目前该工具完全免费、无需注册，网页端已正式上线，向所有创作者开放。 工具链接：https://referencemix.vercel.app/ 论文 🌈 以下是 6.23—6.29 期间发布的相关论文，已整理翻译 AudioCALM：用于通用音频生成的连续自回归语言建模 概述：将语音、音效和音乐生成统一在单个模型中，受到了保真度、端到端训练、上下文条件控制以及变长合成之间权衡的阻碍，目前没有任何范式能够完全解决这些问题。为了应对这一挑战，我们提出了 AudioCALM，这是一个通用音频生成框架，它将自回归（AR）下一标记（next token）预测从离散标记扩展到了连续音频隐变量（continuous audio latents）：一个轻量级的流匹配（flow matching）头取代了 softmax，用以预测每个位置的修正流速度（rectified flow velocities），而块因果 AR Flow 注意力模式则可以产生任意长度的输出。多个音频生成任务的联合训练面临着非对称的文本 音频失配问题：语音转录对应特定的时间跨度，需要紧密的时间对齐注意力；而音效和音乐的描述（captions）仅描述整体语义，依赖于扩散的、全局的注意力。将两者混合会极大地损害音效和音乐的生成质量。我们在两个层面上解决这种非对称性：一种是将所有三个任务统一在单个描述风格条件接口下的数据重构策略，以及一种名为非对称模态专家混合（A MoME）的新颖架构，它为语音添加了一个专用的残差专家，而音效和音乐则共享主干网络，从而在非语音输入时不会带来任何推理开销。实验结果表明，AudioCALM 在语音、音效和音乐生成基准测试上达到了特定模态的最先进水平，并超越了先前的统一基线模型。 论文链接：https://arxiv.org/abs/2606.23080 LK Jam：基于角色感知 GRU 的实时人机交互音乐生成系统的系统架构与实现 概述：随着人工智能迈入具身智能（Embodied AI）时代，现场音乐互动迫切需要摆脱离线、单向生成的限制，实现能够进行低延迟、动态交互的“虚拟协同”。为此，本技术报告推出了 LK Jam，这是一个基于轻量级门控循环单元（GRU）和高性能音频宿主架构的实时、双向人机交互音乐生成系统。在算法表征层，该系统放弃了计算成本高昂的固定时间网格。相反，它构建了一个集成了时间偏移（time shifts）、连续和声嵌入和角色感知编码的多维稀疏事件流，使模型能够在单步推理中准确捕捉轮流（turn taking）逻辑和微观时序（micro timing）。在工程实现层，本文利用 C++ 和 JUCE 框架构建了一个严格的多线程无锁通信桥梁，并融入了专为实时音频设计的 RTNeural 推理引擎。通过利用编译期网络拓扑固化和零分配（zero allocation）机制，自回归解码的端到端开销被严格锁死在复杂度，从结构上缓解了 DAW 插件环境中音频线程掉速（dropouts）的风险。此外，本研究设计了一种三阶段渐进式训练策略，实现了从基础和弦伴奏到专家级互动的跨越。初步观察和架构分析表明，该系统在确保音乐连贯性和互动角色扮演的同时，成功挑战了极端的实时工程约束，为现场音乐中的下一代 AI 协同表演者提供了一种高度鲁棒且可部署的技术范式。 论文链接：https://arxiv.org/abs/2606.21018 Bagpiper Edit：基于富文本描述的零样本开放式音频编辑 概述：当前的文本引导音频编辑方法依赖于配对训练数据、预定义的操作系统模板，以及在语音、音乐和音效之间各自独立的处理流水线。我们提出了 Bagpiper Edit，通过自由形式的自然语言指令来实现开放式音频编辑。我们将富文本描述（rich caption）视为音频片段的语义表征，从而将音频编辑重新公式化为富文本描述重写任务。用户的请求被转化为修改后的文本描述，然后引导 Bagpiper Edit 以原始音频作为上下文声学锚点，生成目标修改音频。这释放了自由形式编辑的潜力，规避了对配对音频编辑训练数据的需求，赋能了强大的零样本编辑能力。在语音、音频和自由形式编辑方面的评估表明，Bagpiper Edit 保持了与原始音频的良好一致性，并且在大多数情况下达到了与其他专家模型相似的性能。 论文链接：https://arxiv.org/abs/2606.21227 Libretto：赋予大语言模型智能体音乐结构感 概述：生成式音乐系统现在可以根据文本提示产出令人惊叹的音频，但音频输出很难作为音乐结构进行检查、编辑和诊断。我们推出了 Libretto，一个面向智能体（LLM Agents）的符号音乐生成与修改框架。Libretto 使用了一种具有明确起始位置槽（onset slots）、声部（voices）和小节级组织的语言模型原生语法，然后在基于语料库校准的统计空间中，从节奏、和声、旋律、织体（texture）、曲式（form）和变奏六个维度对每首作品进行评估。相同的结构轴支持检索、诊断、复制风险控制以及迭代式自我修正。在填空（gap filling）、参考引导的全曲生成、渐变融合（gradual morphing）以及教育音乐生成等任务中，Libretto 将符号音乐从原始的标记序列转变为语言模型智能体可测量、可编辑的对象。 论文链接：https://arxiv.org/abs/2606.22708 DTT BSR+：用于音乐音源修复的生成 回归级联网络 概述：音乐音源修复（MSR）需要同时解决声源分轨（source unmixing）和反转非线性制作效应的问题。当前的方法难以在保持语义一致性的同时实现准确的目标信号重建。为了解决这一局限性，我们提出了 DTT BSR+，这是一个两阶段级联 MSR系统，它将分布拟合（distribution fitting）与信号重建解耦到不同的阶段。第一阶段的生成式 DTT BSR 分离器产生符合干净声源先验的分轨（stems），第二阶段经修改的 Demucs 网络利用时域和多分辨率谱损失增强第一阶段的输出。在所有分轨上，DTT BSR+ 的多梅尔信噪比（MMSNR）比单阶段 DTT BSR 都有所提高，并在五个分轨上超越了最先进的 X LANCE MSR 系统。我们还通过 Fréchet 音频距离（FAD）分解揭示了不同分轨在信号重建准确性与语义分布拟合之间存在隐式权衡。 论文链接：https://arxiv.org/abs/2606.24127 使用指令微调与反馈驱动对齐实现音乐大语言模型与情感的对齐 概述：本文探讨了是否可以对音乐大语言模型（MusicLLMs）进行情感回归（emotion regression）对齐。虽然 MusicLLMs 在音乐信息检索任务中表现强劲，但它们预测唤醒度（arousal）和效价（valence）分数的能力仍然有限，因为情感回归尚未成为一个显式的训练目标。为了检验 MusicLLMs 是否能与情感对齐，我们在情感回归上训练了 MusicLLMs，并比较了两种策略：指令微调和反馈驱动对齐。我们的实验表明，任务感知的指令微调在一定程度上使 MusicLLMs 能够预测情感水平，尽管准确率仍然有限。与仅使用指令微调相比，应用带有可验证数值奖励的反馈驱动对齐，能够显著提高模型在唤醒度和效价上的预测性能。我们进一步表明，我们的方法在提高情感回归性能的同时，保持了音乐问答（MusicQA）的能力。 论文链接：https://arxiv.org/abs/2606.24123 基于无数据流式一致性蒸馏的实时交互式音乐生成 概述：交互式音乐和现场表演依赖于实时的人类表达，但现代生成式音乐 AI 由于其过高的推理延迟和离线渲染范式，在这一领域基本缺席。为了给先锋音乐家提供一种全新的交互式创作媒介，我们需要从根本上将这些静态模型转变为动态的、可演奏的乐器。在本文中，我们提出了一个弥合这一差距的框架。为了在不牺牲结构连贯性的情况下实现现场交互所需的低延迟，我们在流式自回归隐空间（streaming autoregressive latent space）内制定了蒸馏方案。我们的方法通过利用纯提示词输入实时合成教师引导的分块（chunk wise）轨迹，从而摆脱了对昂贵的配对音频 隐变量数据集的需求。由于现场乐器需要高声学保真度，我们引入了音乐感知一致性目标（结合了隐空间损失、频谱损失和时域差分损失），以在加速的单步流式生成过程中保留音色、瞬态和节奏稳定性等关键品质。通过参数高效自适应实现，我们的蒸馏减少了生成步数，从而实现了极低的实时率（real time factor）。至关重要的是，通过作为连续的自回归流运行，系统可以实时无缝地吸收动态的人类输入，允许用户在不中断音频流的情况下瞬间控制音乐走向。最终，这项工作将生成式“文本转音乐”模型重新定义为具有即时响应能力的乐器，而不是被动的“输入提示词并等待”的系统，为人类与 AI 的现场音乐共创开辟了新的前沿。 论文链接：https://arxiv.org/abs/2606.24307 像评委一样倾听：一种用于自动歌唱表演评价的音乐感知框架 概述：自动歌唱质量评估（SQA）需要在处理表现力变化的同时，评估歌词准确性和音乐保真度。然而，现有的系统主要要么完全依赖声学线索，要么完全依赖歌词转录，这限制了全面的性能评估。此外，由于在花腔（melisma）、颤音（vibrato）和节奏弹性（tempo elasticity）的影响下进行强健的歌声转录具有挑战性，将两者集成绝非易事。为此，我们提出了 MusicJudge，这是一个模态引导的自动化 SQA 框架，它通过将歌词正确性与音高 节奏保真度相结合，来进行块对齐的多模态分析。它利用集成了语义嵌入、词汇相似度和语音对齐的多信号匹配来检测具有语义意义的歌词块。为了提高歌声录音的转录质量，我们引入了用于自动语音识别（ASR）微调的模态引导 LoRA（Modality Guided LoRA）。在多个数据集上的实验表明，MusicJudge 与人类专家的评判高度一致，并验证了其泛化能力。 论文链接：https://arxiv.org/abs/2606.26451 firefly.adobe.com 颠覆性的核心优势： • 全能生成与修复： 支持中英双语，单次可生成长达 2 分钟的音频。它不仅能从文本生成全新声音，还能化身“音频编辑器”，执行填补静音空白、更换台词、延长片段及生成交替结局等高级修复。 • 影视级多轨混音： 将对白、非语言表达（笑声、叹息、方言）及伴奏压缩进单一指令，自动完成时序编排，彻底省去后期多轨剪辑。 • 零样本长时一致： 最多支持 3 个 30 秒的参考音频输入，攻克长程场景下声音“串戏”痛点，保持前后音色高度统一。 目前，该模型已上架火山方舟模型广场。这种“音频先行”的生成管线，正成为有声书、广播剧、游戏等泛媒体创作的全新基石。 体验中心：https://ark.volcengine.com/region:cn beijing/experience/voice?model=doubao seed audio 1 0&sessionid= 打造专属虚拟歌姬！Mureka 推出“角色”定制与全新 AI 人声模型 核心摘要 6 月 24 日，AI 音乐平台 Mureka 宣布迎来重磅功能升级。本次更新正式将原有的“声音克隆”蜕变升级为全新的“角色”（Character）系统，并同步上线了全新一代核心人声模型，为创作者打造更具辨识度与表现力的 AI 歌声。 核心升级亮点： • 🎤 专属“角色”锁定： 升级后的功能支持用户锁定个性化的定制声音与专属虚拟头像（Avatar）。一旦设置完成，该“角色”便可承包你创作的所有歌曲，让你的音乐作品集拥有高度统一、连贯的专属声线。 • ✨ 全新人声核心模型： 平台对底层 AI 模型进行了全面升级，带来了更卓越的整体音乐性。新模型能够高度还原真实的演唱细节，让生成的歌声听感显著更加自然、细腻且富有情感张力。 目前，全新功能已在 Mureka.ai 官网同步上线，助力创作者一键开启个性化虚拟歌手的“量产”时代。 工具链接：https://www.mureka.ai/create?vocalOpen=true 最长支持30秒！Adobe Firefly 智能音效模型迎来重磅更新 相关视频请移步到原文观看 6 月 24 日，Adobe 宣布对其 Firefly 音效生成（Generate Sound Effects）模型进行重要升级。在保持一贯电影级高品质音效的同时，新模型正式突破了时长限制，将单次生成的音效时长上限大幅扩展至 30 秒。 核心亮点与多端同步： • 电影级声效质感： 升级后的模型延续了此前备受好评的影院级细腻音质与动态表现，能够完美驾驭更长时段的环境氛围音与复杂特效设计。 • 全平台多端覆盖： 全新模型已在 firefly.adobe.com 网页端、Premiere 移动端（Mobile）以及 Firefly iOS 官方应用中同步上线，实现跨设备创作流的无缝衔接。 firefly.adobe.com 据悉，本次核心更新由 Hugo F. 领衔，并由 Adobe 研究院旗下的声音设计 AI 小组（SODA）团队共同打造。无论是视频剪辑、游戏开发还是播客创作，用户现在戴上耳机即可前往上述平台，即刻解锁长达 30 秒的沉浸式声场大作。 工具链接：https://firefly.adobe.com/generate/sound effects 灵感一键落地！独立开发者推出免费 AI 混音工具 ReferenceMix 近日，音乐人兼独立开发者 Dani Ever Hadani 结合音乐与编程，推出了免费 AI 混音辅助工具 ReferenceMix。该工具基于 Claude AI 和 React 技术构建，旨在为创作者提供快速的混音起点与方向。 核心功能与特点： • 智能生成效果链： 用户只需选择任一音轨，并输入对目标听感的文字描述，AI 就能瞬间生成一套完整的信号处理链方案，涵盖均衡器（EQ）、压缩、饱和度及混响等。 • 精准参数与插件推荐： 方案不仅提供清晰的调整方向，还会给出具体的混音插件建议与精细的参数设置方案。 目前该工具完全免费、无需注册，网页端已正式上线，向所有创作者开放。 工具链接：https://referencemix.vercel.app/ 论文 🌈 以下是 6.23—6.29 期间发布的相关论文，已整理翻译 以下是 6.23—6.29 期间发布的相关论文，已整理翻译 AudioCALM：用于通用音频生成的连续自回归语言建模 概述：将语音、音效和音乐生成统一在单个模型中，受到了保真度、端到端训练、上下文条件控制以及变长合成之间权衡的阻碍，目前没有任何范式能够完全解决这些问题。为了应对这一挑战，我们提出了 AudioCALM，这是一个通用音频生成框架，它将自回归（AR）下一标记（next token）预测从离散标记扩展到了连续音频隐变量（continuous audio latents）：一个轻量级的流匹配（flow matching）头取代了 softmax，用以预测每个位置的修正流速度（rectified flow velocities），而块因果 AR Flow 注意力模式则可以产生任意长度的输出。多个音频生成任务的联合训练面临着非对称的文本 音频失配问题：语音转录对应特定的时间跨度，需要紧密的时间对齐注意力；而音效和音乐的描述（captions）仅描述整体语义，依赖于扩散的、全局的注意力。将两者混合会极大地损害音效和音乐的生成质量。我们在两个层面上解决这种非对称性：一种是将所有三个任务统一在单个描述风格条件接口下的数据重构策略，以及一种名为非对称模态专家混合（A MoME）的新颖架构，它为语音添加了一个专用的残差专家，而音效和音乐则共享主干网络，从而在非语音输入时不会带来任何推理开销。实验结果表明，AudioCALM 在语音、音效和音乐生成基准测试上达到了特定模态的最先进水平，并超越了先前的统一基线模型。 论文链接：https://arxiv.org/abs/2606.23080 LK Jam：基于角色感知 GRU 的实时人机交互音乐生成系统的系统架构与实现 概述：随着人工智能迈入具身智能（Embodied AI）时代，现场音乐互动迫切需要摆脱离线、单向生成的限制，实现能够进行低延迟、动态交互的“虚拟协同”。为此，本技术报告推出了 LK Jam，这是一个基于轻量级门控循环单元（GRU）和高性能音频宿主架构的实时、双向人机交互音乐生成系统。在算法表征层，该系统放弃了计算成本高昂的固定时间网格。相反，它构建了一个集成了时间偏移（time shifts）、连续和声嵌入和角色感知编码的多维稀疏事件流，使模型能够在单步推理中准确捕捉轮流（turn taking）逻辑和微观时序（micro timing）。在工程实现层，本文利用 C++ 和 JUCE 框架构建了一个严格的多线程无锁通信桥梁，并融入了专为实时音频设计的 RTNeural 推理引擎。通过利用编译期网络拓扑固化和零分配（zero allocation）机制，自回归解码的端到端开销被严格锁死在复杂度，从结构上缓解了 DAW 插件环境中音频线程掉速（dropouts）的风险。此外，本研究设计了一种三阶段渐进式训练策略，实现了从基础和弦伴奏到专家级互动的跨越。初步观察和架构分析表明，该系统在确保音乐连贯性和互动角色扮演的同时，成功挑战了极端的实时工程约束，为现场音乐中的下一代 AI 协同表演者提供了一种高度鲁棒且可部署的技术范式。 论文链接：https://arxiv.org/abs/2606.21018 Bagpiper Edit：基于富文本描述的零样本开放式音频编辑 概述：当前的文本引导音频编辑方法依赖于配对训练数据、预定义的操作系统模板，以及在语音、音乐和音效之间各自独立的处理流水线。我们提出了 Bagpiper Edit，通过自由形式的自然语言指令来实现开放式音频编辑。我们将富文本描述（rich caption）视为音频片段的语义表征，从而将音频编辑重新公式化为富文本描述重写任务。用户的请求被转化为修改后的文本描述，然后引导 Bagpiper Edit 以原始音频作为上下文声学锚点，生成目标修改音频。这释放了自由形式编辑的潜力，规避了对配对音频编辑训练数据的需求，赋能了强大的零样本编辑能力。在语音、音频和自由形式编辑方面的评估表明，Bagpiper Edit 保持了与原始音频的良好一致性，并且在大多数情况下达到了与其他专家模型相似的性能。 论文链接：https://arxiv.org/abs/2606.21227 Libretto：赋予大语言模型智能体音乐结构感 概述：生成式音乐系统现在可以根据文本提示产出令人惊叹的音频，但音频输出很难作为音乐结构进行检查、编辑和诊断。我们推出了 Libretto，一个面向智能体（LLM Agents）的符号音乐生成与修改框架。Libretto 使用了一种具有明确起始位置槽（onset slots）、声部（voices）和小节级组织的语言模型原生语法，然后在基于语料库校准的统计空间中，从节奏、和声、旋律、织体（texture）、曲式（form）和变奏六个维度对每首作品进行评估。相同的结构轴支持检索、诊断、复制风险控制以及迭代式自我修正。在填空（gap filling）、参考引导的全曲生成、渐变融合（gradual morphing）以及教育音乐生成等任务中，Libretto 将符号音乐从原始的标记序列转变为语言模型智能体可测量、可编辑的对象。 论文链接：https://arxiv.org/abs/2606.22708 DTT BSR+：用于音乐音源修复的生成 回归级联网络 概述：音乐音源修复（MSR）需要同时解决声源分轨（source unmixing）和反转非线性制作效应的问题。当前的方法难以在保持语义一致性的同时实现准确的目标信号重建。为了解决这一局限性，我们提出了 DTT BSR+，这是一个两阶段级联 MSR系统，它将分布拟合（distribution fitting）与信号重建解耦到不同的阶段。第一阶段的生成式 DTT BSR 分离器产生符合干净声源先验的分轨（stems），第二阶段经修改的 Demucs 网络利用时域和多分辨率谱损失增强第一阶段的输出。在所有分轨上，DTT BSR+ 的多梅尔信噪比（MMSNR）比单阶段 DTT BSR 都有所提高，并在五个分轨上超越了最先进的 X LANCE MSR 系统。我们还通过 Fréchet 音频距离（FAD）分解揭示了不同分轨在信号重建准确性与语义分布拟合之间存在隐式权衡。 论文链接：https://arxiv.org/abs/2606.24127 使用指令微调与反馈驱动对齐实现音乐大语言模型与情感的对齐 概述：本文探讨了是否可以对音乐大语言模型（MusicLLMs）进行情感回归（emotion regression）对齐。虽然 MusicLLMs 在音乐信息检索任务中表现强劲，但它们预测唤醒度（arousal）和效价（valence）分数的能力仍然有限，因为情感回归尚未成为一个显式的训练目标。为了检验 MusicLLMs 是否能与情感对齐，我们在情感回归上训练了 MusicLLMs，并比较了两种策略：指令微调和反馈驱动对齐。我们的实验表明，任务感知的指令微调在一定程度上使 MusicLLMs 能够预测情感水平，尽管准确率仍然有限。与仅使用指令微调相比，应用带有可验证数值奖励的反馈驱动对齐，能够显著提高模型在唤醒度和效价上的预测性能。我们进一步表明，我们的方法在提高情感回归性能的同时，保持了音乐问答（MusicQA）的能力。 论文链接：https://arxiv.org/abs/2606.24123 基于无数据流式一致性蒸馏的实时交互式音乐生成 概述：交互式音乐和现场表演依赖于实时的人类表达，但现代生成式音乐 AI 由于其过高的推理延迟和离线渲染范式，在这一领域基本缺席。为了给先锋音乐家提供一种全新的交互式创作媒介，我们需要从根本上将这些静态模型转变为动态的、可演奏的乐器。在本文中，我们提出了一个弥合这一差距的框架。为了在不牺牲结构连贯性的情况下实现现场交互所需的低延迟，我们在流式自回归隐空间（streaming autoregressive latent space）内制定了蒸馏方案。我们的方法通过利用纯提示词输入实时合成教师引导的分块（chunk wise）轨迹，从而摆脱了对昂贵的配对音频 隐变量数据集的需求。由于现场乐器需要高声学保真度，我们引入了音乐感知一致性目标（结合了隐空间损失、频谱损失和时域差分损失），以在加速的单步流式生成过程中保留音色、瞬态和节奏稳定性等关键品质。通过参数高效自适应实现，我们的蒸馏减少了生成步数，从而实现了极低的实时率（real time factor）。至关重要的是，通过作为连续的自回归流运行，系统可以实时无缝地吸收动态的人类输入，允许用户在不中断音频流的情况下瞬间控制音乐走向。最终，这项工作将生成式“文本转音乐”模型重新定义为具有即时响应能力的乐器，而不是被动的“输入提示词并等待”的系统，为人类与 AI 的现场音乐共创开辟了新的前沿。 论文链接：https://arxiv.org/abs/2606.24307 像评委一样倾听：一种用于自动歌唱表演评价的音乐感知框架 概述：自动歌唱质量评估（SQA）需要在处理表现力变化的同时，评估歌词准确性和音乐保真度。然而，现有的系统主要要么完全依赖声学线索，要么完全依赖歌词转录，这限制了全面的性能评估。此外，由于在花腔（melisma）、颤音（vibrato）和节奏弹性（tempo elasticity）的影响下进行强健的歌声转录具有挑战性，将两者集成绝非易事。为此，我们提出了 MusicJudge，这是一个模态引导的自动化 SQA 框架，它通过将歌词正确性与音高 节奏保真度相结合，来进行块对齐的多模态分析。它利用集成了语义嵌入、词汇相似度和语音对齐的多信号匹配来检测具有语义意义的歌词块。为了提高歌声录音的转录质量，我们引入了用于自动语音识别（ASR）微调的模态引导 LoRA（Modality Guided LoRA）。在多个数据集上的实验表明，MusicJudge 与人类专家的评判高度一致，并验证了其泛化能力。 论文链接：https://arxiv.org/abs/2606.26451 参考资料 https://www.musicbusinessworldwide.com/sunos latest legal op