AI音乐周刊 W.A 031

AI音乐周刊 W.A 031 AI音乐周刊 W.A 031 Modified June 8 6 月 3 日，AI 音乐创作平台 Mozart AI 宣布推出全新重磅功能 Personas（音色角色） 并开启限量早期内测。该功能旨在帮助创作者捕捉、定制并沉淀专属的“声音身份（Sound Identity）”。 核心功能与玩法 • 声音训练与迁移： 用户可以使用自己拥有版权的任何音频（如个人的人声音色、想要采样的老歌片段、甚至喜爱的古典乐）来训练专属的 Persona，并将其一键完美应用到后续的任何全新创作中。 • 艺术家生态共享： 平台支持用户浏览并调用其他艺术家公开分享的 Personas 音色模型，直接将其作为自己新歌创作的灵感起点。 • 双模深度整合： 完美兼容 Vibe 和 Studio 两种创作模式，无论创作者是想快速成型还是进行精细化的后期微调，都能轻松驾驭。 目前，该功能可通过 Discord 私信（DM）方式定向招募早期内测用户，重点测试跨流派音色生成与人声克隆的还原度。成功参与内测的非付费用户，还将免费获得为期 1 个月的 Creator 计划体验权益。 工具：https://mozartai.com/app/home 延迟低于200ms！Magenta RealTime 2：将 AI 变成现场演奏乐器 （视频演示见原文） 6 月 4 日，Google DeepMind 团队正式发布全新开源实时大模型 Magenta RealTime 2 (MRT2)。该模型主打“AI 即真实乐器”的即时掌控，通过端到端低于 200毫秒 的超低延迟，完美支持在苹果 M 系列芯片设备上实现完全本地离线的流式生成。 相比初代，MRT2 的控制延迟缩短了近 15 倍。模型引入帧级自回归架构，不仅支持传统的文本与音频提示，还首次深度集成了 实时 MIDI 信号控制。创作者可通过键盘弹奏实时引导整个乐团的伴奏走势（MIDI Steering），或通过纯文本一键生成定制合成器（Text to Synth）、导入音频切片进行声音克隆（Audio Cloning），甚至能在不同流派提示词之间进行平滑混音（Prompt Mixing）来探索全新风格。 官方此次直接开源了 24 亿及 2.3 亿参数的双版本模型权重，并发布了基于苹果 MLX 框架深度优化的 C++ 推理引擎（支持 pip 安装）。在应用生态上，团队同步推出了 Jam（即兴预设）、Collider（2D概念碰撞）等独立软件、可直接嵌入 DAW 的专属 AU 插件，以及面向 Max/MSP、PureData 和 SuperCollider 的底层扩展包，全方位赋能现代音乐人的现场演出与人机协同编曲。 详情：https://magenta.withgoogle.com/magenta realtime 2 下载：https://magenta.withgoogle.com/mrt2 AI 音频编辑迎来硬核大考！腾讯携手国内外高校发布首个多任务评测基准 MMAE （视频演示见原文） 6 月 8 日，腾讯混元团队联合上海交通大学、上海创新研究院等多家国内外顶尖科研机构及团队，共同推出了全球首个全场景、多任务的通用指令式音频编辑评测基准——MMAE。这标志着 AI 音频领域正式从传统的“端到端生成”迈向精细化的“交互式智能编辑”。 不同于以往局限于特定领域的碎片化评测，MMAE 针对现实世界中的复杂创作需求构建了全面的评测矩阵： • 多模态全覆盖： 包含人声（Speech）、音乐（Music）、音效（Sound）及其混合音频等 7 种不同的音频模态。 • 高维度复杂度： 划分出从基础局部修改到多跳推理、多轮交互编辑等 6 大复杂度层级。 • 精细化操作： 涵盖局部与全局等 8 种不同颗粒度的操作类型。 • 严苛的评测框架： 通过人机协作精选出 2000 个高保真样本，并首创基于细则（Rubric）的评估框架，将自由文本指令拆解为 17741 个可验证的微观标准。 对当前行业顶尖模型的广泛评测结果显示，AI 在音频精准编辑上的表现令人堪忧。现有系统的完全匹配率（EMR）普遍低于 5%，而在面对复杂的混合模态任务时，匹配率更是直接跌至 0%。MMAE 的推出，直击当前模型在精准执行和结构鲁棒性上的核心痛点，为下一代智能音频创作系统的演进提供了清晰的诊断路线图。 论文：https://arxiv.org/abs/2606.07229 Github：https://github.com/ddlBoJack/MMAE 2026年开源AI音乐生成模型深度评测及技术演进 这篇文章是 IT JIM 团队在2026年对8款开源 AI 音乐生成模型进行的深度评测，主要探讨它们是否能成为商业巨头 Suno 的完美替代品。 作者通过实际测试指出，目前开源领域尚无能够完全对标 Suno 的单一赢家。文章重点分析了几款核心模型，其中的三款核心极点代表： • LeVo 2：表现出了最佳的自然音频质量，但受限于腾讯的非商业许可，无法用于生产环境。 • ACE Step 1.5：虽然带有轻微的金属音瑕疵，但凭借宽松的协议和丰富的编辑模式，成为模型微调和二次开发的首选。 • Khala：作为架构上的“异类”，采用了无语义层的纯声学特殊架构，展现了不同寻常的研究潜力。 总结而言，受限于合规的训练数据和高昂的算力成本，开源模型整体仍落后于商业系统。但它们的核心价值在于为开发者提供了私有数据微调、离线运行和构建定制化插件的极大自由度，这些都是封闭的商业 API 所无法提供的。 完整文章：https://www.it jim.com/blog/best open source ai music generator/ 论文 🌈 以下是 6.2—6.8 期间发布的相关论文，已整理翻译 一种用于多乐器多音高估计的轻量化槽注意力框架 概述：多音高估计（MPE）通常只预测混合音频中激活的音高，而无法预测是由哪种乐器或声源产生的。本文研究了一种用于多乐器多音高估计（MI MPE）的轻量化槽注意力（slot attention）框架，其中混合音频的常 Q 变换（CQT）被映射到一组无序的、类似于声源的音高图上。该模型使用置换不变的匈牙利匹配（Hungarian matching）以避免固定的输出语义，并将槽（slots）的数量作为激活声源数量的上限。我们进一步研究了两种模块化扩展：一种是自监督音色编码器，用于在训练时为槽级音色嵌入提供目标；另一种是复音（polyphony）分支，用于对混合级和槽级预测的音高密度进行正则化。实验表明，匈牙利匹配显著改善了 URMP 数据集上的乐器族分解。分轨（Stem）级别的预测仍然更具挑战性：音色和复音监督虽改善了特定的配置，但未能一致性地解决声源分配问题。结果表明，基于槽的架构是声源感知 MPE 的一个有前景的方向，同时也强调了需要更仔细地将辅助音乐线索与槽的身份进行耦合。 论文链接：https://arxiv.org/abs/2606.01460 UniVocal：统一的语音 歌唱代码切换合成框架 概述：我们提出了 UniVocal，这是一个统一的框架，能够隐式地从文本上下文中推断出歌声/语音模态（vocal modes），从而开创了语音 歌唱代码切换（SCS）合成任务。在该任务中，模态的转换由文本语义自主驱动，类似于人类语言的无缝融合。与单模态生成或依赖切换控制标签的系统不同，我们提出的 UniVocal 仅凭文本上下文即可隐式推断出歌声模态。为此，我们采用了一种数据高效的两阶段课程学习策略，逐步训练一个竞争力强的 TTS（文本转语音）系统来获得所需的 SCS 能力。针对数据稀缺问题，我们引入了一个可扩展的流水线，用于合成在语义和声学上都足够自然的、多样化的代码切换数据，并推出了一个新的多场景基准测试 SCSBench。为了解决语义标记器（semantic tokenizers）在捕捉声学细节方面的局限性，我们还引入了精细的音分标记（cent token）和思维链（CoT）生成，在内容生成之前规划韵律，从而有效增强了共情语音的生成和歌唱旋律。实验结果表明，UniVocal 在 SCSBench 上达到了最先进的性能，同时在常规语音和歌唱任务中也保持了极具竞争力的表现。 论文链接：https://arxiv.org/abs/2606.01677 HAIM：用于 AI 音乐制作追踪基准测试的人类 AI 混合音乐数据集 概述：随着 Suno 和 Udio 等生成式平台达到人类级别的音频质量，AI 的应用范围已扩展到整个音乐制作工作流。除了简单的整轨生成，这些进展还催化了各种形式 AI 驱动方法的应用，包括人声合成、编曲和专业母带处理。然而，目前的检测研究仍很大程度上局限于“非 AI 即人类”的二元分类范式，未能反映当代音乐制作工作流的现实情况。在现实世界的制作中，AI 工具越来越多地被用于精修或母带处理人类制作的轨道，人类工程师同样会对 AI 生成的素材进行后期处理以确保专业品质。此外，用户经常采用对抗性策略来绕过 AI 检测器（例如对 AI 生成的轨道应用人类母带处理），这创造了一个简单的二元分类无法捕捉的灰色地带。在本文中，我们定义并研究了“AI 音乐追踪（AI Music Tracking）”：即在多维度的音乐制作光谱中识别特定 AI 介入的挑战。为此，我们推出了 HAIM，这是一个针对音乐制作不同阶段带有丰富标签的数据集。它旨在隔离 AI 干预的各个阶段，包括混合制作和智能体（agent）级别的追踪。我们对最先进的检测器的评估揭示了系统性的缺陷。通过发布 HAIM，我们提出了一个新的基准，推动该领域跨越二元分类，向精细化、结构化的 AI 音乐评估迈进。 论文链接：https://arxiv.org/abs/2606.01686 JenBridge：跨场景转换的自适应长视频配乐框架 概述：我们解决了在跨场景转换时保持连贯性的高保真长视频配乐生成的挑战。现有的 AI 音乐系统主要针对简短、孤立的视频片段设计，缺乏确保叙事连续性的机制。我们推出了 JenBridge，这是一个用于自适应长视频配乐的模块化且可解释的框架，可同时确保高保真音频生成和场景转换的自然度。核心架构是一个基于 Transformer 的生成模型，采用流匹配（flow matching）目标进行训练，遵循两阶段范式：首先在大大规模文本 音频语料库上进行预训练以建立稳健的音乐先验，然后通过文本 视觉双重条件控制使模型适应视频领域，实现精准的跨模态对齐。至关重要的是，为了在多样的场景切换中实现长格式连贯性，JenBridge 引入了一种新颖的自适应转换机制。该系统配备了一个包含多种转换风格的通用工具包（包括一种生成式转换方法），并独特地采用了一个大语言模型（LLM）智能体来扮演“导演”角色，智能地为每一次叙事转换选择最合适的过渡方式。为了严格评估这一任务，我们提出了 LVS Benchmark，这是一个包含精选数据集和聚焦于整体及转换感知评估的全新基准测试。在提出的基准上进行的大量实验表明，JenBridge 在客观和主观指标上均显著优于现有方法，特别是在转换自然度和整体叙事连贯性方面。 论文链接：https://arxiv.org/abs/2606.01703 MOSS Audio 技术报告 概述：MOSS Audio 是一个用于语音、环境音和音乐理解的统一音频 语言模型，支持音频字幕生成、时间感知问答、带时间戳转录以及基于音频的推理。MOSS Audio 将专用音频编码器与模态适配器及大语言模型相结合：编码器产生 12.5 Hz 的时间表示，适配器将其投影到解码器空间，解码器则自回归地生成文本输出。系统的核心设计包含两个关键选择：DeepStack 跨层特征注入（使解码器能够接触到来自不同编码器深度的声学信息）以及时间标记（time markers）（通过在音频标记流中插入时间戳标记来提供显式的时间线索）。在数据层面，我们设计了一个保持事件完整性的音频标注流水线，在连贯的事件边界处对原始音频进行分割，对语音、音乐和通用音频进行特定分支的标注，并将结果合并为用于预训练的统一字幕。中间的特定分支字幕也被保留下来，以支持构建面向任务的 SFT（监督微调）数据。该模型在大规模音频 语言数据上进行预训练，并融入了时间感知目标以支持时间定位，随后进行多阶段后训练以增强指令遵循和基于音频的推理能力。我们发布了 4B 和 8B 参数变体，均包含 Instruct（指令）和 Thinking（思考）配置。MOSS Audio 在通用音频理解、语音字幕、ASR（自动语音识别）和带时间戳的 ASR 方面取得了强劲的表现，使其有望成为未来语音智能体的有力理解基座。 论文链接：https://arxiv.org/abs/2606.01802 SegTune：用于歌曲生成的结构化与精细化控制框架 概述：近期在神经歌曲生成方面的进展已经能够根据歌词和全局文本提示实现高质量的合成。然而，大多数系统无法对歌曲随时间变化的属性进行建模，这严重限制了对音乐结构和动态的精细控制。为了解决这个问题，我们提出了 SegTune，这是一个基于扩散 Transformer（Diffusion Transformer）的框架，通过允许用户或大语言模型（LLM）指定与歌曲片段对齐的局部音乐描述，来实现结构化和精细的可控性。这些片段提示词在时间上被广播到相应的窗口，而全局提示词则确保了风格的连贯性。为了支持精确的歌词到音乐对齐，我们引入了一个基于 LLM 的时长预测器，它以 LyRiCs 格式自回归地生成句子级的时间戳。我们进一步构建了一个大规模的数据流水线，用于收集带有对齐歌词和提示词的高质量歌曲，并提出了评估片段对齐度和人声一致性的新指标。实验表明，SegTune 在音乐性和可控性方面均优于现有的基线模型。 论文链接：https://arxiv.org/abs/2606.02638 SketchSong：基于草图规划与精细多轨建模的分层歌曲生成框架 概述：近期的歌曲生成系统可以合成逼真的音频，但生成完整的歌曲仍面临两个挑战。首先，现有方法在歌曲级别的编曲规划上非常有限，导致模型在生成底层音频细节的同时，还需要兼顾整体的编曲设计。这往往会导致编曲不连贯，例如段落过渡生硬和动态推进有限。其次，对不同音乐部分的粗粒度建模模糊了它们各自的角色和相互作用，限制了生成歌曲的编曲丰富度。在本文中，我们提出了 SketchSong，这是一个分层的歌曲生成框架，通过歌曲级的草图规划（sketch planning）和精细的多轨建模来解决这些问题。在时间维度上，SketchSong 首先从压缩的音频表示中预测出一序列紧凑的高层草图标记（sketch tokens），然后以此为条件生成音频标记。这种由粗到精的过程使模型在进行详细的音频生成之前，拥有了一个明确的编曲计划。在音轨维度上，SketchSong 显式地对四个音轨进行建模，即人声、贝斯、鼓点和其他乐器。这使模型能够更精确地捕捉不同音乐部分的职责和相互作用。在歌曲生成基准上的实验表明，SketchSong 在客观指标和人类听力测试中都始终优于我们的基线。尽管没有采用额外的后训练来做偏好优化（如歌词和文本提示对齐），SketchSong 依然在与强大的、经过后训练的开源系统的对比中取得了颇具竞争力的结果，证明了我们整体设计的有效性。 论文链接：https://arxiv.org/abs/2606.03169 Foley Omni：从任务级音频合成到完整视频配乐生成的统一多模态生成模型 概述：近期的统一音频 generation 模型可以支持横跨语音、音效和音乐的多样化任务，但它们大多数仍聚焦于孤立的任务级合成。然而，现实中的视频制作通常需要在一个共享的潜在生成过程中，为同一段视频联合且连贯地生成完整音频轨道的多个组件。我们推出了 Foley Omni，这是一个统一的多模态音频生成模型。它通过在共享的潜在生成过程中对语音、音效和音乐进行联合建模，将孤立的任务级合成扩展到了完整的视频配乐生成。为了支持训练和可复现的评估，我们开发了一个音视频数据策划流水线，并推出了 V2ST Bench，这是一个用于全面评估视频配乐生成的基准测试。实验表明，Foley Omni 在单个合成任务上取得了与专家系统相当的竞争性能，同时提高了混合配乐生成中的语音可懂度、音视频一致性和感知质量。 论文链接：https://arxiv.org/abs/2606.03672 LiveBand：音频领域中的现场实时伴奏生成系统 概述：我们推出了 LiveBand，这是一个实时系统，能够在遵守严格因果约束的前提下，针对现场输入的音频生成高保真的音乐伴奏。我们的方法在一个预训练的因果音频自编码器的连续潜在空间中训练了一个因果 Transformer 生成器，并使用来自判别器的对抗性序列级监督。在每个时间步，生成器仅接收因果可用的混音上下文和高斯噪声，并在无法访问未来混音帧或真实目标潜在表示的情况下，预测伴奏的潜在表示。训练是在因果掩码下通过单次并行前向传播完成的，而流式推理则随着滚动的注意力状态自回归地进行。该模型的训练和推理计算在设计上是匹配的，从而消除了教师迫导（teacher forcing）和相关的曝光偏差（exposure bias）。在多乐器音乐伴奏基准测试中，LiveBand 在音频质量、节拍对齐和混音契合度等客观指标上均优于前人工作，同时能够在消费级硬件上实现无需预见未来的实时流式生成。 论文链接：https://arxiv.org/abs/2606.03803 UniVoice：语音与歌声生成的统一模型 概述：文本转语音（TTS）和歌声合成（SVS）都旨在从符号输入中生成人类歌声/语音音频，但它们对生成过程提出了不同的要求。语音生成依赖于灵活的、语言驱动的韵律，而歌声生成则需要显式的旋律控制和准确的节奏对齐。这种不匹配使得训练一个既能生成自然语音又能生成可控歌声的单一模型变得极具挑战性，因为与旋律相关的条件应该强烈约束歌声，但不应限制语音的韵律。我们推出了 UniVoice，这是一个基于条件流匹配（conditional flow matching）的统一语音与歌声生成框架。UniVoice 没有使用单一且无分化的条件表示，而是将条件分解为内容、旋律和音色，它们由各自契合的编码器进行编码，并由共享的扩散 Transformer（DiT）主干网络消费。对于唱歌，旋律条件由 MIDI 音符序列表示；对于语音，它被替换为一个学到的“空旋律标记（null melody token）”，允许模型从语言和声学上下文中推断韵律。这种设计为歌声保留了显式的旋律控制，同时避免了对语音强加旋律约束。我们进一步将空旋律标记分析为条件流中旋律边缘化（melody marginalization）的一种近似。该模型在 3 万小时的语音和 3.5 万小时的歌唱数据上进行了训练。UniVoice 实现了 5.26% 的语音音素错误率（PER），与 F5 TTS (5.21%) 和 CosyVoice3 (5.30%) 等专用 TTS 系统相当。在歌声生成上，UniVoice 实现了 16.22% 的 PER，显著优于统一基线模型 Vevo1.5 (24.72%)。 论文链接：https://arxiv.org/abs/2606.05852 FIGMA：迈向精细化音乐检索 概述：利用自然语言描述检索音乐已通过对比音频 文本模型（如 CLAP）得到了提升，但目前的系统仍局限于粗粒度的语义查询。当描述指定了诸如速度、调性、和弦进行或节奏结构等精细的音乐属性时，现有模型往往无法检索到正确的音频。我们表明，这种局限性源于对比学习目标本身：尽管在长文本字幕上进行了训练，但基于 CLAP 的模型实际上仅利用了前几个标记（tokens），丢弃了详细提示词中编码的大部分信息。随后，我们提出了 FIGMA（精细化音乐检索），这是一种多视角对比架构，通过联合优化全局音频 文本对齐以及帧级、标记级的对齐来解决这一局限。这种设计使 FIGMA 能够在统一的表示空间内同时捕捉高层语义上下文和精细的音乐属性。此外，我们正式确立了“精细化音乐检索”这一任务，并构建了精细化音乐字幕数据集（FGMCaps）——这是一个包含 38 万个“音乐 字幕”对的大规模训练数据集以及一个 1 万条的测试集，两者均标注了速度、调性、和弦进行、节拍数以及流派和情绪。广泛的实验表明，FIGMA 在多个音乐检索基准测试（包括域外评估）中始终优于现有的基于 CLAP 的音乐检索模型，相对提升幅度最高达 73.3%。 论文链接：https://arxiv.org/abs/2606.06615 迈向带伴奏协同生成的统一歌曲生成与歌声转换框架 概述：尽管歌曲生成和歌声转换（SVC）已经取得了显着进展，但它们长期以来一直是孤立发展的：前者缺乏零样本（zero shot）说话人克隆，而后者则忽视了人声与伴奏的协同效应。为了弥合这一差距，我们提出了 UniSinger，这是首个将零样本说话人克隆歌曲生成与伴奏协同生成 SVC 相统一的端到端框架。基于多模态扩散 Transformer，我们构建了一个统一的说话人嵌入空间，将说话人表示从 SVC 迁移到歌曲生成中，从而赋予了精细的跨任务音色控制能力。为了缓解多任务优化的冲突，我们设计了一种课程学习策略，利用特定任务的模态掩码（modality masking）来引导模型逐步掌握语义内容、人声音色和伴奏之间的生成机制。实验表明，该模型在两项任务上均达到了最先进的性能，并实现了互补效益，为智能音乐制作提供了全新的可能性。 论文链接：https://arxiv.org/abs/2606.07015 Audio Oscar：用于复杂音频场景生成、编排与精修的多智能体系统 概述：近年来，音频生成在文本转语音（TTS）、文本转音频（TTA）和文本转音乐（TTM）等任务中取得了显着进展。然而，从复杂的音频场景描述中生成长格式且可控的音频仍是一项重大挑战，因为此类场景通常需要协同语音、音效、音乐、歌曲、时间结构以及后期制作。在这项工作中，我们推出了 Audio Oscar，这是一个用于从复杂描述中生成音频的多智能体（multi agent）框架。Audio Oscar 协同了一组专业智能体，每个智能体负责音频场景的不同方面，包括角色建模与声音设计、语音生成、精细时间线规划、模型选择、非语音（音效）生成以及音频后期制作。Audio Oscar 还进一步融入了反馈驱动的精修机制。此外，为了解决缺乏合适基准来评估从复杂音频场景描述生成音频的问题，我们构建了 ASG Bench（音频场景生成基准测试），其中包含配有参考音频的场景描述以及纯文本场景描述。每个场景都标注了目标音频事件和时间陈述，以评估生成的音频是否忠实地实现了所需的场景内容和时间结构。实验结果表明，Audio Oscar 能够有效生成与复杂场景描述相匹配的音频。 论文链接：https://arxiv.org/abs/2606.07397 参考资料 https://mp.weixin.qq.com/s/XJLoB843gUHsQYboq u3yQ https://x.com/Ableton/status/2061802204852310295?s=20 https://x.com/suno/status/2062183524887675243?s=20 https://suno.com/blog/series d announcement https://discord.com/channels/1389715564410441831/1390054759762890782/1511745298953666793 https://x.com/GoogleMagenta/status/2062589313372594538?s=20 https://x.com/TencentHunyuan/status/2063862263434613237?s=20 6 月 3 日，AI 音乐创作平台 Mozart AI 宣布推出全新重磅功能 Personas（音色角色） 并开启限量早期内测。该功能旨在帮助创作者捕捉、定制并沉淀专属的“声音身份（Sound Identity）”。 核心功能与玩法 • 声音训练与迁移： 用户可以使用自己拥有版权的任何音频（如个人的人声音色、想要采样的老歌片段、甚至喜爱的古典乐）来训练专属的 Persona，并将其一键完美应用到后续的任何全新创作中。 • 艺术家生态共享： 平台支持用户浏览并调用其他艺术家公开分享的 Personas 音色模型，直接将其作为自己新歌创作的灵感起点。 • 双模深度整合： 完美兼容 Vibe 和 Studio 两种创作模式，无论创作者是想快速成型还是进行精细化的后期微调，都能轻松驾驭。 目前，该功能可通过 Discord 私信（DM）方式定向招募早期内测用户，重点测试跨流派音色生成与人声克隆的还原度。成功参与内测的非付费用户，还将免费获得为期 1 个月的 Creator 计划体验权益。 工具：https://mozartai.com/app/home 延迟低于200ms！Magenta RealTime 2：将 AI 变成现场演奏乐器 （视频演示见原文） 6 月 4 日，Google DeepMind 团队正式发布全新开源实时大模型 Magenta RealTime 2 (MRT2)。该模型主打“AI 即真实乐器”的即时掌控，通过端到端低于 200毫秒 的超低延迟，完美支持在苹果 M 系列芯片设备上实现完全本地离线的流式生成。 相比初代，MRT2 的控制延迟缩短了近 15 倍。模型引入帧级自回归架构，不仅支持传统的文本与音频提示，还首次深度集成了 实时 MIDI 信号控制。创作者可通过键盘弹奏实时引导整个乐团的伴奏走势（MIDI Steering），或通过纯文本一键生成定制合成器（Text to Synth）、导入音频切片进行声音克隆（Audio Cloning），甚至能在不同流派提示词之间进行平滑混音（Prompt Mixing）来探索全新风格。 官方此次直接开源了 24 亿及 2.3 亿参数的双版本模型权重，并发布了基于苹果 MLX 框架深度优化的 C++ 推理引擎（支持 pip 安装）。在应用生态上，团队同步推出了 Jam（即兴预设）、Collider（2D概念碰撞）等独立软件、可直接嵌入 DAW 的专属 AU 插件，以及面向 Max/MSP、PureData 和 SuperCollider 的底层扩展包，全方位赋能现代音乐人的现场演出与人机协同编曲。 详情：https://magenta.withgoogle.com/magenta realtime 2 下载：https://magenta.withgoogle.com/mrt2 AI 音频编辑迎来硬核大考！腾讯携手国内外高校发布首个多任务评测基准 MMAE （视频演示见原文） 6 月 8 日，腾讯混元团队联合上海交通大学、上海创新研究院等多家国内外顶尖科研机构及团队，共同推出了全球首个全场景、多任务的通用指令式音频编辑评测基准——MMAE。这标志着 AI 音频领域正式从传统的“端到端生成”迈向精细化的“交互式智能编辑”。 不同于以往局限于特定领域的碎片化评测，MMAE 针对现实世界中的复杂创作需求构建了全面的评测矩阵： • 多模态全覆盖： 包含人声（Speech）、音乐（Music）、音效（Sound）及其混合音频等 7 种不同的音频模态。 • 高维度复杂度： 划分出从基础局部修改到多跳推理、多轮交互编辑等 6 大复杂度层级。 • 精细化操作： 涵盖局部与全局等 8 种不同颗粒度的操作类型。 • 严苛的评测框架： 通过人机协作精选出 2000 个高保真样本，并首创基于细则（Rubric）的评估框架，将自由文本指令拆解为 17741 个可验证的微观标准。 对当前行业顶尖模型的广泛评测结果显示，AI 在音频精准编辑上的表现令人堪忧。现有系统的完全匹配率（EMR）普遍低于 5%，而在面对复杂的混合模态任务时，匹配率更是直接跌至 0%。MMAE 的推出，直击当前模型在精准执行和结构鲁棒性上的核心痛点，为下一代智能音频创作系统的演进提供了清晰的诊断路线图。 论文：https://arxiv.org/abs/2606.07229 Github：https://github.com/ddlBoJack/MMAE 2026年开源AI音乐生成模型深度评测及技术演进 这篇文章是 IT JIM 团队在2026年对8款开源 AI 音乐生成模型进行的深度评测，主要探讨它们是否能成为商业巨头 Suno 的完美替代品。 作者通过实