AI音乐周刊 W.A 006

AI音乐周刊 W.A 006 AI音乐周刊 W.A 006 Modified December 15, 2025 ElevenLabs于2025年12月11日宣布与Meta合作，旨在将AI音频技术嵌入Meta的生态系统，包括Instagram、Horizon Worlds和更多平台。 ElevenLabs的自然、多样化语音模型将为用户提供表达力强的音频工具，如为Reels自动生成本地语言配音、角色声音或背景音乐。 Forbes报道指出，这可能推动Meta的元宇宙音频创新，如实时语音转换。总体，这次合作标志着AI音频从 niche 工具向主流应用的跃进，潜在改变社交和娱乐方式，同时呼吁监管以防滥用。 迪士尼授权 OpenAI：推进音乐部门革新 12月12日，Hypebot报道了迪士尼与OpenAI的重大授权协议，这标志着娱乐巨头正式拥抱AI技术。协议涉及迪士尼投资10亿美元入股OpenAI，并获得额外股权认购权，旨在将OpenAI的生成模型如Sora集成到迪士尼的品牌内容中，包括电影、动画和音乐制作。 Hypebot强调，此举可能革新迪士尼的音乐部门，如为原声带生成AI辅助旋律或个性化用户体验。迪士尼官网公告确认，这是首个主要内容公司与OpenAI的深度合作，目标是提升创意效率，同时保护知识产权。 YouTube分析视频指出，此协议可能催生AI驱动的互动音乐，如在Disney+上根据用户偏好生成自定义配乐。该事件凸显AI的经济潜力，预计将激发更多媒体公司跟进。 潜伏太空探险者：显微镜下的音乐 No access 潜伏太空探险者 00:00 Github：https://github.com/lyramakesmusic/latent musicvis 潜伏太空探险者（Latent Space Explorer）是一款创新的开源应用，由音乐制作人Lyra Bubbles在2025年12月开发，仅用半天时间完成。它将音乐转化为三维声音结构，在潜空间中旋转可视化，由Stability AI的Stable Audio VAE驱动。用户加载WAV文件后，应用生成浮动3D物体，代表歌曲的内部结构：相似音色聚类在一起，彩色线条显示声音片段间的快速移动。点击任意潜点即可播放对应音频片段，提供交互式探索。 Lyria Camera：将你的相机变成乐器 No access Lyria Camera 00:00 体验链接：https://aistudio.google.com/apps/bundled/lyria camera?fullscreenApplet=true&showPreview=true&showAssistant=true Lyria Camera结合了强大的Gemini AI图像理解能力和Lyria RealTime技术，能够实时分析你眼前的画面——无论是忙碌的街景、宁静的咖啡馆，还是你的电脑屏幕——并立刻将其转化为一段连续、不间断且氛围感十足的背景音乐。 它的工作原理是：AI将视觉场景翻译成“钢琴、城市、平静”等音乐描述词，Lyria RealTime API则据此生成平滑过渡的实时乐曲。 这意味着，当你通勤时，Lyria Camera会根据窗外风景的变化，为你“DJ”出一段实时定制的配乐。它能捕捉万物中的旋律，让你的日常通勤、工作、甚至是一碗早餐，都拥有专属的背景音乐。 论文 基于扩散源先验的无监督单通道音频分离 论文：https://arxiv.org/abs/2512.07226 单声道音频分离旨在从单声道混合音频中分离出各个声源。大多数现有方法依赖于使用合成生成的配对数据的监督学习。然而，在实际场景中获取高质量的配对数据往往十分困难。这种数据稀缺性会降低模型在未知条件下的性能，并限制其泛化能力。为此，本文从无监督的角度出发，将该问题转化为概率逆问题。我们的方法仅需在单个声源上训练扩散先验。然后，通过迭代地引导初始状态，利用重构引导实现分离。重要的是，我们引入了一种专门针对分离问题设计的高级逆问题求解器，该求解器可以缓解逆向去噪过程中扩散先验和重构引导之间的干扰所导致的梯度冲突。这种设计确保了各个声源之间高质量且均衡的分离性能。此外，我们发现，使用增强混合噪声而非纯高斯噪声初始化去噪过程可以提供一个信息丰富的初始点，从而显著提高最终性能。为了进一步增强音频先验建模能力，我们设计了一种新颖的基于时频注意力机制的网络架构，该架构展现出强大的音频建模能力。这些改进共同带来了显著的性能提升，并在语音 声音事件、声音事件和语音分离任务中得到了验证。 谁将登上排行榜榜首？基于模态专家自适应融合和时间参与度建模的多模态音乐流行度预测 论文：https://arxiv.org/abs/2512.06259 在歌曲发行前预测其商业成功仍然是音乐产业一项开放且至关重要的研究挑战。对音乐流行度的早期预测能够为战略决策、创意规划和市场营销提供信息。现有方法存在四个局限性：(i) 音频和歌词中的时间动态被平均化；(ii) 歌词被表示为词袋模型，忽略了其构成结构和情感语义；(iii) 忽略了艺人和歌曲的历史表现；(iv) 多模态融合方法依赖于简单的特征拼接，导致共享表示的对齐度较差。为了克服这些局限性，我们提出了 GAMENet，一种用于音乐流行度预测的端到端多模态深度学习架构。GAMENet 通过自适应门控机制整合了音频、歌词和社交元数据等不同模态的专家信息。我们使用了来自 Music4AllOnion 的音频特征，这些特征通过 OnionEnsembleAENet 进行处理，OnionEnsembleAENet 是一个专为稳健特征提取而设计的自编码器网络；歌词嵌入则通过大型语言模型流水线获得；并新增了职业轨迹动态（CTD）特征，用于捕捉艺人多年的职业发展势头和歌曲层面的轨迹统计数据。使用之前已在音乐信息检索（MIR）任务中探索过但尚未用于流行度预测的 Music4All 数据集（11.3 万首歌曲），GAMENet 的 R²值比直接多模态特征拼接方法提高了 12%。仅使用 Spotify 音频描述符的 R²值为 0.13。整合聚合 CTD 特征后，R²值提升至 0.69，而时间 CTD 特征则进一步提升了 7%。我们使用 SpotGenTrack 流行度数据集（10 万首歌曲）进一步验证了模型的鲁棒性，结果比之前的基线模型提高了 16%。 广泛的消融实验证实了该模型的有效性以及每种模式的独特贡献。 基于多模态大基础模型的歌唱音色流行度评估 论文：https://arxiv.org/abs/2512.06999 自动歌唱评估对教育和娱乐至关重要。然而，现有系统面临两大根本局限：一是依赖参考曲目，扼杀了创作表达；二是将复杂的演唱简化为仅基于音高和节奏的非诊断性分数。我们倡导从判别式评估转向描述式评估，构建一个完整的无参考、多维度评估生态系统。首先，我们推出了 Sing MD，这是一个由专家从四个维度（呼吸控制、音色、情感表达和发声技巧）进行标注的大规模数据集。我们的分析揭示了专家标注之间存在显著的不一致性，挑战了传统基于准确率的评估方法的有效性。其次，针对多模态大型语言模型（MLLM）在分析完整歌曲时存在的内存限制，我们提出了 VocalVerse。这种高效的混合架构利用轻量级声学编码器来建模全局演唱特征和长期依赖关系。第三，为了解决自动化指标的不足，我们建立了 H TPR（人机交互分层感知排名）基准，该基准评估模型生成感知有效排名的能力，而不是预测有噪声的真实分数。 多口音普通话干声演唱数据集：演唱口音识别基准 论文：https://arxiv.org/abs/2512.07005 与语音口音研究相比，歌唱口音研究尚不充分，主要原因是缺乏合适的数据集。现有的歌唱数据集常常存在细节损失，这通常是由于人声与乐器分离过程造成的。此外，它们通常缺乏地域口音标注。为了解决这个问题，我们推出了多口音普通话干声歌唱数据集（MADVSD）。MADVSD 包含来自中国九个不同地区的 4206 位普通话母语者的超过 670 小时的干声录音。除了每位参与者用其母语口音录制三首流行歌曲的音频外，他们还录制了涵盖所有普通话元音和完整八度音域的语音练习。我们通过歌唱口音识别的基准实验验证了 MADVSD，证明了其在歌唱语境下评估最先进语音模型的有效性。此外，我们还利用 MADVSD 独特的语音练习，探索了方言对歌唱口音的影响，并分析了元音在口音变化中的作用。 将结构和和弦约束融入基于符号变换器的旋律和声中 论文：https://arxiv.org/abs/2512.07627 Transformer 架构在生成符号音乐方面具有显著优势；其将用户偏好融入生成内容的能力正受到多方面的研究。本文研究了在旋律和声中引入预定义和弦约束的方法，即在特定位置提供所需和弦以及旋律作为输入，自回归 Transformer 模型需要将该和弦融入其生成的和声中。本文讨论了引入此类约束的特殊性，并提出了一种解决此问题的算法。该算法称为 B ，它结合了束搜索和 A 算法以及回溯算法的优点，以强制预训练的 Transformer 模型在正确的小节内的正确起始位置满足和弦约束。该算法属于暴力搜索算法，最坏情况下具有指数级复杂度；然而，本文首次尝试突出该问题的难点，并提出了一种具有改进潜力的算法，因为它允许引入启发式方法。 情感向量：评估爵士即兴演奏中的情感内容以评价创造力 论文：https://arxiv.org/abs/2512.08812 音乐即兴演奏极具研究价值，它本质上是对创作过程的现场演示。在爵士乐中，乐手们常常在预先设定的和弦进行（乐谱）上进行即兴演奏。我们该如何评估爵士即兴演奏的创造性？我们能否利用现有的基于逻辑逻辑模型（LLM）的生成系统，通过自动化指标来捕捉这种创造性？情感投入与即兴演奏的创造性密切相关。通过分析音乐音频，我们能否检测到其中的情感投入？本研究假设，如果一段即兴演奏包含更多情感内容，则更有可能被认定为具有创造性。本文提出了一种基于嵌入的方法来捕捉音乐即兴演奏中的情感内容，该方法利用了与情感相关的音乐特征的心理学分类。通过分析得到的“情感向量”，并比较多个即兴演奏，验证了上述假设。以这种可量化的方式捕捉情感内容，有助于构建可大规模应用的新型创造性评估指标。 MR FlowDPO：用于流匹配文本到音乐生成的多奖励直接偏好优化 论文：https://arxiv.org/abs/2512.10264 Github：https://github.com/lonzi/mrflow dpo 演示：https://lonzi.github.io/mr flowdpo demopage/ 音乐生成模型面临的一个关键挑战是它们与人类偏好缺乏直接关联，因为音乐评价本质上是主观的，并且因人而异。我们提出了一种名为 MR FlowDPO 的新方法，它利用直接偏好优化 (DPO) 和多种音乐奖励来增强基于流匹配的音乐生成模型——这是现代音乐生成模型的一个主要类别。这些奖励旨在从三个关键维度评估音乐质量：文本对齐、音频制作质量和语义一致性，并针对每个奖励预测使用可扩展的现成模型。我们以两种方式应用这些奖励：(i) 构建用于 DPO 的偏好数据；(ii) 将奖励整合到文本提示中。为了解决音乐性评价中的歧义，我们提出了一种利用语义自监督表示的新型评分机制，该机制显著提高了生成音乐的节奏稳定性。我们使用各种音乐特定的客观指标以及一项人类研究进行了广泛的评估。结果表明，MR FlowDPO 显著提升了音乐生成的整体质量，并且在音频质量、文本对齐和音乐性方面始终优于极具竞争力的基线方法。 PhraseVAE 和 PhraseLDM：用于全歌曲多轨符号音乐生成的潜在扩散 论文：https://arxiv.org/abs/2512.11348 本技术报告提出了一种用于生成完整歌曲符号音乐的新范式。现有的符号模型基于音符属性标记进行操作，存在序列过长、上下文长度有限以及对长程结构支持不足等问题。我们通过引入 PhraseVAE 和 PhraseLDM 来解决这些问题，PhraseVAE 和 PhraseLDM 是首个专为生成完整歌曲多轨符号音乐而设计的潜在扩散框架。PhraseVAE 将可变长度的复音音符序列压缩成紧凑的 64 维乐句级表示，并具有很高的重构保真度，从而实现高效的训练和结构良好的潜在空间。基于此潜在空间，PhraseLDM 无需任何自回归组件，即可一次性生成完整的多轨歌曲。该系统无需逐小节进行序列建模，支持长达 128 小节的音乐（64 bpm 时为 8 分钟），并生成具有连贯的局部纹理、地道的乐器模式和清晰的全局结构的完整歌曲。我们的框架仅需 4500 万个参数，即可在数秒内生成一首完整的歌曲，同时保持了出色的音乐质量和生成多样性。这些结果共同表明，基于乐句的潜在扩散为符号音乐生成中的长序列建模提供了一种有效且可扩展的解决方案。我们希望这项工作能够鼓励未来的符号音乐研究超越音符属性标记，将乐句级单元作为更有效且更具音乐意义的建模目标。 参考资料 https://www.loudersound.com/ai generated song appears on architects spotify profile ElevenLabs于2025年12月11日宣布与Meta合作，旨在将AI音频技术嵌入Meta的生态系统，包括Instagram、Horizon Worlds和更多平台。 ElevenLabs的自然、多样化语音模型将为用户提供表达力强的音频工具，如为Reels自动生成本地语言配音、角色声音或背景音乐。 Forbes报道指出，这可能推动Meta的元宇宙音频创新，如实时语音转换。总体，这次合作标志着AI音频从 niche 工具向主流应用的跃进，潜在改变社交和娱乐方式，同时呼吁监管以防滥用。 迪士尼授权 OpenAI：推进音乐部门革新 12月12日，Hypebot报道了迪士尼与OpenAI的重大授权协议，这标志着娱乐巨头正式拥抱AI技术。协议涉及迪士尼投资10亿美元入股OpenAI，并获得额外股权认购权，旨在将OpenAI的生成模型如Sora集成到迪士尼的品牌内容中，包括电影、动画和音乐制作。 Hypebot强调，此举可能革新迪士尼的音乐部门，如为原声带生成AI辅助旋律或个性化用户体验。迪士尼官网公告确认，这是首个主要内容公司与OpenAI的深度合作，目标是提升创意效率，同时保护知识产权。 YouTube分析视频指出，此协议可能催生AI驱动的互动音乐，如在Disney+上根据用户偏好生成自定义配乐。该事件凸显AI的经济潜力，预计将激发更多媒体公司跟进。 潜伏太空探险者：显微镜下的音乐 No access 潜伏太空探险者 00:00 No access 潜伏太空探险者 00:00 Github：https://github.com/lyramakesmusic/latent musicvis 潜伏太空探险者（Latent Space Explorer）是一款创新的开源应用，由音乐制作人Lyra Bubbles在2025年12月开发，仅用半天时间完成。它将音乐转化为三维声音结构，在潜空间中旋转可视化，由Stability AI的Stable Audio VAE驱动。用户加载WAV文件后，应用生成浮动3D物体，代表歌曲的内部结构：相似音色聚类在一起，彩色线条显示声音片段间的快速移动。点击任意潜点即可播放对应音频片段，提供交互式探索。 Lyria Camera：将你的相机变成乐器 No access Lyria Camera 00:00 No access Lyria Camera 00:00 体验链接：https://aistudio.google.com/apps/bundled/lyria camera?fullscreenApplet=true&showPreview=true&showAssistant=true Lyria Camera结合了强大的Gemini AI图像理解能力和Lyria RealTime技术，能够实时分析你眼前的画面——无论是忙碌的街景、宁静的咖啡馆，还是你的电脑屏幕——并立刻将其转化为一段连续、不间断且氛围感十足的背景音乐。 它的工作原理是：AI将视觉场景翻译成“钢琴、城市、平静”等音乐描述词，Lyria RealTime API则据此生成平滑过渡的实时乐曲。 这意味着，当你通勤时，Lyria Camera会根据窗外风景的变化，为你“DJ”出一段实时定制的配乐。它能捕捉万物中的旋律，让你的日常通勤、工作、甚至是一碗早餐，都拥有专属的背景音乐。 论文 基于扩散源先验的无监督单通道音频分离 论文：https://arxiv.org/abs/2512.07226 单声道音频分离旨在从单声道混合音频中分离出各个声源。大多数现有方法依赖于使用合成生成的配对数据的监督学习。然而，在实际场景中获取高质量的配对数据往往十分困难。这种数据稀缺性会降低模型在未知条件下的性能，并限制其泛化能力。为此，本文从无监督的角度出发，将该问题转化为概率逆问题。我们的方法仅需在单个声源上训练扩散先验。然后，通过迭代地引导初始状态，利用重构引导实现分离。重要的是，我们引入了一种专门针对分离问题设计的高级逆问题求解器，该求解器可以缓解逆向去噪过程中扩散先验和重构引导之间的干扰所导致的梯度冲突。这种设计确保了各个声源之间高质量且均衡的分离性能。此外，我们发现，使用增强混合噪声而非纯高斯噪声初始化去噪过程可以提供一个信息丰富的初始点，从而显著提高最终性能。为了进一步增强音频先验建模能力，我们设计了一种新颖的基于时频注意力机制的网络架构，该架构展现出强大的音频建模能力。这些改进共同带来了显著的性能提升，并在语音 声音事件、声音事件和语音分离任务中得到了验证。 谁将登上排行榜榜首？基于模态专家自适应融合和时间参与度建模的多模态音乐流行度预测 论文：https://arxiv.org/abs/2512.06259 在歌曲发行前预测其商业成功仍然是音乐产业一项开放且至关重要的研究挑战。对音乐流行度的早期预测能够为战略决策、创意规划和市场营销提供信息。现有方法存在四个局限性：(i) 音频和歌词中的时间动态被平均化；(ii) 歌词被表示为词袋模型，忽略了其构成结构和情感语义；(iii) 忽略了艺人和歌曲的历史表现；(iv) 多模态融合方法依赖于简单的特征拼接，导致共享表示的对齐度较差。为了克服这些局限性，我们提出了 GAMENet，一种用于音乐流行度预测的端到端多模态深度学习架构。GAMENet 通过自适应门控机制整合了音频、歌词和社交元数据等不同模态的专家信息。我们使用了来自 Music4AllOnion 的音频特征，这些特征通过 OnionEnsembleAENet 进行处理，OnionEnsembleAENet 是一个专为稳健特征提取而设计的自编码器网络；歌词嵌入则通过大型语言模型流水线获得；并新增了职业轨迹动态（CTD）特征，用于捕捉艺人多年的职业发展势头和歌曲层面的轨迹统计数据。使用之前已在音乐信息检索（MIR）任务中探索过但尚未用于流行度预测的 Music4All 数据集（11.3 万首歌曲），GAMENet 的 R²值比直接多模态特征拼接方法提高了 12%。仅使用 Spotify 音频描述符的 R²值为 0.13。整合聚合 CTD 特征后，R²值提升至 0.69，而时间 CTD 特征则进一步提升了 7%。我们使用 SpotGenTrack 流行度数据集（10 万首歌曲）进一步验证了模型的鲁棒性，结果比之前的基线模型提高了 16%。 广泛的消融实验证实了该模型的有效性以及每种模式的独特贡献。 基于多模态大基础模型的歌唱音色流行度评估 论文：https://arxiv.org/abs/2512.06999 自动歌唱评估对教育和娱乐至关重要。然而，现有系统面临两大根本局限：一是依赖参考曲目，扼杀了创作表达；二是将复杂的演唱简化为仅基于音高和节奏的非诊断性分数。我们倡导从判别式评估转向描述式评估，构建一个完整的无参考、多维度评估生态系统。首先，我们推出了 Sing MD，这是一个由专家从四个维度（呼吸控制、音色、情感表达和发声技巧）进行标注的大规模数据集。我们的分析揭示了专家标注之间存在显著的不一致性，挑战了传统基于准确率的评估方法的有效性。其次，针对多模态大型语言模型（MLLM）在分析完整歌曲时存在的内存限制，我们提出了 VocalVerse。这种高效的混合架构利用轻量级声学编码器来建模全局演唱特征和长期依赖关系。第三，为了解决自动化指标的不足，我们建立了 H TPR（人机交互分层感知排名）基准，该基准评估模型生成感知有效排名的能力，而不是预测有噪声的真实分数。 多口音普通话干声演唱数据集：演唱口音识别基准 论文：https://arxiv.org/abs/2512.07005 与语音口音研究相比，歌唱口音研究尚不充分，主要原因是缺乏合适的数据集。现有的歌唱数据集常常存在细节损失，这通常是由于人声与乐器分离过程造成的。此外，它们通常缺乏地域口音标注。为了解决这个问题，我们推出了多口音普通话干声歌唱数据集（MADVSD）。MADVSD 包含来自中国九个不同地区的 4206 位普通话母语者的超过 670 小时的干声录音。除了每位参与者用其母语口音录制三首流行歌曲的音频外，他们还录制了涵盖所有普通话元音和完整八度音域的语音练习。我们通过歌唱口音识别的基准实验验证了 MADVSD，证明了其在歌唱语境下评估最先进语音模型的有效性。此外，我们还利用 MADVSD 独特的语音练习，探索了方言对歌唱口音的影响，并分析了元音在口音变化中的作用。 将结构和和弦约束融入基于符号变换器的旋律和声中 论文：https://arxiv.org/abs/2512.07627 Transformer 架构在生成符号音乐方面具有显著优势；其将用户偏好融入生成内容的能力正受到多方面的研究。本文研究了在旋律和声中引入预定义和弦约束的方法，即在特定位置提供所需和弦以及旋律作为输入，自回归 Transformer 模型需要将该和弦融入其生成的和声中。本文讨论了引入此类约束的特殊性，并提出了一种解决此问题的算法。该算法称为 B ，它结合了束搜索和 A 算法以及回溯算法的优点，以强制预训练的 Transformer 模型在正确的小节内的正确起始位置满足和弦约束。该算法属于暴力搜索算法，最坏情况下具有指数级复杂度；然而，本文首次尝试突出该问题的难点，并提出了一种具有改进潜力的算法，因为它允许引入启发式方法。 情感向量：评估爵士即兴演奏中的情感内容以评价创造力 论文：https://arxiv.org/abs/2512.08812 音乐即兴演奏极具研究价值，它本质上是对创作过程的现场演示。在爵士乐中，乐手们常常在预先设定的和弦进行（乐谱）上进行即兴演奏。我们该如何评估爵士即兴演奏的创造性？我们能否利用现有的基于逻辑逻辑模型（LLM）的生成系统，通过自动化指标来捕捉这种创造性？情感投入与即兴演奏的创造性密切相关。通过分析音乐音频，我们能否检测到其中的情感投入？本研究假设，如果一段即兴演奏包含更多情感内容，则更有可能被认定为具有创造性。本文提出了一种基于嵌入的方法来捕捉音乐即兴演奏中的情感内容，该方法利用了与情感相关的音乐特征的心理学分类。通过分析得到的“情感向量”，并比较多个即兴演奏，验证了上述假设。以这种可量化的方式捕捉情感内容，有助于构建可大规模应用的新型创造性评估指标。 MR FlowDPO：用于流匹配文本到音乐生成的多奖励直接偏好优化 论文：https://arxiv.org/abs/2512.10264 Github：https://github.com/lonzi/mrflow dpo 演示：https://lonzi.github.io/mr flowdpo demopage/ 音乐生成模型面临的一个关键挑战是它们与人类偏好缺乏直接关联，因为音乐评价本质上是主观的，并且因人而异。我们提出了一种名为 MR FlowDPO 的新方法，它利用直接偏好优化 (DPO) 和多种音乐奖励来增强基于流匹配的音乐生成模型——这是现代音乐生成模型的一个主要类别。这些奖励旨在从三个关键维度评估音乐质量：文本对齐、音频制作质量和语义一致性，并针对每个奖励预测使用可扩展的现成模型。我们以两种方式应用这些奖励：(i) 构建用于 DPO 的偏好数据；(ii) 将奖励整合到文本提示中。为了解决音乐性评价中的歧义，我们提出了一种利用语义自监督表示的新型评分机制，该机制显著提高了生成音乐的节奏稳定性。我们使用各种音乐特定的客观指标以及一项人类研究进行了广泛的评估。结果表明，MR FlowDPO 显著提升了音乐生成的整体质量，并且在音频质量、文本对齐和音乐性方面始终优于极具竞争力的基线方法。 PhraseVAE 和 PhraseLDM：用于全歌曲多轨符号音乐生成的潜在扩散 论文：https://arxiv.org/abs/2512.11348 本技术报告提出了一种用于生成完整歌曲符号音乐的新范式。现有的符号模型基于音符属性标记进行操作，存在序列过长、上下文长度有限以及对长程结构支持不足等问题。我们通过引入 PhraseVAE 和 PhraseLDM 来解决这些问题，PhraseVAE 和 PhraseLDM 是首个专为生成完整歌曲多轨符号音乐而设计的潜在扩散框架。PhraseVAE 将可变长度的复音音符序列压缩成紧凑的 64 维乐句级表示，并具有很高的重构保真度，从而实现高效的训练和结构良好的潜在空间。基于此潜在空间，PhraseLDM 无需任何自回归组件，即可一次性生成完整的多轨歌曲。该系统无需逐小节进行序列建模，支持长达 128 小节的音乐（64 bpm 时为 8 分钟），并生成具有连贯的局部纹理、地道的乐器模式和清晰的全局结构的完整歌曲。我们的框架仅需 4500 万个参数，即可在数秒内生成一首完整的歌曲，同时保持了出色的音乐质量和生成多样性。这些结果共同表明，基于乐句的潜在扩散为符号音乐生成中的长序列建模提供了一种有效且可扩展的解决方案。我们希望这项工作能够鼓励未来的符号音乐研究超越音符属性标记，将乐句级单元作为更有效且更具音乐意义的建模目标。 参考资料 https://www.loudersound.com/ai generated song appears on architects spotify profile https://elevenlabs.io/blog/fl studio https://www.linkedin.com/posts/robert linke big news weve partnered with elevenlabs activity 7404189515633987587 4sFD?utm source=share&utm medium=member desktop&rcm=ACoAAEf4sYcB 7kwpHm7WTW6ML5ECD H8EXZk8c https://www.culturallearningalliance.org.uk/research spotlight dec 25/ https://aithority.com/machine learning/tuned global research ai music and the mind whats new/?utm source=hootsuite&utm medium=twitter&utm term=aithority&utm content=275173c5 2e4b 4083 85d3 4c44f2919048&utm campaign=Organic https://x.com/elevenlabsio/status/1999163506743038408?s=20 https://www.facebook.com/rundownnewsletter/posts/elevenlabs has announced a partnership with meta to provide expressive scalable /736543412800780/ https://www.facebook.com/Hypebot/posts/music business live music news disney licenses openai uk venue studio tax fight /1396660038685695/ https://www.youtube.com/watch?v=mCY5myQgEC8 https://openai.com/index/disney