AI音乐周刊 W.A 011

AI音乐周刊 W.A 011 AI音乐周刊 W.A 011 Modified January 19 Audio or video is not supported Please download the file and open it with the appropriate software. heartMula.mp4 · 65.55MB heartMula 00:00 • 齐唱（Unison）功能：单轨即可创建最多 16 人的合奏，支持精准控制立体声分布。 • 全新效果面板：内置 EQ、压缩及混响链，特别是新增的房间声学模拟，极大增强了合唱的空间真实感。 • 实用工具：支持 MusicXML 导入、钢琴卷帘音阶显示及渲染缓存优化。官方详细说明：https://dreamtonics.com/choir voice collections/ 阶跃星辰开源 Step Audio R1.1：登顶语音推理榜首 1月16日，阶跃星辰（StepFun）正式发布并开源了最新端到端语音大模型 Step Audio R1.1。该模型在 Artificial Analysis 语音推理排行榜中荣登榜首，以 96.4% 的准确率在 BigBench Audio 测试中超越了 Grok、Gemini 和 OpenAI 等顶尖竞品，同时保持了仅 1.51秒的首字延迟（TTFA），带来如真人般的流畅对话体验。 R1.1 采用了创新的“双脑架构”（Dual Brain Architecture），将负责高级推理的“构思脑”与负责语音生成的“表达脑”解耦，成功实现了“边想边说”（Mind Paced Speaking）。这种设计让模型在进行深度思维链（CoT）推理的同时，无需牺牲响应速度，彻底解决了传统模型在“高智商”与“低延迟”之间难以兼顾的痛点。此外，通过声学基础推理，模型直接基于音频特征思考，有效避免了转录过程中的信息损耗。目前，Step Audio R1.1 的模型权重已在 HuggingFace 和 ModelScope 全面开源，支持通过 Docker 或自定义 vLLM 后端快速部署，赋能开发者构建下一代超低延迟的智能语音应用。 HuggingFace：https://huggingface.co/stepfun ai/Step Audio R1.1 ModelScope：https://modelscope.cn/models/stepfun ai/Step Audio R1.1 在线尝试：https://www.stepfun.com/studio/audio?tab=conversation 反转 Lo Fi 女孩：趣味 AI 音乐互动游戏 No access lofi游戏 00:00 近日，创意工作室 Qosmo 发布了一款名为 “Reverse Lo Fi” 的互动网页体验，使用到Google Magenta以实时生成音乐，这并非传统的 Lo Fi 音乐直播，而是一场考验玩家“提示词工程”能力的 AI 音乐生成游戏。玩家的任务是通过实时选择不同的 Prompt（提示词）方块来生成背景音乐，目的是帮助屏幕前的动漫女孩专心学习。 • 若音乐太安静，女孩会开始打瞌睡； • 若音乐太动感，她会忍不住起身跳舞。只有维持恰到好处的音乐氛围，学习进度才能持续。在线体验：https://reverse lofi.qosmo.jp/ 交互式 AI 音乐：打破“Slop”偏见，开启音乐体验新维度深度学习与音乐研究者 Jordi Pons 近日发文探讨 “交互式 AI 音乐”，旨在反驳公众对 AI 生成内容为“垃圾（Slop）”的偏见。他认为，AI 不应仅仅是生成工具，更是创造“可玩音乐”的新媒介。 • 互动性：音乐实时响应用户输入，观众从被动聆听转为主动参与。 • 艺术主导权：艺术家不仅创作音乐本身，还设计互动逻辑，确保体验具备艺术深度。 • 生成式：摒弃预录音轨，利用 AI 即兴创造旋律与节奏，每次体验都独一无二。文章列举了 SENAIDA 的生成式专辑、Suno/Sonauto 的 AI 电台以及 Google Magenta 的互动装置等案例，将此类体验比作游戏之于电影——提供了探索与共创的空间。尽管面临聆听习惯改变（被动转主动）和分发格式未定（缺乏统一平台）的挑战，但这标志着音乐正从“固定录音”向“生成系统”演变，为艺术家与粉丝的深度连接开辟了新路径。文章：https://artintech.substack.com/p/interactive ai music 论文 ICASSP 2026 自动歌曲美学评估挑战赛论文：https://arxiv.org/abs/2601.07237 本文总结了 ICASSP 2026 自动歌曲美学评估（ASAE）挑战赛，该挑战赛聚焦于预测 AI 生成歌曲的主观美学评分。挑战赛包含两个赛道：赛道 1 旨在预测整体音乐性评分，而赛道 2 专注于预测五个细粒度的美学评分。该挑战赛引起了研究界的强烈兴趣，收到了来自学术界和工业界的众多提交。表现优异的系统显著超越了官方基准，展示了在将客观指标与人类美学偏好对齐方面取得的实质性进展。这些成果建立了一个标准化的基准，并推进了现代音乐生成系统符合人类标准评估方法的发展。弹性泛音：一种具有“纯”五度的十二平均律音乐系统论文： https://arxiv.org/abs/2601.08074 八度内无法实现可转调的 12 个半音调音，其根本原因在于 2 \times 2^{7/12} \neq 3 这一数学事实，即五度的二次谐波无法精确匹配基频的三次谐波。这源于西方音乐的整数谐波结构，以及随后确立的八度音程在频率上为 2 倍关系的根本特征，这一特性是我们的音乐系统从振动元件近似一维的乐器物理学中继承而来的。在当今的电子音乐时代，我们可以放宽上述假设，构建一个类似的音乐系统：保留标准音乐系统的所有结构属性，但谐波不再是基频的整数倍，八度在频率上也不再是 2 倍关系。这使得构建一个可转调的 12 半音音乐系统成为可能，其中五度的二次谐波精确匹配基频的三次谐波。该系统增强的谐波品质很好地恢复了纯律（Just Intonation）的音乐特质，同时在构建上保留了十二平均律（12TET）的所有多功能性和转调能力。 FusID：用于生成式音乐推荐的模态融合语义 ID 论文： https://arxiv.org/abs/2601.08764 生成式推荐系统通过利用语义 ID 来表示项目，已经取得了显著进展。然而，现有的独立对每个模态进行 Token 化处理的方法面临两个关键限制：（1）模态间的冗余降低了效率；（2）未能捕捉模态间的交互，限制了项目表示能力。我们推出了 FusID，一个模态融合的语义 ID 框架，通过三个关键组件解决了这些限制：（i）多模态融合，通过联合编码跨模态信息来学习统一表示；（ii）表示学习，拉近频繁共现项目嵌入的距离，同时保持区分度并防止特征冗余；（iii）乘积量化，将融合后的连续嵌入转换为多个离散 Token，以减轻 ID 冲突。在多模态下一首歌曲推荐（即播放列表续播）基准上的评估显示，FusID 实现了零 ID 冲突，确保每个 Token 序列精确映射到一首歌曲，缓解了码本利用率不足的问题，并在 MRR 和 Recall@k（k = 1, 5, 10, 20）指标上优于基线模型。基于扩散模型的钢琴音色转换系统研究论文： https://arxiv.org/abs/2601.09333 我们提出了一种基于扩散架构的音色转换模型，旨在将各种乐器演奏的音乐精确转换为钢琴版本。该模型采用音高编码器（Pitch Encoder）和响度编码器（Loudness Encoder）提取音乐的音高和响度特征，这些特征作为条件输入到扩散模型的解码器中，从而生成高质量的钢琴音色。案例分析结果表明，该模型在音高准确性和音色相似度方面表现优异，在不同音乐风格（古典、爵士、流行）和长度（从短片段到完整乐曲）上均保持稳定的转换效果。特别是，即使在处理快速变化的音符和复杂的音乐结构时，该模型仍能保持高音质和准确性，展现出良好的泛化能力。此外，该模型具有实时音乐转换的潜力，适用于现场表演和数字音乐创作工具。未来的研究将集中于增强对响度动态的处理，并纳入额外的音乐特征（如音色变化和节奏复杂性），以提高模型的适应性和表现力。我们计划探索该模型在其他音色转换任务中的应用潜力，例如将人声转换为乐器声音或与 MIDI 电钢琴集成，进一步拓展基于扩散的音色转换模型在音乐生成领域的应用范围。 SLAM LLM：用于语音、语言、音频和音乐处理的模块化、开源多模态大语言模型框架及最佳实践论文： https://arxiv.org/abs/2601.09385 近期开源多模态大语言模型（MLLM）框架（如 LLaVA）的激增，为人工智能开发者和研究人员提供了一个便捷的起点。然而，大多数 MLLM 框架以视觉为主要输入模态，对语音、音频和音乐模态的深度支持有限。这种情况阻碍了音频语言模型的发展，迫使研究人员在代码编写和超参数调整上花费大量精力。我们推出了 SLAM LLM，这是一个开源深度学习框架，旨在训练定制化的 MLLM，专注于语音、语言、音频和音乐处理。SLAM LLM 提供了不同编码器、投影器、LLM 和参数高效微调插件的模块化配置。SLAM LLM 还包含了主流任务的详细训练和推理配方（Recipes），以及高性能的检查点，如基于 LLM 的自动语音识别（ASR）、自动音频描述（AAC）和音乐描述（MC）。其中一些配方已经达到或接近最先进（SOTA）的性能，部分相关技术已被学术论文接收。我们希望 SLAM LLM 能加速研究人员的迭代、开发、数据工程和模型训练。我们致力于通过这个开源框架不断推动基于音频的 MLLM 的发展，并呼吁社区为基于 LLM 的语音、音频和音乐处理做出贡献。迈向用于自动鼓声转录的逼真合成数据论文： https://arxiv.org/abs/2601.09520 深度学习模型定义了自动鼓声转录（ADT）的最先进水平，但其性能取决于大规模的配对音频 MIDI 数据集，而这类数据集非常稀缺。现有的使用合成数据的变通方法通常会引入显著的领域差距，因为它们通常依赖缺乏声学多样性的低保真 SoundFont 库。虽然高质量的单次采样（One shot samples）提供了更好的替代方案，但它们缺乏适合训练的标准化、大规模格式。本文介绍了一种 ADT 新范式，规避了对配对音频 MIDI 训练数据的需求。我们的主要贡献是一种半监督方法，可以从无标签音频源自动整理出一个庞大且多样化的单次鼓声采样库。然后，我们利用该库仅通过 MIDI 文件合成高质量数据集，并用于训练序列到序列的转录模型。我们在 ENST 和 MDB 测试集上评估了模型，取得了新的 SOTA 结果，显著优于全监督方法和之前的合成数据方法。使用随机量化器进行音乐理解的线性复杂度自监督学习论文： https://arxiv.org/abs/2601.09603 近年来，基础模型因其卓越的性能而变得非常流行，主要是在最初引入的自然语言处理（NLP）任务中。这些模型通常包含数亿甚至数十亿个参数，导致在训练和生产系统中资源消耗巨大，增加了成本。本文关注将基础模型应用于音乐信息检索（MIR）任务时的模型尺寸缩减。我们的研究结合了最初应用于语音识别的 Branchformer 架构与 SummaryMixing，以及随机量化过程。为便于复现，我们在公开可用的数据集上进行预训练，并补充了一个与文献报道的其他私有数据集规模相当的专有数据集。我们使用包含多种下游 MIR 任务的框架确保了评估的稳健性。结果表明，与使用多头自注意力机制的其他最先进模型相比，我们的架构在将模型尺寸缩减 8.5% 至 12.3% 的同时，实现了具有竞争力的性能。利用浅层扩散对移调导致歌声退化的自监督修复论文： https://arxiv.org/abs/2601.10345 移调（Pitch shifting）一直是歌声制作中的一项基本功能。然而，传统的信号处理方法存在众所周知的权衡，如共振峰偏移和机械音色，这些问题在较大跨度的移调中变得更加严重。本文旨在通过将歌声移调重新构建为修复问题来实现高质量的移调：给定一段经过移调（因此被伪影污染）的音频轨道，我们在保留其旋律和时间的同时恢复自然的声音表现。具体而言，我们使用一个轻量级的梅尔空间扩散模型，该模型由帧级声学特征（如 f0、音量和内容特征）驱动。我们以自监督的方式构建训练对，通过应用移调并将其反转来模拟逼真的伪影，同时保留真实基准（Ground truth）。在精心策划的歌声集上，通过统计指标和成对声学测量，所提出的方法相比具有代表性的经典基线显著减少了移调伪影。结果表明，基于修复的移调可能是声乐制作工作流中实现抗伪影变调的可行方法。使用歌词对齐音频嵌入的可扩展音乐翻唱检索 Audio or video is not supported Please download the file and open it with the appropriate software. heartMula.mp4 · 65.55MB heartMula 00:00 Audio or video is not supported Please download the file and open it with the appropriate software. heartMula.mp4 · 65.55MB heartMula 00:00 • 齐唱（Unison）功能：单轨即可创建最多 16 人的合奏，支持精准控制立体声分布。 • 全新效果面板：内置 EQ、压缩及混响链，特别是新增的房间声学模拟，极大增强了合唱的空间真实感。 • 实用工具：支持 MusicXML 导入、钢琴卷帘音阶显示及渲染缓存优化。官方详细说明：https://dreamtonics.com/choir voice collections/ 阶跃星辰开源 Step Audio R1.1：登顶语音推理榜首 1月16日，阶跃星辰（StepFun）正式发布并开源了最新端到端语音大模型 Step Audio R1.1。该模型在 Artificial Analysis 语音推理排行榜中荣登榜首，以 96.4% 的准确率在 BigBench Audio 测试中超越了 Grok、Gemini 和 OpenAI 等顶尖竞品，同时保持了仅 1.51秒的首字延迟（TTFA），带来如真人般的流畅对话体验。 R1.1 采用了创新的“双脑架构”（Dual Brain Architecture），将负责高级推理的“构思脑”与负责语音生成的“表达脑”解耦，成功实现了“边想边说”（Mind Paced Speaking）。这种设计让模型在进行深度思维链（CoT）推理的同时，无需牺牲响应速度，彻底解决了传统模型在“高智商”与“低延迟”之间难以兼顾的痛点。此外，通过声学基础推理，模型直接基于音频特征思考，有效避免了转录过程中的信息损耗。目前，Step Audio R1.1 的模型权重已在 HuggingFace 和 ModelScope 全面开源，支持通过 Docker 或自定义 vLLM 后端快速部署，赋能开发者构建下一代超低延迟的智能语音应用。 HuggingFace：https://huggingface.co/stepfun ai/Step Audio R1.1 ModelScope：https://modelscope.cn/models/stepfun ai/Step Audio R1.1 在线尝试：https://www.stepfun.com/studio/audio?tab=conversation 反转 Lo Fi 女孩：趣味 AI 音乐互动游戏 No access lofi游戏 00:00 No access lofi游戏 00:00 近日，创意工作室 Qosmo 发布了一款名为 “Reverse Lo Fi” 的互动网页体验，使用到Google Magenta以实时生成音乐，这并非传统的 Lo Fi 音乐直播，而是一场考验玩家“提示词工程”能力的 AI 音乐生成游戏。玩家的任务是通过实时选择不同的 Prompt（提示词）方块来生成背景音乐，目的是帮助屏幕前的动漫女孩专心学习。 • 若音乐太安静，女孩会开始打瞌睡； • 若音乐太动感，她会忍不住起身跳舞。只有维持恰到好处的音乐氛围，学习进度才能持续。在线体验：https://reverse lofi.qosmo.jp/ 交互式 AI 音乐：打破“Slop”偏见，开启音乐体验新维度深度学习与音乐研究者 Jordi Pons 近日发文探讨 “交互式 AI 音乐”，旨在反驳公众对 AI 生成内容为“垃圾（Slop）”的偏见。他认为，AI 不应仅仅是生成工具，更是创造“可玩音乐”的新媒介。 • 互动性：音乐实时响应用户输入，观众从被动聆听转为主动参与。 • 艺术主导权：艺术家不仅创作音乐本身，还设计互动逻辑，确保体验具备艺术深度。 • 生成式：摒弃预录音轨，利用 AI 即兴创造旋律与节奏，每次体验都独一无二。文章列举了 SENAIDA 的生成式专辑、Suno/Sonauto 的 AI 电台以及 Google Magenta 的互动装置等案例，将此类体验比作游戏之于电影——提供了探索与共创的空间。尽管面临聆听习惯改变（被动转主动）和分发格式未定（缺乏统一平台）的挑战，但这标志着音乐正从“固定录音”向“生成系统”演变，为艺术家与粉丝的深度连接开辟了新路径。文章：https://artintech.substack.com/p/interactive ai music 论文 ICASSP 2026 自动歌曲美学评估挑战赛论文：https://arxiv.org/abs/2601.07237 本文总结了 ICASSP 2026 自动歌曲美学评估（ASAE）挑战赛，该挑战赛聚焦于预测 AI 生成歌曲的主观美学评分。挑战赛包含两个赛道：赛道 1 旨在预测整体音乐性评分，而赛道 2 专注于预测五个细粒度的美学评分。该挑战赛引起了研究界的强烈兴趣，收到了来自学术界和工业界的众多提交。表现优异的系统显著超越了官方基准，展示了在将客观指标与人类美学偏好对齐方面取得的实质性进展。这些成果建立了一个标准化的基准，并推进了现代音乐生成系统符合人类标准评估方法的发展。弹性泛音：一种具有“纯”五度的十二平均律音乐系统论文： https://arxiv.org/abs/2601.08074 八度内无法实现可转调的 12 个半音调音，其根本原因在于 2 \times 2^{7/12} \neq 3 这一数学事实，即五度的二次谐波无法精确匹配基频的三次谐波。这源于西方音乐的整数谐波结构，以及随后确立的八度音程在频率上为 2 倍关系的根本特征，这一特性是我们的音乐系统从振动元件近似一维的乐器物理学中继承而来的。在当今的电子音乐时代，我们可以放宽上述假设，构建一个类似的音乐系统：保留标准音乐系统的所有结构属性，但谐波不再是基频的整数倍，八度在频率上也不再是 2 倍关系。这使得构建一个可转调的 12 半音音乐系统成为可能，其中五度的二次谐波精确匹配基频的三次谐波。该系统增强的谐波品质很好地恢复了纯律（Just Intonation）的音乐特质，同时在构建上保留了十二平均律（12TET）的所有多功能性和转调能力。 FusID：用于生成式音乐推荐的模态融合语义 ID 论文： https://arxiv.org/abs/2601.08764 生成式推荐系统通过利用语义 ID 来表示项目，已经取得了显著进展。然而，现有的独立对每个模态进行 Token 化处理的方法面临两个关键限制：（1）模态间的冗余降低了效率；（2）未能捕捉模态间的交互，限制了项目表示能力。我们推出了 FusID，一个模态融合的语义 ID 框架，通过三个关键组件解决了这些限制：（i）多模态融合，通过联合编码跨模态信息来学习统一表示；（ii）表示学习，拉近频繁共现项目嵌入的距离，同时保持区分度并防止特征冗余；（iii）乘积量化，将融合后的连续嵌入转换为多个离散 Token，以减轻 ID 冲突。在多模态下一首歌曲推荐（即播放列表续播）基准上的评估显示，FusID 实现了零 ID 冲突，确保每个 Token 序列精确映射到一首歌曲，缓解了码本利用率不足的问题，并在 MRR 和 Recall@k（k = 1, 5, 10, 20）指标上优于基线模型。基于扩散模型的钢琴音色转换系统研究论文： https://arxiv.org/abs/2601.09333 我们提出了一种基于扩散架构的音色转换模型，旨在将各种乐器演奏的音乐精确转换为钢琴版本。该模型采用音高编码器（Pitch Encoder）和响度编码器（Loudness Encoder）提取音乐的音高和响度特征，这些特征作为条件输入到扩散模型的解码器中，从而生成高质量的钢琴音色。案例分析结果表明，该模型在音高准确性和音色相似度方面表现优异，在不同音乐风格（古典、爵士、流行）和长度（从短片段到完整乐曲）上均保持稳定的转换效果。特别是，即使在处理快速变化的音符和复杂的音乐结构时，该模型仍能保持高音质和准确性，展现出良好的泛化能力。此外，该模型具有实时音乐转换的潜力，适用于现场表演和数字音乐创作工具。未来的研究将集中于增强对响度动态的处理，并纳入额外的音乐特征（如音色变化和节奏复杂性），以提高模型的适应性和表现力。我们计划探索该模型在其他音色转换任务中的应用潜力，例如将人声转换为乐器声音或与 MIDI 电钢琴集成，进一步拓展基于扩散的音色转换模型在音乐生成领域的应用范围。 SLAM LLM：用于语音、语言、音频和音乐处理的模块化、开源多模态大语言模型框架及最佳实践论文： https://arxiv.org/abs/2601.09385 近期开源多模态大语言模型（MLLM）框架（如 LLaVA）的激增，为人工智能开发者和研究人员提供了一个便捷的起点。然而，大多数 MLLM 框架以视觉为主要输入模态，对语音、音频和音乐模态的深度支持有限。这种情况阻碍了音频语言模型的发展，迫使研究人员在代码编写和超参数调整上花费大量精力。我们推出了 SLAM LLM，这是一个开源深度学习框架，旨在训练定制化的 MLLM，专注于语音、语言、音频和音乐处理。SLAM LLM 提供了不同编码器、投影器、LLM 和参数高效微调插件的模块化配置。SLAM LLM 还包含了主流任务的详细训练和推理配方（Recipes），以及高性能的检查点，如基于 LLM 的自动语音识别（ASR）、自动音频描述（AAC）和音乐描述（MC）。其中一些配方已经达到或接近最先进（SOTA）的性能，部分相关技术已被学术论文接收。我们希望 SLAM LLM 能加速研究人员的迭代、开发、数据工程和模型训练。我们致力于通过这个开源框架不断推动基于音频的 MLLM 的发展，并呼吁社区为基于 LLM 的语音、音频和音乐处理做出贡献。迈向用于自动鼓声转录的逼真合成数据论文： https://arxiv.org/abs/2601.09520 深度学习模型定义了自动鼓声转录（ADT）的最先进水平，但其性能取决于大规模的配对音频 MIDI 数据集，而这类数据集非常稀缺。现有的使用合成数据的变通方法通常会引入显著的领域差距，因为它们通常依赖缺乏声学多样性的低保真 SoundFont 库。虽然高质量的单次采样（One shot samples）提供了更好的替代方案，但它们缺乏适合训练的标准化、大规模格式。本文介绍了一种 ADT 新范式，规避了对配对音频 MIDI 训练数据的需求。我们的主要贡献是一种半监督方法，可以从无标签音频源自动整理出一个庞大且多样化的单次鼓声采样库。然后，我们利用该库仅通过 MIDI 文件合成高质量数据集，并用于训练序列到序列的转录模型。我们在 ENST 和 MDB 测试集上评估了模型，取得了新的 SOTA 结果，显著优于全监督方法和之前的合成数据方法。使用随机量化器进行音乐理解的线性复杂度自监督学习论文： https://arxiv.org/abs/2601.09603 近年来，基础模型因其卓越的性能而变得非常流行，主要是在最初引入的自然语言处理（NLP）任务中。这些模型通常包含数亿甚至数十亿个参数，导致在训练和生产系统中资源消耗巨大，增加了成本。本文关注将基础模型应用于音乐信息检索（MIR）任务时的模型尺寸缩减。我们的研究结合了最初应用于语音识别的 Branchformer 架构与 SummaryMixing，以及随机量化过程。为便于复现，我们在公开可用的数据集上进行预训练，并补充了一个与文献报道的其他私有数据集规模相当的专有数据集。我们使用包含多种下游 MIR 任务的框架确保了评估的稳健性。结果表明，与使用多头自注意力机制的其他最先进模型相比，我们的架构在将模型尺寸缩减 8.5% 至 12.3% 的同时，实现了具有竞争力的性能。利用浅层扩散对移调导致歌声退化的自监督修复论文： https://arxiv.org/abs/2601.10345 移调（Pitch shifting）一直是歌声制作中的一项基本功能。然而，传统的信号处理方法存在众所周知的权衡，如共振峰偏移和机械音色，这些问题在较大跨度的移调中变得更加严重。本文旨在通过将歌声移调重新构建为修复问题来实现高质量的移调：给定一段经过移调（因此被伪影污染）的音频轨道，我们在保留其旋律和时间的同时恢复自然的声音表现。具体而言，我们使用一个轻量级的梅尔空间扩散模型，该模型由帧级声学特征（如 f0、音量和内容特征）驱动。我们以自监督的方式构建训练对，通过应用移调并将其反转来模拟逼真的伪影，同时保留真实基准（Ground truth）。在精心策划的歌声集上，通过统计指标和成对声学测量，所提出的方法相比具有代表性的经典基线显著减少了移调伪影。结果表明，基于修复的移调可能是声乐制作工作流中实现抗伪影变调的可行方法。使用歌词对齐音频嵌入的可扩展音乐翻唱检索论文： https://arxiv.org/abs/2601.11262 音乐翻唱检索，也称为版本识别，旨在识别同一潜在音乐作品的不同演绎版本，这是目录管理、版权执行和音乐检索的核心任务。最先进的方法主要集中在和声及旋律特征上，采用日益复杂的音频流程，旨在对翻唱版本中通常差异巨大的音乐属性保持不变性。尽管有效，这些方法需要大量的训练时间和计算资源。相比之下，歌词构成了翻唱版本中强大的不变特征，但由于从多声部音频中准确高效地提取歌词存在困难，其使用一直受到限制。早期方法依赖简单的框架，限制了下游性能，而较新的系统虽然提供了更强的结果，但需要集成在复杂多模态架构中的大型模型。我们推出了 LIVI（歌词信息版本识别），这是一种寻求在检索准确性与计算效率之间取得平衡的方法。首先，LIVI 在训练期间利用来自最先进转录和文本嵌入模型的监督，以实现与基于和声的系统相当甚至更优的检索准确性。其次，LIVI 通过在推理时移除转录步骤保持了轻量级和高效，挑战了复杂流程的主导地位。参考资料 https://x.com/clubberia/status/2011284031976194398?s=20 https://cdm.link/bandcamp anti ai/ https://www.linkedin.com/posts/madell proud to share thatmusical ai has raised activity 7418010211677941760 Q3rD?utm source=share&utm medium=member desktop&rcm=ACoAAEf4sYcB 7kwpHm7WTW6ML5ECD H8EXZk8c https://musically.com/2026/01/14/musical ai raises 4 5m funding for its attribution tech/ https://x.com/ArxivSound/status/2012036375152058401?s=20 https://x.com/dreamtonics en/status/2011696017478205726?s=20 https://x.com/StepFun ai/status/2011845838188822684?s=20 https://x.com/naotokui en/status/20113

在小宇宙note 阅读完整内容