AI 音乐 | 3.2 资讯
AI 音乐 | 3.2 资讯
AI 音乐 | 3.2 资讯 AI 音乐 | 3.2 资讯 Modified March 2, 2024 No access videoplayback (4) 00:00 论文：https://arxiv.org/abs/2310.13289 演示：https://huggingface.co/spaces/fffiloni/SALMONN 7B gradio SALMONN 是一种集成了语音和音频编码器的多模态大型语言模型（LLM），旨在理解和处理包括语音、音频事件和音乐在内的一般音频输入。该模型通过双编码器结构，结合语音识别、自动语音翻译、音频信息基础的问题回答、情感识别、说话人验证和音乐及音频描述等任务进行训练，以提高在这些领域的性能。 SALMONN 利用了大量公开可用的数据集进行训练，包括 LibriSpeech、GigaSpeech、WavCaps、AudioCaps 和 Clotho 等，这些数据集覆盖了语音识别和音频描述等多种任务。 SALMONN 在一系列语音和音频基准任务上进行了评估，包括自动语音识别、音频描述、情感识别和音乐描述等。实验结果显示，SALMONN 能够在这些任务上达到竞争性的性能，并在未训练的任务上展现出通用听力能力。 结果表明，SALMONN 成功地将语音、音频事件和音乐的理解能力整合到一个单一的模型中，展现了向具备通用听力能力的人工智能迈进的一步。此外，通过激活调整阶段，SALMONN 能够缓解任务过拟合问题，并激活跨模态的突现能力，如基于音频的故事讲述和语音音频共同推理等能力。 LAIVE：AI 生成器乐曲目、歌词和人声一体 链接：https://www.laive.io/ LAIVE 是利用 AI 技术一次性生成音乐、歌词、主唱等的创作平台，使用者可以选择自己喜欢的类型和情调，上传参考音源，AI 可以通过分析生成音乐。并且可以选择主唱和修改歌词，目前为开放测试阶段。 输入下面的促销代码可获得 50 代币（入口在个人资料），令牌有效期为输入代码后的 30 天，促销码失效日期为 4 月 17 日。 促销代码：LAIVEcreator Combobulator：用 AI 合成技术重塑音乐创作界限 No access videoplayback (5) 00:00 链接：https://datamindaudio.ai/ DataMind Audio 推出了 Combobulator 插件，这是一个基于 AI 的效果插件，利用神经网络通过样式转移的过程重新合成输入音频，从而使用你自己的声音重现其他艺术家的风格。DataMind 表示，这使你能够通过合成基于输入信号和神经网络中的信息的新音频来 “像演奏乐器一样演奏另一个艺术家的大脑”。 Vocs AI：您的免费人工智能语音生成器和转换器 No access [twi]@Vocs twi 00:00 链接：https://www.vocs.ai/ Vocs AI 提供了一个免费的 AI 语音生成和转换工具。操作步骤如下： • 上传一段清晰的无伴奏人声录音。（wav 或 mp3 格式，更推荐 wav） • 从超过 20 名才华横溢的 AI 歌手、说唱歌手、叙述者、角色和配音艺术家中选择，将你的原始无伴奏声音转换成 AI 虚拟艺术家的声音。 • 点击 “转换”，Vocs AI 的语音技术将把你上传的音频转换成 AI 版本的原声。 • 下载你转换后的音频。 Vocs AI 强调，输入音频的质量将直接影响 AI 人声转换的输出质量。因此，最好在进行 AI 转换之前，确保你的原始人声听起来正如你所希望的那样。 参考资料 https://musictech.com/news/gear/voice swap stem swap/ https://x.com/MusicTechMag/status/1763625310325735916?s=20 https://x.com/fffiloni/status/1757086330738065747?s=20 https://x.com/Djgirinnft/status/1759986146506092633?s=20 https://www.musicradar.com/news/datamind audio combobulator?utm source=pocket saves https://x.com/Deep In Depth/status/1763794507991019626?s=20 https://www.linkedin.com/posts/craigfechter youtube musicproduction musicproducer activity 7169429010962198529 c8 M?utm source=share&utm medium=member desktop 我是尾巴 感谢您观看至此处，如果文章对您有帮助，点个赞、在看、转发三连支持一波！您的支持是我最大的动力！ 叮当不是机器猫 您的支持是我最大的动力 喜欢作者 No access videoplayback (4) 00:00 No access videoplayback (4) 00:00 论文：https://arxiv.org/abs/2310.13289 演示：https://huggingface.co/spaces/fffiloni/SALMONN 7B gradio SALMONN 是一种集成了语音和音频编码器的多模态大型语言模型（LLM），旨在理解和处理包括语音、音频事件和音乐在内的一般音频输入。该模型通过双编码器结构，结合语音识别、自动语音翻译、音频信息基础的问题回答、情感识别、说话人验证和音乐及音频描述等任务进行训练，以提高在这些领域的性能。 SALMONN 利用了大量公开可用的数据集进行训练，包括 LibriSpeech、GigaSpeech、WavCaps、AudioCaps 和 Clotho 等，这些数据集覆盖了语音识别和音频描述等多种任务。 SALMONN 在一系列语音和音频基准任务上进行了评估，包括自动语音识别、音频描述、情感识别和音乐描述等。实验结果显示，SALMONN 能够在这些任务上达到竞争性的性能，并在未训练的任务上展现出通用听力能力。 结果表明，SALMONN 成功地将语音、音频事件和音乐的理解能力整合到一个单一的模型中，展现了向具备通用听力能力的人工智能迈进的一步。此外，通过激活调整阶段，SALMONN 能够缓解任务过拟合问题，并激活跨模态的突现能力，如基于音频的故事讲述和语音音频共同推理等能力。 LAIVE：AI 生成器乐曲目、歌词和人声一体 链接：https://www.laive.io/ LAIVE 是利用 AI 技术一次性生成音乐、歌词、主唱等的创作平台，使用者可以选择自己喜欢的类型和情调，上传参考音源，AI 可以通过分析生成音乐。并且可以选择主唱和修改歌词，目前为开放测试阶段。 输入下面的促销代码可获得 50 代币（入口在个人资料），令牌有效期为输入代码后的 30 天，促销码失效日期为 4 月 17 日。 促销代码：LAIVEcreator Combobulator：用 AI 合成技术重塑音乐创作界限 No access videoplayback (5) 00:00 No access videoplayback (5) 00:00 链接：https://datamindaudio.ai/ DataMind Audio 推出了 Combobulator 插件，这是一个基于 AI 的效果插件，利用神经网络通过样式转移的过程重新合成输入音频，从而使用你自己的声音重现其他艺术家的风格。DataMind 表示，这使你能够通过合成基于输入信号和神经网络中的信息的新音频来 “像演奏乐器一样演奏另一个艺术家的大脑”。 Vocs AI：您的免费人工智能语音生成器和转换器 No access [twi]@Vocs twi 00:00 No access [twi]@Vocs twi 00:00 链接：https://www.vocs.ai/ Vocs AI 提供了一个免费的 AI 语音生成和转换工具。操作步骤如下： • 上传一段清晰的无伴奏人声录音。（wav 或 mp3 格式，更推荐 wav） • 从超过 20 名才华横溢的 AI 歌手、说唱歌手、叙述者、角色和配音艺术家中选择，将你的原始无伴奏声音转换成 AI 虚拟艺术家的声音。 • 点击 “转换”，Vocs AI 的语音技术将把你上传的音频转换成 AI 版本的原声。 • 下载你转换后的音频。 Vocs AI 强调，输入音频的质量将直接影响 AI 人声转换的输出质量。因此，最好在进行 AI 转换之前，确保你的原始人声听起来正如你所希望的那样。 参考资料 https://musictech.com/news/gear/voice swap stem swap/ https://x.com/MusicTechMag/status/1763625310325735916?s=20 https://x.com/fffiloni/status/1757086330738065747?s=20 https://x.com/Djgirinnft/status/1759986146506092633?s=20 https://www.musicradar.com/news/datamind audio combobulator?utm source=pocket saves https://x.com/Deep In Depth/status/1763794507991019626?s=20 https://www.linkedin.com/posts/craigfechter youtube musicproduction musicproducer activity 7169429010962198529 c8 M?utm source=share&utm medium=member desktop 我是尾巴 感谢您观看至此处，如果文章对您有帮助，点个赞、在看、转发三连支持一波！您的支持是我最大的动力！ 叮当不是机器猫 您的支持是我最大的动力 喜欢作者 作者：叮当不是机器猫 ｜分享AI音乐动态，探索AI与音乐的无限可能！ 公众号：智音Brook 2024 03 02 21:40 广东 原文：https://mp.weixin.qq.com/s/q1TqyzJao8Z2YJYVK2s VQ 作者：叮当不是机器猫 ｜分享AI音乐动态，探索AI与音乐的无限可能！ 公众号：智音Brook 2024 03 02 21:40 广东 原文：https://mp.weixin.qq.com/s/q1TqyzJao8Z2YJYVK2s VQ 作者：叮当不是机器猫 ｜分享AI音乐动态，探索AI与音乐的无限可能！ 公众号：智音Brook 2024 03 02 21:40 广东 原文：https://mp.weixin.qq.com/s/q1TqyzJao8Z2YJYVK2s VQ 目录 Voice Swap 推出 Stem Swap，可重塑混音曲目的人声 SALMONN：语音音频语言音乐开放神经网络 LAIVE：AI 生成器乐曲目、歌词和人声一体 Combobulator：用AI合成技术重塑音乐创作界限 Vocs AI：您的免费人工智能语音生成器和转换器 Voice Swap 推出 Stem Swap，可重塑混音曲目的人声 链接：https://www.voice swap.ai/ Voice Swap 推出了 Stem Swap 工具，允许用户从完全混音的曲目中轻松快速地更改人声。这个基于浏览器的工具可以将歌曲分成四部分，隔离人声，并将其转换为其他歌手的声音。用户可以从授权歌手名单中选择新声音，并下载完整混音或各个音轨。这一功能预计将开启前所未有的创意和合作新途径。 SALMONN：语音音频语言音乐开放神经网络