语音训练大模型CosyVoice零基础小白本地部署

语音训练大模型CosyVoice零基础小白本地部署 语音训练大模型CosyVoice零基础小白本地部署 Modified April 20, 2025 我们强烈建议使用 CosyVoice2 0.5B 以获得更好的性能。对于 zero shot/cross lingual 推理，请使用 CosyVoice 300M 模型。对于 sft 推理，请使用 CosyVoice 300M SFT 模型。对于 instruct 推理，请使用 CosyVoice 300M Instruct 模型。 CosyVoice2 0.5B是基础的高效模型 个人3秒极速复刻语音推荐选择CosyVoice 300M 模型 如果是使用内置训练好的语音包，则推荐CosyVoice 300M SFT。 需要对语气进行训练的，可以使用CosyVoice 300M Instruct模型。 CosyVoice 300M 25Hz是最新更新的模型，可以试一试 第五步：运行模型 1. 激活环境（重要） Code block Python conda activate cosyvoice 2. 运行webui.python Code block Python python webui.py port 50000 model dir pretrained models/CosyVoice 300M SFT • 这里的CosyVoice 300M SFT是指模型名称，可以替换你模型包里的其他模型： • 模型列表： CosyVoice2 0.5B CosyVoice 300M CosyVoice 300M 25Hz CosyVoice 300M SFT CosyVoice 300M Instruct • 如果你想要使用最新的25hz模型： Code block Python python webui.py port 50000 model dir pretrained models/CosyVoice 300M 25Hz 3. 在浏览器输入：http://127.0.0.1:50000，来到webui界面 第六步：制作模型启动器 1. 在cosyvoice的根目录，新建一个文本文档 2. 打开txt文档，输入以下命令： Code block Python @echo off call conda activate cosyvoice start http://127.0.0.1:50000 python webui.py port 50000 model dir pretrained models/CosyVoice 300M pause 3. 保存后关闭，将txt文件重命名为CosyVoice 300M.bat，这里的名字代表着模型的名称，其它模型可以这个格式进行复制修改 4. 备注：这一步的启动器我没有跑通，有佬可以指点的话，不胜感激 三、使用方法： 一、使用预训练音色 • 推荐模型：300M SFT • 使用方法： 1. 推理模式：预训练音色 2. 选择预训练音色：自选 3. 流式推理：如果合成文本较长，可以选择流式 4. 可以随机种子，也可以不选择种子 5. 在上方输入需要合成的文本 6. 最下方，单击生成音频 可以单击下载，但是速度比较慢 二、3s极速复刻 • 推荐模型：300M，0.5B • 使用方法： 1. 录制或者上传音频 2. 把音频中的文字输入到prompt的文本栏，请与音频内容一致 3. 输入要合成文本的内容 4. 单击生成音频 我们强烈建议使用 CosyVoice2 0.5B 以获得更好的性能。对于 zero shot/cross lingual 推理，请使用 CosyVoice 300M 模型。对于 sft 推理，请使用 CosyVoice 300M SFT 模型。对于 instruct 推理，请使用 CosyVoice 300M Instruct 模型。 CosyVoice2 0.5B是基础的高效模型 个人3秒极速复刻语音推荐选择CosyVoice 300M 模型 如果是使用内置训练好的语音包，则推荐CosyVoice 300M SFT。 需要对语气进行训练的，可以使用CosyVoice 300M Instruct模型。 CosyVoice 300M 25Hz是最新更新的模型，可以试一试 第五步：运行模型 1. 激活环境（重要） 2. 运行webui.python • 这里的CosyVoice 300M SFT是指模型名称，可以替换你模型包里的其他模型： • 模型列表： CosyVoice2 0.5B CosyVoice 300M CosyVoice 300M 25Hz CosyVoice 300M SFT CosyVoice 300M Instruct • 如果你想要使用最新的25hz模型： 3. 在浏览器输入：http://127.0.0.1:50000，来到webui界面 第六步：制作模型启动器 1. 在cosyvoice的根目录，新建一个文本文档 2. 打开txt文档，输入以下命令： 3. 保存后关闭，将txt文件重命名为CosyVoice 300M.bat，这里的名字代表着模型的名称，其它模型可以这个格式进行复制修改 4. 备注：这一步的启动器我没有跑通，有佬可以指点的话，不胜感激 三、使用方法： 一、使用预训练音色 • 推荐模型：300M SFT • 使用方法： 1. 推理模式：预训练音色 2. 选择预训练音色：自选 3. 流式推理：如果合成文本较长，可以选择流式 4. 可以随机种子，也可以不选择种子 5. 在上方输入需要合成的文本 6. 最下方，单击生成音频 可以单击下载，但是速度比较慢 二、3s极速复刻 • 推荐模型：300M，0.5B • 使用方法： 1. 录制或者上传音频 2. 把音频中的文字输入到prompt的文本栏，请与音频内容一致 3. 输入要合成文本的内容 4. 单击生成音频 前言： • 如果不想折腾，直接下载刘悦的技术博客(B站/Youtube 同名)的CosyVoice2一键包(支持50系显卡): https://pan.quark.cn/s/1a7c07b0616b • 如果想尝试自己本地部署，请参照以下教学 • 项目地址：https://github.com/FunAudioLLM/CosyVoice 参考教学： 1.B站教学：https://www.bilibili.com/video/BV1durfYKEmS/?vd source=89579609ff9a5bb5330aaf89ebde811a 整合包： 2.CosyVoice 本地部署详细教程 手把手小白教程：https://blog.csdn.net/huazn612/article/details/141856359 视频部分：cosyvoice本地部署详细教程 手把手小白版 cosyvoice本地部署详细教程 手把手小白版 本教学综合了上述两位大佬的教程，根据自己电脑情况进行安装部署 一、准备工作： • nvidia显卡,建议显存6G以上 • AI框架CUDA、cuDNN安装 （已安装可跳过此步骤） • Git安装（已安装可跳过此步骤） • Miniconda安装（已安装可跳过此步骤） • 安装python（已安装可跳过此步骤） 这一部分参考https://blog.csdn.net/huazn612/article/details/141856359 我这里使用了VScode进行安装，vscode中需要安装python 二、本地部署： 第一步：创建项目文件夹，进入VScode，建立终端 • 在你需要安装的位置创建一个文件夹，名为COSYVOICE，如F:\COSY VOICE • 打开VScode，单击文件，选择打开文件夹，大概刚才创建的文件夹COSY VOICE • 新建终端： 第二步：在COSY VOICE文件夹中克隆项目 下载不下来的话，可以大概梯子，或者git加速 • 此时左边栏出现CosyVoice文件夹，位置在COSY VOICE文件夹的目录下，输入以下代码 第三步：创建环境和安装依赖 • 创建名为cosyvoice，python版本为3.10的环境，这里不要开梯子和代理。输入代码： • 这里的python环境是3.10，安装过程中需要输入两次y后按回车确认 • 安装完成后，输入以下代码激活环境，命令行最左边会出现(cosyvoice)环境名 • 安装pynini • 打开requirement文件，删除两行linux的两行，可以抄下面的代码复制 • 改完记得保存，可以输入以下代码开始安装，但是强烈建议pytorch自己下载安装，会快很多（往下找） 我这里用的是清华的镜像，可以根据自己的网速修改，下面是官方的，二选一即可 • 注意，这里的pytorch下载非常慢，过程中会停止 • 先自己安装pytorch，再安装requirement： 1. 复制这个网址：https://download.pytorch.org/whl/cu121/torch 2.3.1%2Bcu121 cp310 cp310 win amd64.whl，粘贴到浏览器进行下载，或者使用迅雷等第三方工具（推荐，速度提升很多） 2. 或者这里： torch 2.3.1+cu121 cp310 cp310 win amd64.whl 2.26GB torch 2.3.1+cu121 cp310 cp310 win amd64.whl 2.26GB 3. 下载后放到F:\COSY VOICE\CosyVoice 目录 4. 输入安装指令，示例如下： 5. 安装完pytorch后，再安装requirements 安装完成界面： 第四步：下载模型 • 在CosyVoice目录下创建一个python文件，可命名为model download.py，打开后复制以下代码： 这里是下载全部模型，可以删掉你不需要的（模型介绍往下看） • 在CosyVoice的目录下，运行这个py文件，即可启动模型的下载，我的下载的目录为F:\COSY VOICE\CosyVoice\pretrained models • 如果报错没开始下载，请输入以下代码后重新运行python文件 安装完成后，重新运行py文件 官方的模型说明：