郑敏轩 ：Flux的Lora模型训练

郑敏轩 ：Flux的Lora模型训练 郑敏轩 ：Flux的Lora模型训练 Modified September 25, 2024 不过即使是train flux 24GLora的方式，也建议内存尽量想办法高于32G，避免意外情况的发生。 刚没说完，右键用代码编辑器方式打开（图中右边红框的两种任意一种均可，没有可以下载一下） 首先我们开头的绿色部分不用动 理论上只改红色部分： 底模路径、VAE路径、数据集路径，还有下面的clip路径和T5xxl路径： ⛱️ 文章开头的4件套，如果你在一个文件夹里，更简单一些，不用分辨，路径填上去就行。如果不在一起，首先找到你的flux1 dev底模的文件，把他的路径复制过来，注意复制过来后还是一套双引号，有同学会多双引号或者漏双引号，以及路径错误，都会导致后面训练无法进行。注意检查，慎重。 然后是ae的那个是VAE路径这里 注意训练集的路径！是到train截止！里面虽然还有一层文件夹，但是到此为止！ 往下，在SD3训练相关参数那里，咱们4件套不是还有2位吗？路径在这里（g那个不用管，是SD3里面的） 🏝️ 再次提醒检查格式，别漏了，错了 这是最简单的少量修改方式，可以直接看下一段：数据集准备。 建议随着深入以及经验丰富后再修改关于其他参数，温馨提醒修改其他深入参数的话自己最好最好备份管理。 蓝色部分可改可不改，是备注名称。 📚 以下内容也可以先略过，直接下一步 好以上最简单的就可以了，下面说一下第一个红框里，如果是非24G版本的，这里是fp16 第二个红框里是768 768， 原版都是设定好的，不用改就行，缩小是为了使用16G脚本让16G显卡能跑，不要显卡是16G的时候改大了爆显存。 数据集的准备 建议使用自然语言，其他和之前SDXL的训练一样，社区前面有SD训练的内容，不多介绍了 数据集放哪里？ 🏝️ .Flux train 20.4\train\qinglong\train 就是下图红色文件夹，里面一直往里找，顺带说一下绿色部分是训练好的模型产出的地方 🥖 如果此处还没有准备数据集的伙伴们呢，本身检查一下这个路径里面，会有原先放好的试验数据集，是可以直接使用的，也就是说你如果试验操作的话，这一步可以先省略，可以往下进行。等训练成功，再准备自己的训练集。 运行训练 约1 2小时即可训练完成 验证和lora跑图： 有comfyUI基础的话，直接原版工作流的模型后面，多加一个LoraloaderModelOnly的节点就可以，自行选择你的Lora和调节参数。 不过即使是train flux 24GLora的方式，也建议内存尽量想办法高于32G，避免意外情况的发生。 刚没说完，右键用代码编辑器方式打开（图中右边红框的两种任意一种均可，没有可以下载一下） 首先我们开头的绿色部分不用动 理论上只改红色部分： 底模路径、VAE路径、数据集路径，还有下面的clip路径和T5xxl路径： ⛱️ 文章开头的4件套，如果你在一个文件夹里，更简单一些，不用分辨，路径填上去就行。如果不在一起，首先找到你的flux1 dev底模的文件，把他的路径复制过来，注意复制过来后还是一套双引号，有同学会多双引号或者漏双引号，以及路径错误，都会导致后面训练无法进行。注意检查，慎重。 然后是ae的那个是VAE路径这里 注意训练集的路径！是到train截止！里面虽然还有一层文件夹，但是到此为止！ 往下，在SD3训练相关参数那里，咱们4件套不是还有2位吗？路径在这里（g那个不用管，是SD3里面的） 文章开头的4件套，如果你在一个文件夹里，更简单一些，不用分辨，路径填上去就行。如果不在一起，首先找到你的flux1 dev底模的文件，把他的路径复制过来，注意复制过来后还是一套双引号，有同学会多双引号或者漏双引号，以及路径错误，都会导致后面训练无法进行。注意检查，慎重。 然后是ae的那个是VAE路径这里 注意训练集的路径！是到train截止！里面虽然还有一层文件夹，但是到此为止！ 往下，在SD3训练相关参数那里，咱们4件套不是还有2位吗？路径在这里（g那个不用管，是SD3里面的） 🏝️ 再次提醒检查格式，别漏了，错了 再次提醒检查格式，别漏了，错了 这是最简单的少量修改方式，可以直接看下一段：数据集准备。 建议随着深入以及经验丰富后再修改关于其他参数，温馨提醒修改其他深入参数的话自己最好最好备份管理。 蓝色部分可改可不改，是备注名称。 📚 以下内容也可以先略过，直接下一步 以下内容也可以先略过，直接下一步 好以上最简单的就可以了，下面说一下第一个红框里，如果是非24G版本的，这里是fp16 第二个红框里是768 768， 原版都是设定好的，不用改就行，缩小是为了使用16G脚本让16G显卡能跑，不要显卡是16G的时候改大了爆显存。 数据集的准备 建议使用自然语言，其他和之前SDXL的训练一样，社区前面有SD训练的内容，不多介绍了 数据集放哪里？ 🏝️ .Flux train 20.4\train\qinglong\train 就是下图红色文件夹，里面一直往里找，顺带说一下绿色部分是训练好的模型产出的地方 .Flux train 20.4\train\qinglong\train 就是下图红色文件夹，里面一直往里找，顺带说一下绿色部分是训练好的模型产出的地方 🥖 如果此处还没有准备数据集的伙伴们呢，本身检查一下这个路径里面，会有原先放好的试验数据集，是可以直接使用的，也就是说你如果试验操作的话，这一步可以先省略，可以往下进行。等训练成功，再准备自己的训练集。 如果此处还没有准备数据集的伙伴们呢，本身检查一下这个路径里面，会有原先放好的试验数据集，是可以直接使用的，也就是说你如果试验操作的话，这一步可以先省略，可以往下进行。等训练成功，再准备自己的训练集。 运行训练 约1 2小时即可训练完成 验证和lora跑图： 有comfyUI基础的话，直接原版工作流的模型后面，多加一个LoraloaderModelOnly的节点就可以，自行选择你的Lora和调节参数。 🎉 作者 user 3 作者 user 3 大家好，上次讲了Flux简介，我们这次来讲讲Flux的Lora训练 首先你要确保你已经正确安装使用了Flux的各个模块 哈哈，开个玩笑，其实不用安装使用也是可以训练的 但是你要把当时需要的几个模型下载下来： 🥇 • t5xxl fp16.safetensors • clip l.safetensors • ae.safetensors • flux1 dev.safetensors • t5xxl fp16.safetensors • clip l.safetensors • ae.safetensors • flux1 dev.safetensors 注意： 👍 1. 你不使用的话他们放到哪里都可以，甚至放一起一个文件夹，只要你知道“路径”，我们后面要引用到“路径” 2. 因为是训练，不是跑图，跑图我们可以寻求降低方案，训练的话，哈哈模型就用flux1 dev.safetensors这个版本，编码器也用t5xxl fp16.safetensors这个版本最好。 1. 你不使用的话他们放到哪里都可以，甚至放一起一个文件夹，只要你知道“路径”，我们后面要引用到“路径” 2. 因为是训练，不是跑图，跑图我们可以寻求降低方案，训练的话，哈哈模型就用flux1 dev.safetensors这个版本，编码器也用t5xxl fp16.safetensors这个版本最好。 好，接下来我们使用青龙的训练脚本，在此给青龙大大跪拜一下 阿弥陀佛 下载脚本 网盘链接： ✏️ 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59 🚅 通过百度网盘分享的文件：Flux train 20.4.zip 链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi MQ?pwd=pfsq 提取码：pfsq 来自百度网盘超级会员V3的分享 通过百度网盘分享的文件：Flux train 20.4.zip 链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi MQ?pwd=pfsq 提取码：pfsq 来自百度网盘超级会员V3的分享 安装虚拟环境 好，下载完，解压 首先在文件中找到 install cn qinglong.ps1这个文件，右键， 选择“使用PowerShell运行” 新手的话这里就点击“Y” 然后等待那么1 2小时的漫长下载过程 2 hours later... 下好了之后最后会提示你是否下载hunyuan模型，选择n不用下载 修改脚本路径和参数 接下来，如果你的显卡是16G的，右键16G那个train flux 16GLora的文件， 如果你的显卡是24G或更高的，右键24G那个train flux 24GLora的文件， （DB全参微调会对硬件要求更高一些，内存32G是不行的）