ComfyUI FLUX
ComfyUI FLUX
ComfyUI FLUX ComfyUI FLUX Modified December 13, 2024 ComfyUI原生支持 FLUX.1有三个变体：FLUX.1[pro]、FLUX.1[dev]和FLUX.1[schnell] 1. FLUX.1 [pro]：通过 API 提供，被认为是最强的模型，在指令跟随、视觉质量、图像细节以及多样性方面表现出色。 2. FLUX.1 [dev]：具有非商用许可，是从“FLUX.1 [pro]”提炼得出。显卡不够的, 用下面这个模型:fp8版本的flux1 dev fp8 模型（12GB VRAM 运行） 3. FLUX.1 [schnell]：Flux Schnell是一个蒸馏的4步模型,拥有 Apache 2.0 商用许可，属于 4 步模型，适用于在本地进行部署或者个人使用。 模型链接 FLUX.1 [dev] https://huggingface.co/black forest labs/FLUX.1 dev/tree/main FLUX.1 [dev fp8]https://huggingface.co/Kijai/flux fp8 FLUX.1 [schnell]https://huggingface.co/black forest labs/FLUX.1 schnell/tree/main 模型比较大, 下载慢的可以从网盘里下. 模型与工作流地址 https://pan.quark.cn/s/2797ea47f691 https://pan.baidu.com/s/1nV26Fhn3WYBLrg2hSA0 YQ?pwd=cycy 说明文档 https://xiaobot.net/post/8fd64f3f 52d1 4948 824d 5ee0c38e2594 模型的安装部署 模型 FLUX.1 [dev] FLUX.1 [dev fp8] FLUX.1 [schnell], 选一个. 建议选择dev版本的, 显卡可以的用fp16, 显卡不够用的选fp8. 模型下载后,放入，这个文件应该放在你的：ComfyUI/models/unet/文件夹中。 如果爆显存了,“UNET加载器”节点中的weight dtype可以控制模型中权重使用的数据类型, 设置为fp8，这将使显存使用量降低一半，但可能会稍微降低质量. 默认下的weight type,显存使用比较大. clip t5xxl fp16. safetensors和clip l.safetensors,放在ComfyUI/models/clip/ 文件夹里面. https://huggingface.co/comfyanonymous/flux text encoders/tree/main 可以使用t5xxl fp8 e4m3fn.safetensors来降低内存使用率，但是如果你有超过32GB内存，建议使用fp16 t5xxl fp8 t5xxl fp16 Vae 下载后,放入ComfyUI/models/vae文件夹 https://huggingface.co/black forest labs/FLUX.1 schnell/tree/main T5（/t5xxl fp16.safetensors）的这个clip， 原本是有一个输入输出的。 就是有一半是应该空着的。 会导致提示词被吞的情况，就是可能会有一半的提示词被吞掉了。 所以短提示的效果会比较差。 我们在训练flux或者sd3时候，应该尽量的去用长提示词或者自然语言。 不要用短提示词。因为T5自带了50%的删标。 guidance scale（CFG） flux是没有CFG的，CFG是一种控制生成过程中模型对输入提示（通常是文本描述）的依从程度的参数。 cfg是实际上是正面提示词+负面提示词， 1是抵消负面提示词。 2是正面提示词+1权重的负面词。 延伸资料 官方公告：https://blackforestlabs.ai/announcing black forest labs/ 项目地址：https://github.com/black forest labs/flux ComfyUI 工作流：https://comfyanonymous.github.io/ComfyUI examples/flux/ clip l的代替：https://huggingface.co/zer0int/CLIP GmP ViT L 14/tree/main ComfyUI原生支持 FLUX.1有三个变体：FLUX.1[pro]、FLUX.1[dev]和FLUX.1[schnell] 1. FLUX.1 [pro]：通过 API 提供，被认为是最强的模型，在指令跟随、视觉质量、图像细节以及多样性方面表现出色。 2. FLUX.1 [dev]：具有非商用许可，是从“FLUX.1 [pro]”提炼得出。显卡不够的, 用下面这个模型:fp8版本的flux1 dev fp8 模型（12GB VRAM 运行） 3. FLUX.1 [schnell]：Flux Schnell是一个蒸馏的4步模型,拥有 Apache 2.0 商用许可，属于 4 步模型，适用于在本地进行部署或者个人使用。 模型链接 FLUX.1 [dev] https://huggingface.co/black forest labs/FLUX.1 dev/tree/main FLUX.1 [dev fp8]https://huggingface.co/Kijai/flux fp8 FLUX.1 [schnell]https://huggingface.co/black forest labs/FLUX.1 schnell/tree/main 模型比较大, 下载慢的可以从网盘里下. 模型与工作流地址 https://pan.quark.cn/s/2797ea47f691 https://pan.baidu.com/s/1nV26Fhn3WYBLrg2hSA0 YQ?pwd=cycy 说明文档 https://xiaobot.net/post/8fd64f3f 52d1 4948 824d 5ee0c38e2594 模型比较大, 下载慢的可以从网盘里下. 模型与工作流地址 https://pan.quark.cn/s/2797ea47f691 https://pan.baidu.com/s/1nV26Fhn3WYBLrg2hSA0 YQ?pwd=cycy 说明文档 https://xiaobot.net/post/8fd64f3f 52d1 4948 824d 5ee0c38e2594 模型的安装部署 模型 FLUX.1 [dev] FLUX.1 [dev fp8] FLUX.1 [schnell], 选一个. 建议选择dev版本的, 显卡可以的用fp16, 显卡不够用的选fp8. 模型下载后,放入，这个文件应该放在你的：ComfyUI/models/unet/文件夹中。 如果爆显存了,“UNET加载器”节点中的weight dtype可以控制模型中权重使用的数据类型, 设置为fp8，这将使显存使用量降低一半，但可能会稍微降低质量. 默认下的weight type,显存使用比较大. clip t5xxl fp16. safetensors和clip l.safetensors,放在ComfyUI/models/clip/ 文件夹里面. https://huggingface.co/comfyanonymous/flux text encoders/tree/main 可以使用t5xxl fp8 e4m3fn.safetensors来降低内存使用率，但是如果你有超过32GB内存，建议使用fp16 t5xxl fp8 t5xxl fp16 t5xxl fp8 t5xxl fp16 Vae 下载后,放入ComfyUI/models/vae文件夹 https://huggingface.co/black forest labs/FLUX.1 schnell/tree/main T5（/t5xxl fp16.safetensors）的这个clip， 原本是有一个输入输出的。 就是有一半是应该空着的。 会导致提示词被吞的情况，就是可能会有一半的提示词被吞掉了。 所以短提示的效果会比较差。 我们在训练flux或者sd3时候，应该尽量的去用长提示词或者自然语言。 不要用短提示词。因为T5自带了50%的删标。 guidance scale（CFG） flux是没有CFG的，CFG是一种控制生成过程中模型对输入提示（通常是文本描述）的依从程度的参数。 cfg是实际上是正面提示词+负面提示词， 1是抵消负面提示词。 2是正面提示词+1权重的负面词。 延伸资料 官方公告：https://blackforestlabs.ai/announcing black forest labs/ 项目地址：https://github.com/black forest labs/flux ComfyUI 工作流：https://comfyanonymous.github.io/ComfyUI examples/flux/ clip l的代替：https://huggingface.co/zer0int/CLIP GmP ViT L 14/tree/main