FLUX这下真无敌了！多种官方FLUX工具开源

FLUX这下真无敌了！多种官方FLUX工具开源 FLUX这下真无敌了！多种官方FLUX工具开源 Modified November 25, 2024 ✏️ 官方的ControlNet使用前面我们有介绍最早的ControlNet郑敏轩：Flux的controlnet系列，这次官方做了Canny和Depth模型。 👍 方式一：大模型方法（官方制作了大模型） 1. 下载flux1 canny dev模型和flux1 depth dev模型放到你的ComfyUI/models/diffusion models/文件夹中。夸克网盘：链接：https://pan.quark.cn/s/571d174ec17f 百度网盘：见前文 2. 加载flux canny model example工作流，运行即可。depth需要自行更改。夸克网盘：链接：https://pan.quark.cn/s/d2271cb6e81f 百度网盘：见前文方式二：Lora方法（官方也制作了Lora） 1. 下载模型到你的ComfyUI/models/loras/文件夹中夸克网盘：链接：https://pan.quark.cn/s/571d174ec17f 百度网盘：见前文 2. 加载工作流，运行即可。canny需要自行更改。夸克网盘：链接：https://pan.quark.cn/s/d2271cb6e81f 百度网盘：见前文 flux depth and canny lora.json 11.28KB flux depth and canny mode.json 11.99KB flux fill inpaint.json 11.56KB flux redux model.json 25.18KB 可以复用ipa的很多Lerp的玩法郑敏轩：Flux的controlnet系列 ✏️ 官方的ControlNet使用前面我们有介绍最早的ControlNet郑敏轩：Flux的controlnet系列，这次官方做了Canny和Depth模型。郑敏轩：Flux的controlnet系列 👍 方式一：大模型方法（官方制作了大模型） 1. 下载flux1 canny dev模型和flux1 depth dev模型放到你的ComfyUI/models/diffusion models/文件夹中。夸克网盘：链接：https://pan.quark.cn/s/571d174ec17f 百度网盘：见前文 2. 加载flux canny model example工作流，运行即可。depth需要自行更改。夸克网盘：链接：https://pan.quark.cn/s/d2271cb6e81f 百度网盘：见前文方式二：Lora方法（官方也制作了Lora） 1. 下载模型到你的ComfyUI/models/loras/文件夹中夸克网盘：链接：https://pan.quark.cn/s/571d174ec17f 百度网盘：见前文 2. 加载工作流，运行即可。canny需要自行更改。夸克网盘：链接：https://pan.quark.cn/s/d2271cb6e81f 百度网盘：见前文方式一：大模型方法（官方制作了大模型） 1. 下载flux1 canny dev模型和flux1 depth dev模型放到你的ComfyUI/models/diffusion models/文件夹中。夸克网盘：链接：https://pan.quark.cn/s/571d174ec17f 百度网盘：见前文 2. 加载flux canny model example工作流，运行即可。depth需要自行更改。夸克网盘：链接：https://pan.quark.cn/s/d2271cb6e81f 百度网盘：见前文方式二：Lora方法（官方也制作了Lora） 1. 下载模型到你的ComfyUI/models/loras/文件夹中夸克网盘：链接：https://pan.quark.cn/s/571d174ec17f 百度网盘：见前文 2. 加载工作流，运行即可。canny需要自行更改。夸克网盘：链接：https://pan.quark.cn/s/d2271cb6e81f 百度网盘：见前文 flux depth and canny lora.json 11.28KB flux depth and canny lora.json 11.28KB flux depth and canny mode.json 11.99KB flux depth and canny mode.json 11.99KB flux fill inpaint.json 11.56KB flux fill inpaint.json 11.56KB flux redux model.json 25.18KB flux redux model.json 25.18KB 可以复用ipa的很多Lerp的玩法 🎉 API也支持了while offering best in class capabilities through our API. We release each tool in the BFL API as FLUX.1 [pro] variants and with inference code and weights available as guidance distilled, open access FLUX.1 [dev] variants. Additionally, we are excited that our released models will be available via our partners fal.ai, Replicate, Together.ai, Freepik and krea.ai. API也支持了while offering best in class capabilities through our API. We release each tool in the BFL API as FLUX.1 [pro] variants and with inference code and weights available as guidance distilled, open access FLUX.1 [dev] variants. Additionally, we are excited that our released models will be available via our partners fal.ai, Replicate, Together.ai, Freepik and krea.ai. 🎉 流量预警90G 通过百度网盘分享的文件：flux1 depth dev lora.safetensors 链接：https://pan.baidu.com/s/10BmYtY3sU1VQzwUy2gpNlw?pwd=qflr 提取码：qflr 通过百度网盘分享的文件：flux1 canny dev lora.safetensors 链接：https://pan.baidu.com/s/1of0t1vg4EZDXEGKtrCSNXg?pwd=yp1w 提取码：yp1w 通过百度网盘分享的文件：sigclip vision patch14 384.safetensors 链接：https://pan.baidu.com/s/1an6intihM3sBkAQtT570Rg?pwd=y7vr 提取码：y7vr 通过百度网盘分享的文件：flux1 redux dev.safetensors 链接：https://pan.baidu.com/s/1q 1gTVAOaDuuPhdYEiUXPw?pwd=bal5 提取码：bal5 流量预警90G 通过百度网盘分享的文件：flux1 depth dev lora.safetensors 链接：https://pan.baidu.com/s/10BmYtY3sU1VQzwUy2gpNlw?pwd=qflr 提取码：qflr 通过百度网盘分享的文件：flux1 canny dev lora.safetensors 链接：https://pan.baidu.com/s/1of0t1vg4EZDXEGKtrCSNXg?pwd=yp1w 提取码：yp1w 通过百度网盘分享的文件：sigclip vision patch14 384.safetensors 链接：https://pan.baidu.com/s/1an6intihM3sBkAQtT570Rg?pwd=y7vr 提取码：y7vr 通过百度网盘分享的文件：flux1 redux dev.safetensors 链接：https://pan.baidu.com/s/1q 1gTVAOaDuuPhdYEiUXPw?pwd=bal5 提取码：bal5 🔗 原文链接： https://mp.weixin.qq.com/s/eZYKUcJT... https://mp.weixin.qq.com/s/eZYKUcJT... 原创歸藏的 AI 工具箱歸藏的AI工具箱 2024年11月21日 23:51 北京本来以为黑森林工作室开源完FLUX Dev模型后面不想再搞开源了，没想到一下整了一个大的。 FLUX这下真无敌了！！发布官方的FLUX系列开源工具： • FLUX.1 Fill 局部重绘和扩图模型 • FLUX.1 Depth&Canny 官方Controlnet模型 • FLUX.1 Redux 通过提示转换图像风格基本上把用FLUX做一个AI画图应用需要的工具和模型都给你了，而且Comfyui已经支持，现在就可以冲了。使用 FLUX.1 填充进行修复和修复【Let's Go！首先第一个是Fill，它有两个显而易见的功能：重绘和扩充】 FLUX.1 Fill 引入了先进的修复功能，超越了 Ideogram 2.0 等现有工具和 AlimamaCreative 的 FLUX Controlnet Inpainting 等流行的开源变体。它允许无缝编辑，与现有图像自然集成。此外，FLUX.1 Fill 支持 outpainting ，使用户能够将图像扩展到原始边界之外。【这个真的是非常实用的功能啊，重绘我们可以用来改图（看我寥寥几笔外加咒语大声一喝，唉？）；扩充也是极常见的需求（图像不够，扩充来凑）】他们自己的测试表明Flux.1 Fill [pro] 的性能优于所有其他竞争方法，使其成为迄今为止最先进的修复模型。其次是 Flux.1 Fill [dev]，其性能优于专有解决方案，同时推理效率更高。【发布方自己说：“目前最好的是FlUX.1 Fill[pro]（非开源版），然后开源的FLUX.1 Fill[dev]也超过了Ideogram V2。” 嗯？嗯？怎么有点英伟达显卡老黄“刀法”的味道？这拿捏的尺寸。。。】【不管怎样，给我们开源生态带来了大礼，Flux推出至今已经有100多天了，真的是发展飞速。国内的开源也做得非常棒，像阿里、智谱、小红书、字节等大厂都有积极在做开源】使用 FLUX.1 Canny / Depth 进行结构调节结构调节使用精明的边缘或深度检测来在图像转换过程中保持精确控制。通过边缘或深度图保留原始图像的结构，用户可以进行文本引导的编辑，同时保持核心构图完整。这对于重新纹理图像特别有效。【接着是ControlNet，前面我们有介绍最早的ControlNet，这次官方做了Canny和Depth模型。】【FLUX.1 Canny [dev] 是 120 亿个参数。生成的输出可用于 FLUX.1[dev]非商业许可证中所述的个人、科学和商业目的。官方在他们的GitHub上提供了 FLUX.1 Canny [dev] 的参考实现以及示例代码。鼓励希望在 FLUX.1 Canny [dev] 之上构建的开发人员和创意人员以此为起点。】 FLUX.1 Canny / Depth 有两个版本：可实现最大性能的完整模型，以及基于 FLUX.1 [dev] 的 LoRA 版本，可更轻松地开发。使用FLUX.1 Redux进行图像变化和重新设计 FLUX.1 Redux 是适用于所有 FLUX.1 基本模型的适配器，用于生成图像变化。给定输入图像，FLUX.1 Redux 可以重现具有轻微变化的图像，从而可以细化给定图像。它自然地集成到更复杂的工作流程中，通过提示解锁图像重新设计。通过API，可以通过提供图像和提示来重新设计样式。最新型号 FLUX1.1 [pro] Ultra 支持该功能，允许组合输入图像和文本提示，以创建具有灵活宽高比的高质量 4 兆像素输出。 ComfyUI支持 ComfyUI 同步支持了 Black Forest Labs 为 Flux.1 设计的 3 个系列新模型： Redux Adapter 、 Fill Model 、 ControlNet Models 和 LoRA （Depth 和 Canny）。模型下载 FLUX.1 Fill：https://huggingface.co/black forest labs/FLUX.1 Fill dev FLUX.1 Depth：https://huggingface.co/black forest labs/FLUX.1 Depth dev Flux.1 Canny：https://huggingface.co/black forest labs/FLUX.1 Canny dev FLUX.1 Redux：https://huggingface.co/black forest labs/FLUX.1 Redux dev ComfyUI工作流：https://blog.comfy.org/day 1 support for flux tools in comfyui/ BFL官方为Flux.1发的Fill (Inpaiting/Outpating)、Redux（类似IPA）、ControlNet三个系列模型目前可以在ComfyUI里使用了。其中Redux可以同时和dev/schnell配合使用，目前其他模型需要和dev一起使用。 ControlNet同时有full model和LoRA形式！ Example workflow: https://comfyanonymous.github.io/ComfyUI examples/ Full blog post: https://blog.comfy.org/day 1 support for flux tools in comfyui/ ComfyUI教程使用方法：接下来本文介绍的是ComfyUI中的使用方法。有了模型以后，也存在其他使用方式，这个就等其他大佬研究发布了，本文暂时不做展开。 ComfyUI中的Fill使用 📌 1. 将你的ComfyUI更新到最新。 2. 将clip l和t5xxl fp16模型下载到 models/clip 文件夹。确保你的 ComfyUI/models/clip/ 目录中，有 t5xxl fp16.safetensors 和 clip l.safetensors，你可以改用 t5xxl fp8 e4m3fn.safetensors 来降低内存使用量，但如果您的 RAM 超过 32GB，建议使用 fp16 。跑过flux就有这些模型，没有的话翻之前文章有下载 🎨 工具教程：Flux 3. 在你的 ComfyUI/models/vae/ 文件夹中，有下面这个vae模型：ae.safetensors 夸克网盘：https://pan.quark.cn/s/57e7366b2308 4. 将最开始下载的 flux1 fill dev.safetensors 放于 ComfyUI/models/unet/ 文件夹中夸克网盘：https://pan.quark.cn/s/ce898c9c8313 百度网盘：链接：https://pan.baidu.com/s/1u PrqTBw1mLNumeimSTzyg?pwd=99dz 提取码：99dz 5. 使用flux inpainting example或者flux outpainting example工作流。夸克网盘：链接：https://pan.quark.cn/s/4ec9d4cfce89 百度网盘：链接：https://pan.baidu.com/s/1qK 2kUojF6nsha9cD2Eg2Q?pwd=ris5 提取码：ris5 🎨 工具教程：Flux 1. 将你的ComfyUI更新到最新。 2. 将clip l和t5xxl fp16模型下载到 models/clip 文件夹。确保你的 ComfyUI/models/clip/ 目录中，有 t5xxl fp16.safetensors 和 clip l.safetensors，你可以改用 t5xxl fp8 e4m3fn.safetensors 来降低内存使用量，但如果您的 RAM 超过 32GB，建议使用 fp16 。跑过flux就有这些模型，没有的话翻之前文章有下载 🎨 工具教程：Flux 🎨 工具教程：Flux 3. 在你的 ComfyUI/models/vae/ 文件夹中，有下面这个vae模型：ae.safetensors 夸克网盘：https://pan.quark.cn/s/57e7366b2308 4. 将最开始下载的 flux1 fill dev.safetensors 放于 ComfyUI/models/unet/ 文件夹中夸克网盘：https://pan.quark.cn/s/ce898c9c8313 百度网盘：链接：https://pan.baidu.com/s/1u PrqTBw1mLNumeimSTzyg?pwd=99dz 提取码：99dz 5. 使用flux inpainting example或者flux outpainting example工作流。夸克网盘：链接：https://pan.quark.cn/s/4ec9d4cfce89 百度网盘：链接：https://pan.baidu.com/s/1qK 2kUojF6nsha9cD2Eg2Q?pwd=ris5 提取码：ris5 ComfyUI中的Redux使用 1. 将你的ComfyUI更新到最新。 2. 下载 sigclip vision patch14 384.safetensors 模型并将其放在 ComfyUI/models/clip vision 文件夹中。夸克网盘：链接：https://pan.quark.cn/s/739f71d42b87 百度网盘：见前文 3. 下载 flux1 redux dev.safetensors 并将其放在 ComfyUI/models/style models 文件夹中。夸克网盘：链接：https://pan.quark.cn/s/32c8291c1c72 百度网盘：见前文 4. 确保你的ComfyUI/models/unet/文件夹中有flux dev 或 flux schnell。 🎨 工具教程：Flux 🎨 工具教程：Flux 5. 导入工作流：使用flux redux model example工作流。夸克网盘：链接：https://pan.quark.cn/s/4ec9d4cfce89 百度网盘：链接：https://pan.baidu.com/s/1qK 2kUojF6nsha9cD2Eg2Q?pwd=ris5 提取码：ris5

在小宇宙note 阅读完整内容