ComfyUI FLUX低显存运行
ComfyUI FLUX低显存运行
ComfyUI FLUX低显存运行 ComfyUI FLUX低显存运行 Modified December 13, 2024 https://pan.baidu.com/s/1nV26Fhn3WYBLrg2hSA0 YQ?pwd=cycy 模型与工作流地址 https://pan.quark.cn/s/2797ea47f691 说明文档随技术迭代持续更新，请以文档为准 https://xiaobot.net/post/76b1ec33 30f0 42ea 8e5f b1501ba63c12 工作流 这个方法的目的是让FLUX模型能在较低的显存情况下也能运行. 分阶段处理的思路: 1. 使用 Flux 模型进行初始生成，在较低分辨率下工作以提高效率 2. 采用两阶段处理：先用 Flux 生成，后用 SDXL 放大，效控制显存的使用 3. 使用SD放大提升图片质量 工作流的流程: 初始图像生成（Flux）: • UNETLoader: 加载 flux1 dev.sft 模型 • DualCLIPLoader: 加载 t5xxl 和 clip l 模型 • VAELoader: 加载 flux ae.sft • CLIPTextEncode: 处理输入提示词 • BasicGuider 和 RandomNoise: 生成初始噪声和引导 • SamplerCustomAdvanced: 使用 Flux 模型生成初始图像 • VAEDecode: 解码生成的潜在图像 初始图像预览: • PreviewImage: 显示 Flux 生成的初始图像 图像放大和细化（SDXL）: • CheckpointLoaderSimple: 加载 SDXL 模型 (fenrisxl SDXLLightning.safetensors) • UpscaleModelLoader: 加载 RealESRGAN x4.pth 用于放大 • VAELoader: 加载 sdxl vae.safetensors • ImageSharpen: 对初始图像进行锐化处理 • UltimateSDUpscale: 使用 SDXL 模型和放大模型进行最终的放大和细化 最终图像预览: • PreviewImage: 显示最终放大和细化后的图像 PLUX模型的选择 FLUX模型用的半精度fp8 dev版本(能用单精度dev版本的尽量用), 另外也同时适合fp8的T8模型, 来降低对内存的占用.记得,可以把weight dtype也设置为fp8, 这能降低对显存的使用. 建议 先闭关高清放大部分, 等跑出来效果满意的图片后, 再开启放大 https://pan.baidu.com/s/1nV26Fhn3WYBLrg2hSA0 YQ?pwd=cycy 模型与工作流地址 https://pan.quark.cn/s/2797ea47f691 说明文档随技术迭代持续更新，请以文档为准 https://xiaobot.net/post/76b1ec33 30f0 42ea 8e5f b1501ba63c12 模型与工作流地址 https://pan.quark.cn/s/2797ea47f691 说明文档随技术迭代持续更新，请以文档为准 https://xiaobot.net/post/76b1ec33 30f0 42ea 8e5f b1501ba63c12 工作流 这个方法的目的是让FLUX模型能在较低的显存情况下也能运行. 分阶段处理的思路: 1. 使用 Flux 模型进行初始生成，在较低分辨率下工作以提高效率 2. 采用两阶段处理：先用 Flux 生成，后用 SDXL 放大，效控制显存的使用 3. 使用SD放大提升图片质量 工作流的流程: 初始图像生成（Flux）: • UNETLoader: 加载 flux1 dev.sft 模型 • DualCLIPLoader: 加载 t5xxl 和 clip l 模型 • VAELoader: 加载 flux ae.sft • CLIPTextEncode: 处理输入提示词 • BasicGuider 和 RandomNoise: 生成初始噪声和引导 • SamplerCustomAdvanced: 使用 Flux 模型生成初始图像 • VAEDecode: 解码生成的潜在图像 初始图像预览: • PreviewImage: 显示 Flux 生成的初始图像 图像放大和细化（SDXL）: • CheckpointLoaderSimple: 加载 SDXL 模型 (fenrisxl SDXLLightning.safetensors) • UpscaleModelLoader: 加载 RealESRGAN x4.pth 用于放大 • VAELoader: 加载 sdxl vae.safetensors • ImageSharpen: 对初始图像进行锐化处理 • UltimateSDUpscale: 使用 SDXL 模型和放大模型进行最终的放大和细化 最终图像预览: • PreviewImage: 显示最终放大和细化后的图像 PLUX模型的选择 FLUX模型用的半精度fp8 dev版本(能用单精度dev版本的尽量用), 另外也同时适合fp8的T8模型, 来降低对内存的占用.记得,可以把weight dtype也设置为fp8, 这能降低对显存的使用. 建议 先闭关高清放大部分, 等跑出来效果满意的图片后, 再开启放大