ComfyUI 老照片修复Flux Controlnet Upscale

ComfyUI 老照片修复Flux Controlnet Upscale ComfyUI 老照片修复Flux Controlnet Upscale Modified December 14, 2024 现在， 这个模型出来，结合这个工作流，只要十几个基础的节点就能实现同样的效果， 甚至可能更好。 参数的调节 一般做法是先确认放大的倍数，然后根据出来的图片来调整controlNet的强度。 Controlnet Upscaler 放大模型 • 模型介绍：Flux.1 dev ControlNet 是 Jasper 研究团队为低分辨率图像开发的模型。 • 使用方法：可直接与 diffusers 库一起使用，通过特定代码加载管道，加载控制图像并进行图像处理。 • 训练方式：采用合成复杂数据退化方案，结合图像噪声、模糊和 JPEG 压缩等多种方式对真实图像进行人工退化。目的: 这种训练方法的目的是让模型学会处理各种真实世界中可能遇到的图像退化情况，从而在实际应用中表现更好。 • 引用文献：训练方式类似 Wang, Xintao 等人在 2021 年发表的 “Real esrgan: Training real world blind super resolution with pure synthetic data.” 中的方法。 • 许可证：该模型属于 Flux.1 dev 模型许可证范畴 Flux Ultimator 细节增强 细节：能增加小细节，让图像尽可能逼真。 鲜艳色彩增强：可放大色调的丰富性和深度。 使用：在 0.1 的强度设置下也能有显著增强效果。 集成：能顺利集成到工作流程中，与其他 LORA 结合使用效果好，结合时需将强度降低小于 0.5。 T5 Clip 如果你发现出来的图片质量细节不够，选择fp16的版本。 图像的传递 controlNet这里传递的应该是上传的原始图片，因为这个是controlNet而不是潜空间图像。 关于flux unet的weight dtype 1. Flux模型的用途： Flux模型主要用于图像处理，特别是上采样（upscaling）。这类任务通常需要较高的精度来保留图像细节。 2. fp8格式的特性： ◦ fp8 e4m3fn: 4位指数，3位尾数，通常提供更好的精度。 ◦ fp8 e5m2: 5位指数，2位尾数，提供更大的数值范围但精度较低。 3. 图像处理需求： 图像处理，尤其是高质量上采样，通常更依赖于精确的小数值表示，而不是极大或极小数值的表示能力。 4. 硬件兼容性： 现代GPU通常对fp8 e4m3fn格式有更好的优化支持。 5. 常见实践： 在没有特殊需求的情况下，图像处理模型通常倾向于选择提供更高精度的格式。 基于以上分析，我的推论是： 对于Flux模型，特别是在进行图像上采样任务时，fp8 e4m3fn 可能是更好的选择。原因如下： 1. 更高的精度有利于保留图像细节和纹理。 2. 图像处理通常不需要特别大的数值范围，fp8 e4m3fn的精度优势更为重要。 3. 这种格式在现代GPU上可能有更好的性能表现。 资料链接 百度网盘 通过网盘分享的文件：老照片 链接: https://pan.baidu.com/s/1Tsx1DGxmFC btxkhlR3c1w?pwd=cycy 提取码: cycy 来自百度网盘超级会员v5的分享 说明文档 https://xiaobot.net/post/27770e61 18df 4920 9dc9 cc4c79191d5f 由于AI技术更新迭代，请以文档更新为准 更多内容收录在⬇️ https://xiaobot.net/p/GoToComfyUI 网盘 https://pan.quark.cn/s/8144fe0b40b9 工作流 https://www.liblib.art/modelinfo/0872a006e6b44940b6d46c1f8b58408d?versionUuid=32f74edbac10490e9100b4e0e9087849 视频 https://www.bilibili.com/video/BV1SL2JY4E7U/ workflow https://openart.ai/workflows/cychenyue/flux controlnet upscale/XsEKTG1cvnRXYdsPsQVc https://www.shakker.ai/modelinfo/0872a006e6b44940b6d46c1f8b58408d?from=personal page video https://youtu.be/8IlmS9OnGKI 相关链接 jasperai/Flux.1 dev Controlnet Upscaler https://huggingface.co/jasperai/Flux.1 dev Controlnet Upscaler 细节lora https://civitai.com/models/792297/flux ultimator or another flux detailer Aesthetic Amateur Photo 真实感lora https://civitai.com/models/689192?modelVersionId=805898 ComfyUI Molmo 节点 https://github.com/CY CHENYUE/ComfyUI Molmo 现在， 这个模型出来，结合这个工作流，只要十几个基础的节点就能实现同样的效果， 甚至可能更好。 参数的调节 一般做法是先确认放大的倍数，然后根据出来的图片来调整controlNet的强度。 Controlnet Upscaler 放大模型 • 模型介绍：Flux.1 dev ControlNet 是 Jasper 研究团队为低分辨率图像开发的模型。 • 使用方法：可直接与 diffusers 库一起使用，通过特定代码加载管道，加载控制图像并进行图像处理。 • 训练方式：采用合成复杂数据退化方案，结合图像噪声、模糊和 JPEG 压缩等多种方式对真实图像进行人工退化。目的: 这种训练方法的目的是让模型学会处理各种真实世界中可能遇到的图像退化情况，从而在实际应用中表现更好。 • 引用文献：训练方式类似 Wang, Xintao 等人在 2021 年发表的 “Real esrgan: Training real world blind super resolution with pure synthetic data.” 中的方法。 • 许可证：该模型属于 Flux.1 dev 模型许可证范畴 Flux Ultimator 细节增强 细节：能增加小细节，让图像尽可能逼真。 鲜艳色彩增强：可放大色调的丰富性和深度。 使用：在 0.1 的强度设置下也能有显著增强效果。 集成：能顺利集成到工作流程中，与其他 LORA 结合使用效果好，结合时需将强度降低小于 0.5。 T5 Clip 如果你发现出来的图片质量细节不够，选择fp16的版本。 图像的传递 controlNet这里传递的应该是上传的原始图片，因为这个是controlNet而不是潜空间图像。 关于flux unet的weight dtype 1. Flux模型的用途： Flux模型主要用于图像处理，特别是上采样（upscaling）。这类任务通常需要较高的精度来保留图像细节。 2. fp8格式的特性： ◦ fp8 e4m3fn: 4位指数，3位尾数，通常提供更好的精度。 ◦ fp8 e5m2: 5位指数，2位尾数，提供更大的数值范围但精度较低。 ◦ fp8 e4m3fn: 4位指数，3位尾数，通常提供更好的精度。 ◦ fp8 e5m2: 5位指数，2位尾数，提供更大的数值范围但精度较低。 3. 图像处理需求： 图像处理，尤其是高质量上采样，通常更依赖于精确的小数值表示，而不是极大或极小数值的表示能力。 4. 硬件兼容性： 现代GPU通常对fp8 e4m3fn格式有更好的优化支持。 5. 常见实践： 在没有特殊需求的情况下，图像处理模型通常倾向于选择提供更高精度的格式。 基于以上分析，我的推论是： 对于Flux模型，特别是在进行图像上采样任务时，fp8 e4m3fn 可能是更好的选择。原因如下： 1. 更高的精度有利于保留图像细节和纹理。 2. 图像处理通常不需要特别大的数值范围，fp8 e4m3fn的精度优势更为重要。 3. 这种格式在现代GPU上可能有更好的性能表现。 资料链接 百度网盘 通过网盘分享的文件：老照片 链接: https://pan.baidu.com/s/1Tsx1DGxmFC btxkhlR3c1w?pwd=cycy 提取码: cycy 来自百度网盘超级会员v5的分享 说明文档 https://xiaobot.net/post/27770e61 18df 4920 9dc9 cc4c79191d5f 由于AI技术更新迭代，请以文档更新为准 更多内容收录在⬇️ https://xiaobot.net/p/GoToComfyUI 网盘 https://pan.quark.cn/s/8144fe0b40b9 工作流 https://www.liblib.art/modelinfo/0872a006e6b44940b6d46c1f8b58408d?versionUuid=32f74edbac10490e9100b4e0e9087849 视频 https://www.bilibili.com/video/BV1SL2JY4E7U/ workflow https://openart.ai/workflows/cychenyue/flux controlnet upscale/XsEKTG1cvnRXYdsPsQVc https://www.shakker.ai/modelinfo/0872a006e6b44940b6d46c1f8b58408d?from=personal page video https://youtu.be/8IlmS9OnGKI 相关链接 jasperai/Flux.1 dev Controlnet Upscaler https://huggingface.co/jasperai/Flux.1 dev Controlnet Upscaler 细节lora https://civitai.com/models/792297/flux ultimator or another flux detailer Aesthetic Amateur Photo 真实感lora https://civitai.com/models/689192?modelVersionId=805898 ComfyUI Molmo 节点 https://github.com/CY CHENYUE/ComfyUI Molmo 以前做了一个高清放大的工作流， 被很多小伙伴用在淘宝上做老照片修复。 之前的工作流比较复杂，