ComfyUI 换装服饰一致性

ComfyUI 换装服饰一致性 ComfyUI 换装服饰一致性 Modified December 14, 2024 27x27 的网格大小来自于 CLIP ViT L/14 (Contrastive Language Image Pre training) 视觉编码器的设计。 CLIP 的图像处理方式： CLIP 视觉编码器使用 ViT (Vision Transformer) 架构 输入图像（384x384 像素）被分割成小块（patches） 每个 patch 的大小是 14x14 像素 因此：384 ÷ 14 = 27，形成 27x27 的 patch 网格 网格控制参数 style grid size： 从代码中的grid sizes数组可以看到所有可能的网格大小： 1: 27x27 = 729 tokens（最强细节） 2: 25x25 = 625 tokens 3: 23x23 = 529 tokens 4: 21x21 = 441 tokens 5: 19x19 = 361 tokens 6: 17x17 = 289 tokens 7: 15x15 = 225 tokens 8: 13x13 = 169 tokens 9: 11x11 = 121 tokens 10: 9x9 = 81 tokens 11: 7x7 = 49 tokens 12: 5x5 = 25 tokens 13: 3x3 = 9 tokens 14: 1x1 = 1 token（最弱细节） 影响力控制： prompt influence: 控制提示词强度（0.1 2.0，默认1.0） reference influence: 控制参考图像影响（0.1 2.0，默认1.0） 实际影响力 = 设定值的平方 实际影响： tokens数量随着style grid size增大而递减 网格越密集（数字越小），保留的风格特征细节越多 网格越稀疏（数字越大），保留的只是整体风格 缩减风格tokens数量插值方法 reduction interpolation 参数指定了在缩减风格tokens数量时使用的插值方法。虽然这个参数和图像处理中的插值方法名字一样，但是用途有所不同： 在风格tokens处理中，插值方法用于决定如何从原始的风格tokens（27x27=729个）计算缩减后的tokens值（比如9x9=81个）。 插值方法（interpolation mode）： bicubic（默认）：双三次插值 bilinear：双线性插值 nearest：最近邻插值 area：区域插值 特点说明： 1. nearest（最近邻）: • 就像下棋选格子，直接选最近的点 • 简单直接，但可能显得生硬 2. area（区域）: • 像在计算班级平均分，把一片区域的值都算进去 • 结果更平均，但可能失去一些特色 3. bilinear（双线性）: • 考虑周围2x2最近的点 • 像调色时混合相邻的颜色 • 效果介于nearest和bicubic之间 4. bicubic（双三次，默认）: • 考虑4x4范围的点，越近的点权重越大 • 就像水墨画的晕染效果，过渡更自然 • 能更好地保持风格的细节 使用建议： • 想要最好的效果，用默认的bicubic • 追求速度用nearest • 需要均衡效果用bilinear • 要保持整体特征用area 资料链接 百度网盘 通过网盘分享的文件：换装服饰一致性 链接: https://pan.baidu.com/s/10b6wvLyK4nOi9ia7783q7Q?pwd=cycy 提取码: cycy 来自百度网盘超级会员v5的分享 说明文档 https://www.xiaobot.net/post/08b76e4e 178a 43f1 ae96 074d506ef768 由于AI技术更新迭代，请以文档更新为准 更多内容收录在⬇️ https://xiaobot.net/p/GoToComfyUI 网盘 https://pan.quark.cn/s/f9007c10187b 工作流 https://www.liblib.art/modelinfo/deb0f623fea74b0d88dc3e1d4891f976 视频 https://www.bilibili.com/video/BV1d6qxYwEA5/ youtube https://youtu.be/oC6gO9CqxPA workflow https://openart.ai/workflows/cychenyue/e commerce dress up clothing consistency/4ufYjJ9TcqFiEoa4WzL6 https://www.shakker.ai/modelinfo/deb0f623fea74b0d88dc3e1d4891f976/E commerce outfit consistency 相关链接 ComfyUI Redux Prompt https://github.com/CY CHENYUE/ComfyUI Redux Prompt ComfyUI InpaintEasy https://github.com/CY CHENYUE/ComfyUI InpaintEasy Flux fill模型 https://pan.quark.cn/s/c49ff4ada496 Flux Redux模型 https://pan.quark.cn/s/ded3c59c2265 27x27 的网格大小来自于 CLIP ViT L/14 (Contrastive Language Image Pre training) 视觉编码器的设计。 CLIP 的图像处理方式： CLIP 视觉编码器使用 ViT (Vision Transformer) 架构 输入图像（384x384 像素）被分割成小块（patches） 每个 patch 的大小是 14x14 像素 因此：384 ÷ 14 = 27，形成 27x27 的 patch 网格 网格控制参数 style grid size： 从代码中的grid sizes数组可以看到所有可能的网格大小： 1: 27x27 = 729 tokens（最强细节） 2: 25x25 = 625 tokens 3: 23x23 = 529 tokens 4: 21x21 = 441 tokens 5: 19x19 = 361 tokens 6: 17x17 = 289 tokens 7: 15x15 = 225 tokens 8: 13x13 = 169 tokens 9: 11x11 = 121 tokens 10: 9x9 = 81 tokens 11: 7x7 = 49 tokens 12: 5x5 = 25 tokens 13: 3x3 = 9 tokens 14: 1x1 = 1 token（最弱细节） 影响力控制： prompt influence: 控制提示词强度（0.1 2.0，默认1.0） reference influence: 控制参考图像影响（0.1 2.0，默认1.0） 实际影响力 = 设定值的平方 实际影响： tokens数量随着style grid size增大而递减 网格越密集（数字越小），保留的风格特征细节越多 网格越稀疏（数字越大），保留的只是整体风格 缩减风格tokens数量插值方法 reduction interpolation 参数指定了在缩减风格tokens数量时使用的插值方法。虽然这个参数和图像处理中的插值方法名字一样，但是用途有所不同： 在风格tokens处理中，插值方法用于决定如何从原始的风格tokens（27x27=729个）计算缩减后的tokens值（比如9x9=81个）。 插值方法（interpolation mode）： bicubic（默认）：双三次插值 bilinear：双线性插值 nearest：最近邻插值 area：区域插值 特点说明： 1. nearest（最近邻）: • 就像下棋选格子，直接选最近的点 • 简单直接，但可能显得生硬 2. area（区域）: • 像在计算班级平均分，把一片区域的值都算进去 • 结果更平均，但可能失去一些特色 3. bilinear（双线性）: • 考虑周围2x2最近的点 • 像调色时混合相邻的颜色 • 效果介于nearest和bicubic之间 4. bicubic（双三次，默认）: • 考虑4x4范围的点，越近的点权重越大 • 就像水墨画的晕染效果，过渡更自然 • 能更好地保持风格的细节 使用建议： • 想要最好的效果，用默认的bicubic • 追求速度用nearest • 需要均衡效果用bilinear • 要保持整体特征用area 资料链接 百度网盘 通过网盘分享的文件：换装服饰一致性 链接: https://pan.baidu.com/s/10b6wvLyK4nOi9ia7783q7Q?pwd=cycy 提取码: cycy 来自百度网盘超级会员v5的分享 说明文档 https://www.xiaobot.net/post/08b76e4e 178a 43f1 ae96 074d506ef768 由于AI技术更新迭代，请以文档更新为准 更多内容收录在⬇️ https://xiaobot.net/p/GoToComfyUI 网盘 https://pan.quark.cn/s/f9007c10187b 工作流 https://www.liblib.art/modelinfo/deb0f623fea74b0d88dc3e1d4891f976 视频 https://www.bilibili.com/video/BV1d6qxYwEA5/ youtube https://youtu.be/oC6gO9CqxPA workflow https://openart.ai/workflows/cychenyue/e commerce dress up clothing consistency/4ufYjJ9TcqFiEoa4WzL6 https://www.shakker.ai/modelinfo/deb0f623fea74b0d88dc3e1d4891f976/E commerce outfit consistency 相关链接 ComfyUI Redux Prompt https://github.com/CY CHENYUE/ComfyUI Redux Prompt ComfyUI InpaintEasy https://github.com/CY CHENYUE/ComfyUI InpaintEasy Flux fill模型 https://pan.quark.cn/s/c49ff4ada496 Flux Redux模型 https://pan.quark.cn/s/ded3c59c2265 这个工作流，可以用在电商服饰行业，换装，虚拟试穿等场景。 在提升效果的同时，简化了工作流。 没有繁琐的依赖，环境，更多的使用了原生的节点。 工作流的整体思路是： 首先，生成适合服装的模特。 为什么做这一步？ 这是因为，很多时候，换装的效果不好，有违和感，是因为服装和人物匹配。 这一步，我们可以抽卡，抽到满意的模特后进入第二步。 第二步，开始进行高精度的换装。 先进行预处理的工作，拼出来mask 然后重绘mask区域。 工作流解释 模特生成 接下来一起来过一下工作流 先生成与衣服匹配的模特 这里可以先不关注衣服的相似度，先抽出满意的模特。 这里加入Redux模型，强度不用太高。 让提示词生效， Redux prompt节点风格细节等级 (1=27×27最强, 14=1×1最弱)）。 服装高精度处理 mask的处理 高精度换装前的准备: 这里做两个工作 1. 将模特身上的衣服分割出来 2. 拼接出来对应模特与衣服合并后图片的遮罩 提示词格式与Redux权重 这里使用的是Flux的fill模型， 提示词书写的格式：这是一组图片，左边是衣服，右边的模特穿着左边的衣服 需要注意的是，Redux这里，把权重的调整为最大。 这样我们就可以对mask位置，对服装进行了进一步的处理 原来的服装细节得到了还原，并且也有了需要的模特。 27x27 网格