ComfyUI 图片合并背景替换

ComfyUI 图片合并背景替换 ComfyUI 图片合并背景替换 Modified December 14, 2024 1. 图像遮罩复合节点 (上方节点): 这个节点主要用于精确的图像合成操作。 ◦ 目标图像: 这是您想要修改的主要图像。 ◦ 源图像: 这是将被添加到目标图像上的图像。 ◦ 遮罩: 决定源图像的哪些部分会被应用到目标图像上。白色区域表示完全应用,黑色区域表示不应用。 ◦ X和Y坐标: 允许您精确定位源图像在目标图像上的位置。 ◦ 拉伸源图像: 如果启用,源图像会被拉伸以匹配目标图像的大小。 这个节点适合于局部图像替换、添加元素或复杂的图像合成任务。 2. 图像混合节点 (下方节点): 这个节点用于将两个完整的图像混合在一起。 ◦ 图像1和图像2: 两个要混合的输入图像。 ◦ 混合系数: 控制两个图像的混合比例。0.00表示完全显示图像1,1.00表示完全显示图像2,中间值则是混合状态。 ◦ 混合模式: 决定如何计算混合结果。"soft light"是一种柔和的混合方式,但还可能有其他选项如"overlay"、"multiply"等。 这个节点适合于创建渐变效果、调整整体图像氛围或创造性的图像融合。 主要区别: 1. 操作范围: 遮罩复合节点允许精确到像素级的局部操作,而混合节点影响整个图像。 2. 控制方式: 遮罩复合使用遮罩来控制效果应用区域,混合节点使用混合系数来控制整体效果强度。 3. 用途: 遮罩复合适合精细的图像编辑和合成,混合节点更适合整体效果和风格调整。 在实际应用中,可能会先使用遮罩复合节点进行精确的图像合成,然后使用混合节点对整体结果进行调整,以获得理想的最终效果。 差异扩散与内补模型条件和设置latent噪波遮罩 1. 差异扩散 Differential diffusion： ◦ 功能：执行主要的图像生成或编辑过程。 ◦ 工作原理：通过逐步添加和移除噪声来转换图像。 ◦ 在工作流中：通常通过KSampler节点实现。 🎁 差异扩散的工作原理： • 实涉及反复添加和移除噪声。 • 具体来说，过程如下： a) 从原始图像或随机噪声开始。 b) 逐步添加噪声，逐渐破坏原始信息。 c) 然后逐步移除噪声，但是这个过程受到模型条件（如您的内补模型条件和Latent噪波遮罩）的指导。 d) 最终得到修改后的图像。 2. 内补模型条件 InpaintModelConditioning： ◦ 功能：为图像生成/编辑过程设置整体条件。 ◦ 遮罩使用：背景为白色（可编辑区域），主体为黑色（保护区域）。 ◦ 作用：提供整体图像上下文，指导生成过程考虑背景信息。 3. 设置Latent噪波遮罩 Set Latent Noise Mask： ◦ 功能：提供精细的局部控制。 ◦ 遮罩使用：精确覆盖需要修改的边缘区域。 ◦ 作用：指定具体需要修改的区域，实现精确控制。 三者之间的配合： 1. 互补关系： ◦ 内补模型条件提供全局指导。 ◦ Latent噪波遮罩提供局部精细控制。 ◦ 差异扩散（通过KSampler）执行实际的图像转换过程。 2. 工作流程： a) 内补模型条件设置整体生成/编辑方向。 b) Latent噪波遮罩指定具体需要修改的区域。 c) 差异扩散过程利用这两种输入来执行图像转换。 3. 各自作用： ◦ 内补模型条件：确保生成的内容与整体图像协调。 ◦ Latent噪波遮罩：精确控制修改区域，如边缘修复。 ◦ 差异扩散：基于提供的条件和控制执行实际的图像生成/编辑。 4. 优势： ◦ 这种组合提供了全局一致性和局部精细控制的平衡。 ◦ 允许在保持图像整体风格的同时，实现对特定区域（如边缘）的精确修复。 5. 使用建议： ◦ 为内补模型条件和Latent噪波遮罩使用不同的遮罩，以充分利用它们的特性。 ◦ 通过调整KSampler（实现差异扩散）的参数来平衡全局和局部效果。 6. 在边缘修复任务中： ◦ 内补模型条件帮助理解背景context。 ◦ Latent噪波遮罩精确定位需要修复的边缘。 ◦ 差异扩散过程then生成与背景协调且边缘自然的修复结果。 这三个组件的结合为图像编辑，特别是边缘修复任务。 LivePortrait 使用ComfyUI AdvancedLivePortrait这个节点时候， 可能会遇到错一个错误，就是少了landmark model.pth 这个文件。 在网盘里可以找到完整的。 资料链接 百度网盘 通过网盘分享的文件：图片换背景 链接: https://pan.baidu.com/s/1jN 0R791QmjxbIEgzRyv9w?pwd=cycy 提取码: cycy 说明文档 https://xiaobot.net/post/4ad59e75 46e4 43cb a0d2 70eab7e0da98 由于AI技术更新迭代，请以文档更新为准 更多内容收录在⬇️ https://xiaobot.net/p/GoToComfyUI 网盘 https://pan.quark.cn/s/a4b94677ce99 工作流 https://www.liblib.art/modelinfo/cc6d850d24f6462084c0bc1eb5374e3c?from=personal page 视频 https://www.bilibili.com/video/BV1FzsbeTEQV/?vd source=ecb7194379e23ea8b1cb52e3bd5d97ef workflow https://www.shakker.ai/modelinfo/cc6d850d24f6462084c0bc1eb5374e3c?from=personal page video https://youtu.be/W0x3VjwWnAQ 相关链接 ComfyUI IC Light https://github.com/kijai/ComfyUI IC Light lllyasviel/ic light https://huggingface.co/lllyasviel/ic light/tree/main ComfyUI AdvancedLivePortrait https://github.com/PowerHouseMan/ComfyUI AdvancedLivePortrait briaai/RMBG 1.4 https://huggingface.co/ZhengPeng7/BiRefNet/tree/main lama remover https://github.com/Sanster/models/releases/download/add big lama/big lama.pt dreamshaper xl https://civitai.com/models/112902/dreamshaper xl 扩展： comfyui inpaint nodes https://github.com/Acly/comfyui inpaint nodes?tab=readme ov file Fooocus https://github.com/lllyasviel/Fooocus ViperYX/BiRefNet https://huggingface.co/ViperYX/BiRefNet/tree/main ZhengPeng7/BiRefNet https://huggingface.co/ZhengPeng7/BiRefNet/tree/main 1. 图像遮罩复合节点 (上方节点): 这个节点主要用于精确的图像合成操作。 ◦ 目标图像: 这是您想要修改的主要图像。 ◦ 源图像: 这是将被添加到目标图像上的图像。 ◦ 遮罩: 决定源图像的哪些部分会被应用到目标图像上。白色区域表示完全应用,黑色区域表示不应用。 ◦ X和Y坐标: 允许您精确定位源图像在目标图像上的位置。 ◦ 拉伸源图像: 如果启用,源图像会被拉伸以匹配目标图像的大小。 ◦ 目标图像: 这是您想要修改的主要图像。 ◦ 源图像: 这是将被添加到目标图像上的图像。 ◦ 遮罩: 决定源图像的哪些部分会被应用到目标图像上。白色区域表示完全应用,黑色区域表示不应用。 ◦ X和Y坐标: 允许您精确定位源图像在目标图像上的位置。 ◦ 拉伸源图像: 如果启用,源图像会被拉伸以匹配目标图像的大小。 这个节点适合于局部图像替换、添加元素或复杂的图像合成任务。 2. 图像混合节点 (下方节点): 这个节点用于将两个完整的图像混合在一起。 ◦ 图像1和图像2: 两个要混合的输入图像。 ◦ 混合系数: 控制两个图像的混合比例。0.00表示完全显示图像1,1.00表示完全显示图像2,中间值则是混合状态。 ◦ 混合模式: 决定如何计算混合结果。"soft light"是一种柔和的混合方式,但还可能有其他选项如"overlay"、"multiply"等。 ◦ 图像1和图像2: 两个要混合的输入图像。 ◦ 混合系数: 控制两个图像的混合比例。0.00表示完全显示图像1,1.00表示完全显示图像2,中间值则是混合状态。 ◦ 混合模式: 决定如何计算混合结果。"soft light"是一种柔和的混合方式,但还可能有其他选项如"overlay"、"multiply"等。 这个节点适合于创建渐变效果、调整整体图像氛围或创造性的图像融合。 主要区别: 1. 操作范围: 遮罩复合节点允许精确到像素级的局部操作,而混合节点影响整个图像。 2. 控制方式: 遮罩复合使用遮罩来控制效果应用区域,混合节点使用混合系数来控制整体效果强度。 3. 用途: 遮罩复合适合精细的图像编辑和合成,混合节点更适合整体效果和风格调整。 在实际应用中,可能会先使用遮罩复合节点进行精确的图像合成,然后使用混合节点对整体结果进行调整,以获得理想的最终效果。 差异扩散与内补模型条件和设置latent噪波遮罩 1. 差异扩散 Differential diffusion： ◦ 功能：执行主要的图像生成或编辑过程。 ◦ 工作原理：通过逐步添加和移除噪声来转换图像。 ◦ 在工作流中：通常通过KSampler节点实现。 ◦ 功能：执行主要的图像生成或编辑过程。 ◦ 工作原理：通过逐步添加和移除噪声来转换图像。 ◦ 在工作流中：通常通过KSampler节点实现。 🎁 差异扩散的工作原理： • 实涉及反复添加和移除噪声。 • 具体来说，过程如下： a) 从原始图像或随机噪声开始。 b) 逐步添加噪声，逐渐破坏原始信息。 c) 然后逐步移除噪声，但是这个过程受到模型条件（如您的内补模型条件和Latent噪波遮罩）的指导。 d) 最终得到修改后的图像。 差异扩散的工作原理： • 实涉及反复添加和移除噪声。 • 具体来说，过程如下： a) 从原始图像或随机噪声开始。 b) 逐步添加噪声，逐渐破坏原始信息。 c) 然后逐步移除噪声，但是这个过程受到模型条件（如您的内补模型条件和Latent噪波遮罩）的指导。 d) 最终得到修改后的图像。 2. 内补模型条件 InpaintModelConditioning： ◦ 功能：为图像生成/编辑过程设置整体条件。 ◦ 遮罩使用：背景为白色（可编辑区域），主体为黑色（保护区域）。 ◦ 作用：提供整体图像上下文，指导生成过程考虑背景信息。 ◦ 功能：为图像生成/编辑过程设置整体条件。 ◦ 遮罩使用：背景为白色（可编辑区域），主体为黑色（保护区域）。 ◦ 作用：提供整体图像上下文，指导生成过程考虑背景信息。 3. 设置Latent噪波遮罩 Set Latent Noise Mask： ◦ 功能：提供精细的局部控制。 ◦ 遮罩使用：精确覆盖需要修改的边缘区域。 ◦ 作用：指定具体需要修改的区域，实现精确控制。 ◦ 功能：提供精细的局部控制。 ◦ 遮罩使用：精确覆盖需要修改的边缘区域。 ◦ 作用：指定具体需要修改的区域，实现精确控制。 三者之间的配合： 1. 互补关系： ◦ 内补模型条件提供全局指导。 ◦ Latent噪波遮罩提供局部精细控制。 ◦ 差异扩散（通过KSampler）执行实际的图像转换过程。 ◦ 内补模型条件提供全局指导。 ◦ Latent噪波遮罩提供局部精细控制。 ◦ 差异扩散（通过KSampler）执行实际的图像转换过程。 2. 工作流程： a) 内补模型条件设置整体生成/编辑方向。 b) Latent噪波遮罩指定具体需要修改的区域。 c) 差异扩散过程利用这两种输入来执行图像转换。 3. 各自作用： ◦ 内补模型条件：确保生成的内容与整体图像协调。 ◦ Latent噪波遮罩：精确控制修改区域，如边缘修复。 ◦ 差异扩散：基于提供的条件和控制执行实际的图像生成/编辑。 ◦ 内补模型条件：确保生成的内容与整体图像协调。 ◦ Latent噪波遮罩：精确控制修改区域，如边缘修复。 ◦ 差异扩散：基于提供的条件和控制执行实际的图像生成/编辑。 4. 优势： ◦ 这种组合提供了全局一致性和局部精细控制的平衡。 ◦ 允许在保持图像整体风格的同时，实现对特定区域（如边缘）的精确修复。 ◦ 这种组合提供了全局一致性和局部精细控制的平衡。 ◦ 允许在保持图像整体风格的同时，实现对特定区域（如边缘）的精确修复。 5. 使用建议： ◦ 为内补模型条件和Latent噪波遮罩使用不同的遮罩，以充分利用它们的特性。 ◦ 通过调整KSampler（实现差异扩散）的参数来平衡全局和局部效果。 ◦ 为内补模型条件和Latent噪波遮罩使用不同的遮罩，以充分利用它们的特性。 ◦ 通过调整KSampler（实现差异扩散）的参数来平衡全局和局部效果。 6. 在边缘修复任务中： ◦ 内补模型条件帮助理解背景context。 ◦ Latent噪波遮罩精确定位需要修复的边缘。 ◦ 差异扩散过程then生成与背景协调且边缘自然的修复结果。 ◦ 内补模型条件帮助理解背景context。 ◦ Latent噪波遮罩精确定位需要修复的边缘。 ◦ 差异扩散过程then生成与背景协调且边缘自然的修复结果。 这三个组件的结合为图像编辑，特别是边缘修复任务。 LivePortrait 使用ComfyUI AdvancedLivePortrait这个节点时候， 可能会遇到错一个错误，就是少了landmark model.pth 这个文件。 在网盘里可以找到完整的。 资料链接 百度网盘 通过网盘分享的文件：图片换背景 链接: https://pan.baidu.com/s/1jN 0R791QmjxbIEgzRyv9w?pwd=cycy 提取码: cycy 说明文档 https://xiaobot.net/post/4ad59e75 46e4 43cb a0d2 70eab7e0da98 由于AI技术更新迭代，请以文档更新为准 更多内容收录在⬇️ https://xiaobot.net/p/GoToComfyUI 网盘 https://pan.quark.cn/s/a4b94677ce99 工作流 https://www.liblib.art/modelinfo/cc6d850d24f6462084c0bc1eb5374e3c?from=personal page 视频 https://www.bilibili.com/video/BV1FzsbeTEQV/?vd source=ecb7194379e23ea8b1cb52e3bd5d97ef workflow https://www.shakker.ai/modelinfo/cc6d850d24f6462084c0bc1eb5374e3c?from=personal page video https://youtu.be/W0x3VjwWnAQ 相关链接 ComfyUI IC Light https://github.com/kijai/ComfyUI IC Light lllyasviel/ic light https://huggingface.co/lllyasviel/ic light/tree/main ComfyUI AdvancedLivePortrait https://github.com/PowerHouseMan/ComfyUI AdvancedLivePortrait briaai/RMBG 1.4 https://huggingface.co/ZhengPeng7/BiRefNet/tree/main lama remover https://github.com/Sanster/models/releases/download/add big lama/big lama.pt dreamshaper xl https://civitai.com/models/112902/dreamshaper xl 扩展： comfyui inpaint nodes https://github.com/Acly/comfyui inpaint nodes?tab=readme ov file Fooocus https://github.com/lllyasviel/Fooocus ViperYX/BiRefNet https://huggingface.co/ViperYX/BiRefNet/tree/main ZhengPeng7/BiRefNet https://huggingface.co/ZhengPeng7/BiRefNet/tree/main 背景替换是一个看似简单， 但是又难的活， 难在于不同图片合并时候要考虑， 光线、色调、边缘细节， 这个工作流在测试了目前多种技术， 选择了表示较好的， 将他们流程化。 有许多细节是需要注意的 背景移除 模型放在 E:\ComfyUI\models\rembg 需要下载对应的模型 填充背景 用来移除背景里面的主题， 模型需要放在 E:\ComfyUI\models\lama下 ic light 在管理器中节点管理 搜索 ComfyUI IC Light，安装后重启ComfyUI 模型可以在网盘里，下载后放入 ComfyUI/models/unet 文件夹 ic处理过的图片，颜色会发黄偏色， 这里就需要让做颜色匹配和细节的迁移， 注意， 不是IC Light处理过的就是好的， 有时候反而会负优化。 图像遮罩复合节点与图像混合