ComfyUI 视频背景替换工作流

ComfyUI 视频背景替换工作流 ComfyUI 视频背景替换工作流 Modified December 14, 2024 4. 处理过程： ◦ 模型在白色和灰色区域进行精细处理 ◦ 包括边缘平滑、消除锯齿、调整像素等操作 ◦ 特别注重前景和背景交界处的自然过渡 5. 最终效果： ◦ 人物轮廓边缘变得更加平滑自然 ◦ 减少或消除锯齿和硬边缘 ◦ 在前景（人物）和新背景之间创造更自然的blend效果 6. 背景替换： ◦ 原始背景（黑色区域）将被新内容替换 ◦ 边缘处理确保新背景与处理过的前景边缘自然融合 模型与lora 模型部分，选一个现有和视频画风对应的即可， lora用了一个animate lcm，加速生成的时间。 ic light 在管理器中节点管理 搜索 ComfyUI IC Light，安装后重启ComfyUI 模型可以在网盘里，下载后放入 ComfyUI/models/unet 文件夹 IC Light是用来处理原视频和新背景之间的光影效果的。 Animatediff 这个部分根据实际情况，可以开启或者关闭 取决于视频的流畅度。 controlNet 用了一个tile来固定画面，让采样生成后的视频与原来一致。 之后就是采样部分了， 在生成视频时候， 使用了一个补帧。 资料链接 https://pan.baidu.com/s/1NomdtOR6TbaurTuzGwoMUw?pwd=cycy 说明文档 https://xiaobot.net/post/0e6aa763 98a2 4cc5 867c 44aca7e887ea 由于AI技术更新迭代，请以文档更新为准 更多内容收录在⬇️ https://xiaobot.net/p/GoToComfyUI 网盘 https://pan.quark.cn/s/4e5232c92746 工作流 https://www.liblib.art/modelinfo/23c073ff88194c32be15fe56977223ef?from=personal page 视频 https://www.bilibili.com/video/BV1NZHfeREAp/?vd source=ecb7194379e23ea8b1cb52e3bd5d97ef workflow https://openart.ai/workflows/e3H4DwH55TlMBlT7MI4A https://www.shakker.ai/modelinfo/9f06f370c1614be89180c1c9fb9864eb?from=personal page video https://youtu.be/nf753qp1pLg 相关链接 segment anything https://github.com/facebookresearch/segment anything comfyui segment anything https://github.com/storyicon/comfyui segment anything ComfyUI IC Light https://github.com/kijai/ComfyUI IC Light lllyasviel/ic light https://huggingface.co/lllyasviel/ic light/tree/main https://www.patreon.com/posts/new video free 109770732 4. 处理过程： ◦ 模型在白色和灰色区域进行精细处理 ◦ 包括边缘平滑、消除锯齿、调整像素等操作 ◦ 特别注重前景和背景交界处的自然过渡 ◦ 模型在白色和灰色区域进行精细处理 ◦ 包括边缘平滑、消除锯齿、调整像素等操作 ◦ 特别注重前景和背景交界处的自然过渡 5. 最终效果： ◦ 人物轮廓边缘变得更加平滑自然 ◦ 减少或消除锯齿和硬边缘 ◦ 在前景（人物）和新背景之间创造更自然的blend效果 ◦ 人物轮廓边缘变得更加平滑自然 ◦ 减少或消除锯齿和硬边缘 ◦ 在前景（人物）和新背景之间创造更自然的blend效果 6. 背景替换： ◦ 原始背景（黑色区域）将被新内容替换 ◦ 边缘处理确保新背景与处理过的前景边缘自然融合 ◦ 原始背景（黑色区域）将被新内容替换 ◦ 边缘处理确保新背景与处理过的前景边缘自然融合 模型与lora 模型部分，选一个现有和视频画风对应的即可， lora用了一个animate lcm，加速生成的时间。 ic light 在管理器中节点管理 搜索 ComfyUI IC Light，安装后重启ComfyUI 模型可以在网盘里，下载后放入 ComfyUI/models/unet 文件夹 IC Light是用来处理原视频和新背景之间的光影效果的。 Animatediff 这个部分根据实际情况，可以开启或者关闭 取决于视频的流畅度。 controlNet 用了一个tile来固定画面，让采样生成后的视频与原来一致。 之后就是采样部分了， 在生成视频时候， 使用了一个补帧。 资料链接 https://pan.baidu.com/s/1NomdtOR6TbaurTuzGwoMUw?pwd=cycy 说明文档 https://xiaobot.net/post/0e6aa763 98a2 4cc5 867c 44aca7e887ea 由于AI技术更新迭代，请以文档更新为准 更多内容收录在⬇️ https://xiaobot.net/p/GoToComfyUI 网盘 https://pan.quark.cn/s/4e5232c92746 工作流 https://www.liblib.art/modelinfo/23c073ff88194c32be15fe56977223ef?from=personal page 视频 https://www.bilibili.com/video/BV1NZHfeREAp/?vd source=ecb7194379e23ea8b1cb52e3bd5d97ef workflow https://openart.ai/workflows/e3H4DwH55TlMBlT7MI4A https://www.shakker.ai/modelinfo/9f06f370c1614be89180c1c9fb9864eb?from=personal page video https://youtu.be/nf753qp1pLg 相关链接 segment anything https://github.com/facebookresearch/segment anything comfyui segment anything https://github.com/storyicon/comfyui segment anything ComfyUI IC Light https://github.com/kijai/ComfyUI IC Light lllyasviel/ic light https://huggingface.co/lllyasviel/ic light/tree/main https://www.patreon.com/posts/new video free 109770732 这个工作流可以较好的将原视频的背景替换成新的视频或者图片背景。 做了边缘细化处理， 解决了背景替换后边缘结合部分不自然的情况。 工作流 前景处理 使用SAM来分割视频背景， 这里测试过SAM2，还有它和florence结合的，效果都不太理想， 生成的蒙版不全或者溢出， 所以这里用SAM之前的版本。 提示词和阈值，大家根据实际情况调整。 移除背景后， 使用图像遮罩复合， 生成一个灰色背景的图像批次， 这是为了后续和背景融合时，过渡的更自然顺滑。 灰色背景可以帮助柔化前景对象（如人物）的边缘，减少锯齿或硬边缘的视觉效果。 Segment Anything 语义分割转蒙版 在网盘里可以找到对应的模型， 下载后按文件夹目录地址放置。 ComfyUI 根目录下的 models/grounding dino 目录 ComfyUI 根目录下的 models/sams 目录 ComfyUI 根目录下的 models/grounding dino 目录 ComfyUI 根目录下的 models/sams 目录 Tip：为什么是灰色 🐵 柔化边缘： • 灰色背景可以帮助柔化前景对象（如人物）的边缘，减少锯齿或硬边缘的视觉效果。 改善抠图质量： • 对于一些难以完美分割的区域（如头发、半透明物体），灰色背景可以提供更自然的过渡。 为后续处理做准备： • 灰色背景可以为后续的图像处理步骤（如颜色匹配、混合等）提供一个中性的基础。 减少背景干扰： • 在某些情况下，完全透明的背景可能会在后续处理中引入不必要的伪影。灰色背景可以减少这种风险。 增加深度感： • 浅灰色背景可以给前景对象增加一些深度感，使其看起来更加立体。 便于视觉检查： • 灰色背景使得前景对象的轮廓和细节更容易被观察和评估。 柔化边缘： • 灰色背景可以帮助柔化前景对象（如人物）的边缘，减少锯齿或硬边缘的视觉效果。 改善抠图质量： • 对于一些难以完美分割的区域（如头发、半透明物体），灰色背景可以提供更自然的过渡。 为后续处理做准备： • 灰色背景可以为后续的图像处理步骤（如颜色匹配、混合等）提供一个中性的基础。 减少背景干扰： • 在某些情况下，完全透明的背景可能会在后续处理中引入不必要的伪影。灰色背景可以减少这种风险。 增加深度感： • 浅灰色背景可以给前景对象增加一些深度感，使其看起来更加立体。 便于视觉检查： • 灰色背景使得前景对象的轮廓和细节更容易被观察和评估。 背景 背景部分，可以是图片或者视频， 为了有一个前后的视觉效果， 这里加了一个图像的模糊， 让生成的视频有种景深的效果 前景与背景的初步融合 图像遮罩复合（ImageCompositeMasked）的作用： • 这个步骤主要用于将前景（人物）精确地与新背景合并。 • 它使用遮罩来决定哪些部分应该保留前景，哪些部分应该显示背景。 图像混合（ImageBlend）的额外作用： • 微调和平滑化：即使在遮罩复合后，前景和背景的边界可能还是有些生硬。图像混合可以帮助进一步软化这些边界。 • 颜色协调：它可以帮助调整前景和背景的整体色调，使整个图像看起来更加和谐。 • 细节增强：通过适当的混合模式，可以增强某些细节或纹理。 • 灵活性：允许对最终效果进行更精细的控制，例如通过调整混合强度（在您的设置中是0.8）来微调效果。 边缘的处理 这个过程的核心是优化和改善前景对象的边缘，使其能够与新背景无缝融合，同时保持前景细节的完整性和自然性。 通过遮罩模糊生长（growMaskWithBlur）， 调整扩展和模糊半径来控制边缘的遮罩。 1. 边缘处理的主要目的： ◦ 改善前景（如人物）和背景之间的过渡效果 ◦ 消除锯齿和不自然的硬边缘 ◦ 使整体合成效果更加自然和平滑 ◦ 改善前景（如人物）和背景之间的过渡效果 ◦ 消除锯齿和不自然的硬边缘 ◦ 使整体合成效果更加自然和平滑 2. 遮罩的作用： ◦ 白色区域（人物轮廓）：这是需要重点处理和优化的区域 ◦ 灰色过渡区域：这是创造平滑过渡的关键区域，允许在前景和背景之间进行柔和blend ◦ 白色区域（人物轮廓）：这是需要重点处理和优化的区域 ◦ 灰色过渡区域：这是创造平滑过渡的关键区域，允许在前景和背景之间进行柔和blend 3. SetLatentNoiseMask的功能： ◦ 在latent space中指导模型关注和处理特定区域 ◦ 主要关注白色和灰色区域，这些区域会得到更多的处理和调整 ◦ 在latent space中指导模型关注和处理特定区域 ◦ 主要关注白色和灰色区域，这些区域会得到更多的处理和调整