ComfyUI AniamteDiff图片融合视频

ComfyUI AniamteDiff图片融合视频 ComfyUI AniamteDiff图片融合视频 Modified December 14, 2024 参数设置 这里我们上传4张图片，并且使用image batch复制图像来制作批次。 为什么需要做这一步操作呢？ 这是为了在使用IPAdapter时候，每一帧都可以参考上传的图片，让风格迁移更像。 上传的这个蒙版视频是为了在帧与帧之间做遮罩过渡，添加一个动态的效果。 IPAdapter IPAdapter来做图像的风格迁移，对应四张图片。 使用遮罩来控制每张图片显示的帧数， 需要注意的是从第0帧开始计算，一张图片16帧，加上中间过渡的8帧， 所以，我们在创建遮罩时候，就需要做如下的设置， 需要显示的帧设置为1，隐藏的为0 以此类推。 这样我们就把4张图片融合成了一个96帧的序列，并且使用遮罩控制每一帧显示出来的画面。 Animatediff Animatediff里面使用v3 sd15 mm模型，并且添加一个运动lora，让生产的视频具有更多的动态效果。 controlNet 前面我们上传了一个遮罩的视频。但是这个视频的帧数不一定和准备生成的视频一样。 所以用前面设置的视频帧数96除以这个遮罩视频的的帧数，得到一个两者的一个倍数。 然后用这个数来批量复制相应的次数，就能得到需要帧数的遮罩。 通过复制图像批次得到的遮罩，有两个用途： 一是作为线条控制的遮罩，让每一帧生成的图片有更多的变化； 二是作为qrcode控制的图像输入，作为帧过渡的遮罩，这里的参数不建议设置太高，高了会影响画面。 放大 这里，建议刚才开始可以先ctrl+b， 等生成满意的视频后再放大。 工作流建议大家可以自己跑一下，有不清楚的对照文档。需要的模型也都在网盘里。实际动手操作才能更好的理解。 网盘资源 模型与工作流： https://pan.quark.cn/s/8a4c33e8a218 https://pan.baidu.com/s/13YbQkI5FQIW0K80MrI x1g?pwd=cycy 说明文档： 由于技术发展内容会持续更新，请以文档为准 https://xiaobot.net/post/e01b8d7f afed 4d29 9826 169d3a1a5c56 相关链接 Animatediff v3 sd15 mm模型 放在ComfyUI\models\animatediff models文件夹。 https://huggingface.co/guoyww/animatediff/tree/main v3 sd15 mm模型对应lora，放在ComfyUI\models\lora 文件夹。 https://huggingface.co/guoyww/animatediff/blob/main/v3 sd15 adapter.ckpt more details细节lora（画面中添加更多的细节），放在ComfyUI\models\lora 文件夹。 https://civitai.com/models/82098?modelVersionId=87153 aidma RUN MotionLora运动模型的lora（添加更多的运动效果）放在ComfyUI\models\animatediff motion lora文件夹。 https://civitai.com/models/476267?modelVersionId=529725 https://huggingface.co/ByteDance/Hyper SD/tree/main control v1p sdxl qrcode monster https://huggingface.co/monster labs/control v1p sdxl qrcode monster 参数设置 这里我们上传4张图片，并且使用image batch复制图像来制作批次。 为什么需要做这一步操作呢？ 这是为了在使用IPAdapter时候，每一帧都可以参考上传的图片，让风格迁移更像。 上传的这个蒙版视频是为了在帧与帧之间做遮罩过渡，添加一个动态的效果。 IPAdapter IPAdapter来做图像的风格迁移，对应四张图片。 使用遮罩来控制每张图片显示的帧数， 需要注意的是从第0帧开始计算，一张图片16帧，加上中间过渡的8帧， 所以，我们在创建遮罩时候，就需要做如下的设置， 需要显示的帧设置为1，隐藏的为0 以此类推。 这样我们就把4张图片融合成了一个96帧的序列，并且使用遮罩控制每一帧显示出来的画面。 Animatediff Animatediff里面使用v3 sd15 mm模型，并且添加一个运动lora，让生产的视频具有更多的动态效果。 controlNet 前面我们上传了一个遮罩的视频。但是这个视频的帧数不一定和准备生成的视频一样。 所以用前面设置的视频帧数96除以这个遮罩视频的的帧数，得到一个两者的一个倍数。 然后用这个数来批量复制相应的次数，就能得到需要帧数的遮罩。 通过复制图像批次得到的遮罩，有两个用途： 一是作为线条控制的遮罩，让每一帧生成的图片有更多的变化； 二是作为qrcode控制的图像输入，作为帧过渡的遮罩，这里的参数不建议设置太高，高了会影响画面。 放大 这里，建议刚才开始可以先ctrl+b， 等生成满意的视频后再放大。 工作流建议大家可以自己跑一下，有不清楚的对照文档。需要的模型也都在网盘里。实际动手操作才能更好的理解。 网盘资源 模型与工作流： https://pan.quark.cn/s/8a4c33e8a218 https://pan.baidu.com/s/13YbQkI5FQIW0K80MrI x1g?pwd=cycy 说明文档： 由于技术发展内容会持续更新，请以文档为准 https://xiaobot.net/post/e01b8d7f afed 4d29 9826 169d3a1a5c56 模型与工作流： https://pan.quark.cn/s/8a4c33e8a218 https://pan.baidu.com/s/13YbQkI5FQIW0K80MrI x1g?pwd=cycy 说明文档： 由于技术发展内容会持续更新，请以文档为准 https://xiaobot.net/post/e01b8d7f afed 4d29 9826 169d3a1a5c56 相关链接 Animatediff v3 sd15 mm模型 放在ComfyUI\models\animatediff models文件夹。 https://huggingface.co/guoyww/animatediff/tree/main v3 sd15 mm模型对应lora，放在ComfyUI\models\lora 文件夹。 https://huggingface.co/guoyww/animatediff/blob/main/v3 sd15 adapter.ckpt more details细节lora（画面中添加更多的细节），放在ComfyUI\models\lora 文件夹。 https://civitai.com/models/82098?modelVersionId=87153 aidma RUN MotionLora运动模型的lora（添加更多的运动效果）放在ComfyUI\models\animatediff motion lora文件夹。 https://civitai.com/models/476267?modelVersionId=529725 https://huggingface.co/ByteDance/Hyper SD/tree/main control v1p sdxl qrcode monster https://huggingface.co/monster labs/control v1p sdxl qrcode monster 用几张图片生成一个视频， 重要的是， 了解IPAdapter，Animatediff，controlNet的用法和这三个之间怎么通过蒙蔽遮罩灵活的搭配生成视频。 这是整体的工作流， 接下来了，按照不同的模块说明下他们分别的作用。 模型 模型加载用到两个lora， 一个是Animatediff v3 sd15 mm运动模型需要的v3 sd15 adapter，关于lora的强度, 这个强度越高, 画面就越稳定, 但是需要在合理的范围， 另一个more details这个lora是给画面添加更多的细节。 模型和工作流会放在网盘里。