Comfyui flatten光流重绘

Comfyui flatten光流重绘 Comfyui flatten光流重绘 Modified December 13, 2024 depth深度图 这个是flatten需要的,深度信息可以辅助光流计算，使得生成的图像在帧间过渡时更加平滑和自然. 增强光流估计：深度图提供了物体在三维空间中的位置信息，使光流估计更精确。 提高一致性：深度信息有助于在生成图像时保持帧间的一致性，特别是在涉及复杂运动和变形的场景中。 改进编辑效果：结合深度信息，模型能够生成更真实和细致的图像，避免失真和模糊。 上下文长度和重叠 上下文长度定义了 Flatten 一次处理的图片数量。Flatten 不限于特定的帧数，但这可以用来减少单次的 VRAM 使用量。 上下文重叠是窗口之间的重叠 只能使用 AnimateDiff Evolved 的标准静态，这些值必须与 AnimateDiff 的 Evolved 采样上下文中给出的值匹配 光流计算：上下文长度和重叠参数决定了用于计算光流的帧范围和方式，从而影响光流轨迹的准确性和细节。 一致性和连续性：通过优化上下文长度和重叠，可以确保生成的帧在视觉上更自然和连贯，避免因缺乏上下文信息导致的图像质量问题。 🌟 上下文长度 上下文长度指的是在处理当前帧时，模型所参考的前后帧的数量。加上下文长度可以让模型在生成当前帧时参考更多的前后信息，从而提高生成结果的连续性和一致性，避免突兀的过渡。 上下文重叠 上下文重叠指的是在处理连续帧时，每一帧的上下文区域之间的重叠部分。通过设置适当的上下文重叠，可以确保在生成每一帧时，前后帧的信息能够平滑过渡。这对于处理快速运动和大幅度变形的场景尤为重要。 光流在FLATTEN中的工作流程 1. 光流计算：Sample Trajectories 节点首先计算每对相邻帧之间的光流信息(描述图像中像素从一帧到下一帧的移动) 2. 像素轨迹生成：根据这些光流信息来构建跨越多个帧的像素轨迹，使得在潜在空间中的编辑提供全局的运动上下文。 3. 像素轨迹引导编辑：在潜在空间中应用这些像素轨迹，指导图像的编辑和插值过程,让编辑在整个序列中保存一致。这一步在 Unsampler 节点中完成，结合像素轨迹进行潜在空间的调整。 4. 生成新图像：使用 KSampler 从调整后的潜在表示生成新图像，确保生成的帧之间具有一致性和自然的过渡效果。 效果 No access 古典舞 竖屏版 00:00 No access 冰淇淋跳舞 竖屏版 00:00 No access flatten 重绘 竖屏版 00:00 depth深度图 这个是flatten需要的,深度信息可以辅助光流计算，使得生成的图像在帧间过渡时更加平滑和自然. 增强光流估计：深度图提供了物体在三维空间中的位置信息，使光流估计更精确。 提高一致性：深度信息有助于在生成图像时保持帧间的一致性，特别是在涉及复杂运动和变形的场景中。 改进编辑效果：结合深度信息，模型能够生成更真实和细致的图像，避免失真和模糊。 上下文长度和重叠 上下文长度定义了 Flatten 一次处理的图片数量。Flatten 不限于特定的帧数，但这可以用来减少单次的 VRAM 使用量。 上下文重叠是窗口之间的重叠 只能使用 AnimateDiff Evolved 的标准静态，这些值必须与 AnimateDiff 的 Evolved 采样上下文中给出的值匹配 光流计算：上下文长度和重叠参数决定了用于计算光流的帧范围和方式，从而影响光流轨迹的准确性和细节。 一致性和连续性：通过优化上下文长度和重叠，可以确保生成的帧在视觉上更自然和连贯，避免因缺乏上下文信息导致的图像质量问题。 🌟 上下文长度 上下文长度指的是在处理当前帧时，模型所参考的前后帧的数量。加上下文长度可以让模型在生成当前帧时参考更多的前后信息，从而提高生成结果的连续性和一致性，避免突兀的过渡。 上下文重叠 上下文重叠指的是在处理连续帧时，每一帧的上下文区域之间的重叠部分。通过设置适当的上下文重叠，可以确保在生成每一帧时，前后帧的信息能够平滑过渡。这对于处理快速运动和大幅度变形的场景尤为重要。 上下文长度 上下文长度指的是在处理当前帧时，模型所参考的前后帧的数量。加上下文长度可以让模型在生成当前帧时参考更多的前后信息，从而提高生成结果的连续性和一致性，避免突兀的过渡。 上下文重叠 上下文重叠指的是在处理连续帧时，每一帧的上下文区域之间的重叠部分。通过设置适当的上下文重叠，可以确保在生成每一帧时，前后帧的信息能够平滑过渡。这对于处理快速运动和大幅度变形的场景尤为重要。 光流在FLATTEN中的工作流程 1. 光流计算：Sample Trajectories 节点首先计算每对相邻帧之间的光流信息(描述图像中像素从一帧到下一帧的移动) 2. 像素轨迹生成：根据这些光流信息来构建跨越多个帧的像素轨迹，使得在潜在空间中的编辑提供全局的运动上下文。 3. 像素轨迹引导编辑：在潜在空间中应用这些像素轨迹，指导图像的编辑和插值过程,让编辑在整个序列中保存一致。这一步在 Unsampler 节点中完成，结合像素轨迹进行潜在空间的调整。 4. 生成新图像：使用 KSampler 从调整后的潜在表示生成新图像，确保生成的帧之间具有一致性和自然的过渡效果。 效果 No access 古典舞 竖屏版 00:00 No access 冰淇淋跳舞 竖屏版 00:00 No access flatten 重绘 竖屏版 00:00 No access 古典舞 竖屏版 00:00 No access 古典舞 竖屏版 00:00 No access 古典舞 竖屏版 00:00 No access 冰淇淋跳舞 竖屏版 00:00 No access 冰淇淋跳舞 竖屏版 00:00 No access 冰淇淋跳舞 竖屏版 00:00 No access flatten 重绘 竖屏版 00:00 No access flatten 重绘 竖屏版 00:00 No access flatten 重绘 竖屏版 00:00 FLATTEN 是一种用于一致性文本到视频编辑的光流引导注意力机制（optical FLow guided ATTENtion for consistent text to video editing），在2024年的国际学习表示会议（ICLR）上提出。它通过使用光流信息引导注意力机制，提高文本到视频编辑的一致性和效果。具体实现包括在PyTorch上的实现，提供了对不同视频编辑任务的支持，如风格迁移和视频重绘。 ✏️ FLATTEN的独特之处在于它能够在潜在空间中应用像素轨迹(由于每个帧对的光流信息组成)，这允许在保持图像质量的同时处理大幅度的运动和变形。这种方法特别有效，因为它结合了扩散模型的强大生成能力和光流的精确运动描述。 FLATTEN的独特之处在于它能够在潜在空间中应用像素轨迹(由于每个帧对的光流信息组成)，这允许在保持图像质量的同时处理大幅度的运动和变形。这种方法特别有效，因为它结合了扩散模型的强大生成能力和光流的精确运动描述。 资料链接 https://pan.baidu.com/s/1NJYjIOHZmPapfB dcVZJ2Q?pwd=cycy https://pan.baidu.com/s/1NJYjIOHZmPapfB dcVZJ2Q?pwd=cycy 说明文档 https://xiaobot.net/post/14abe1c7 9139 4b22 be33 ace05c14575b 由于AI技术更新迭代，请以文档更新为准 更多内容收录在⬇️ https://xiaobot.net/p/GoToComfyUI 网盘 https://pan.quark.cn/s/055f24e0b632 工作流 https://www.liblib.art/modelinfo/280dafec8361440e8bc65eb797c31a1e?from=personal page 说明文档 https://xiaobot.net/post/14abe1c7 9139 4b22 be33 ace05c14575b 由于AI技术更新迭代，请以文档更新为准 更多内容收录在⬇️ https://xiaobot.net/p/GoToComfyUI 网盘 https://pan.quark.cn/s/055f24e0b632 工作流 https://www.liblib.art/modelinfo/280dafec8361440e8bc65eb797c31a1e?from=personal page 项目GitHub flatten https://github.com/yrcong/flatten 论文arXiv https://arxiv.org/abs/2310.05922 插件GitHub ComfyUI FLATTEN https://github.com/logtd/ComfyUI FLATTEN ComfyUI FLATTEN节点的使用 1. 图像输入：输入图像通过 VAE 编码为潜在表示。 2. Sample Trajectories 节点：根据输入的图像和上下文参数计算光流轨迹。 3. Unsampler 节点：在潜在空间中应用光流信息进行编辑。 4. KSampler 节点：从修改后的潜在表示生成新图像。 通过这种方式，光流信息可以在潜在空间中被有效利用，以保持生成图像的连贯性和自然性。 通过改变参数,生成不同视频效果 视频一致性 比较适合想让视频有轻微的变化,主题不会有太大的变化 1. KSampler 应使用 dpmpp 2m 采样器 2. add noise 设置为关闭 3. old qk 可以设置1或者0,分别看下效果 FLATTEN 在编辑具有时间一致性的视频方面表现出色。推荐的设置是使用 Unsampler 和 KSampler，参数为 old qk = 0 。Unsampler 应使用 euler 采样器，KSampler 应使用 dpmpp 2m 采样器。可以根据具体使用情况尝试 old qk ，但不建议在视频编辑中使用其他采样器或 add noise 。像 IP Adapter 这样的风格迁移节点在没有额外噪声的情况下可能难以进行高质量的编辑，并且需要进行微调。 改变场景 适合对视频进行大幅度的修改 1. KSampler 使用 LCM 采样器 2. old qk = 1 开启和关闭对效果会有影响, 1的时候, 效果会更贴合提示词 3. add noise 设置为开启,有助于使用ipa适合,引导到生成特定的外观 受 FLATTEN 中光流使用的启发，这些节点可以利用由光流驱动的噪声。目前的实现是实验性的，允许用户创建高度改变的场景，但可能会失去一些一致性，并且在高运动场景中效果不佳。 要使用此功能，建议在 KSampler 上使用 LCM采样（而不是 Unsampler），同时在 KSampler 上设置 old qk = 1 。Euler采样方法也效果很好。用户可以在使用注入噪声的采样方法时（例如除 Euler 和 dpmpp2 之外的任何方法），尝试切换 KSampler 上的 add noise 设置。使用 IPAdapter 可以帮助引导这些生成朝向特定的外观,图片需要选择适合的.。如果是只对视频进行风格的转绘(不做强编辑修改主体内容),可以关闭IPAdapter. 提示词 如果遇到人物不能变化,可以加入对应的提示词做下增强.和调整cfg的权重. 负面提示词一般不填. 有Unsampler完成 🥇 old qk参数：这个参数控制了在生成过程中保留原始内容的程度。当设置为1时，会更多地保留原始内容，因此更贴合提示词；设置为0时，允许更大的变化。 add noise的作用：开启add noise确实有助于使用像IP Adapter这样的风格迁移工具，因为额外的噪声可以提供更多的变化空间，使得风格转换更加显著。 采样器选择：dpmpp 2m适合保持视频一致性，而LCM（Latent Consistency Model）采样器更适合大幅度的场景改变，这是因为LCM允许更灵活的潜在空间操作。 风格迁移的考虑：在没有额外噪声的情况下，如IP Adapter可能难以实现高质量的编辑 old qk参数：这个参数控制了在生成过程中保留原始内容的程度。当设置为1时，会更多地保留原始内容，因此更贴合提示词；设置为0时，允许更大的变化。 add noise的作用：开启add noise确实有助于使用像IP Adapter这样的风格迁移工具，因为额外的噪声可以提供更多的变化空间，使得风格转换更加显著。 采样器选择：dpmpp 2m适合保持视频一致性，而LCM（Latent Consistency Model）采样器更适合大幅度的场景改变，这是因为LCM允许更灵活的潜在空间操作。 风格迁移的考虑：在没有额外噪声的情况下，如IP Adapter可能难以实现高质量的编辑 节点 保存步数与注入步数需要一致