ComfyUI CogVideoX-5b开源文生视频

ComfyUI CogVideoX 5b开源文生视频 ComfyUI CogVideoX 5b开源文生视频 Modified December 14, 2024 • enable sequential cpu offload: 设置为 false，表示不启用顺序 CPU 卸载。如果启用，可以显著减少内存使用，但会降低推理速度。 通过在 CogVideoX 5B 的推理代码中增加 pipe.enable sequential cpu offload() 和 pipe.vae.enable slicing()VRAM 使用量可以减少到 5GB CogVideo采样器 这里其他的参数都比较容易理解， 重点说下分块长度和分块重叠。 需要注意的是分辨率只支持720 x 480,不支持其他分辨率（包括微调） 分块长度 (t tile length): 16，时间维度上的分块大小，用于处理长视频。 分块重叠 (t tile overlap): 8，时间维度上相邻分块的重叠帧数。 有使用过animatediff的小伙伴应该很会有点熟悉， 是的，他们是一样的意思， 但是，分块长度 (t tile length)，如果和帧数一致，画面会比较稳定，但是变化就会少很多。 可以对比下面两张图 帧数32，分块长度24 帧数32，分块长度32 分块长度 (t tile length) 这个参数定义了在时间维度上每次处理的帧数， 这样做的目的是为了克服GPU内存限制，允许生成比单次能处理的更长的视频。 分块重叠 (t tile overlap) 这个参数定义了相邻时间块之间重叠的帧数， 设置为8意味着每个16帧的块会与下一个块重叠8帧。 这种技术的工作原理： 1. 将长视频分割成多个重叠的短片段（tiles）。 2. 对每个片段单独进行处理。 3. 在重叠区域使用混合或平滑技术，以确保片段之间的过渡自然。 CogVideoDecode解码 平铺和切片都是用于处理大尺寸视频的技术，可以帮助在有限的GPU内存下处理高分辨率视频。 tile sample min height: 96，最小平铺高度。 tile sample min width: 96，最小平铺宽度。 这两个参数定义了在使用平铺时的最小尺寸。 tile overlap factor height: 0.083，高度方向的重叠因子。 tile overlap factor width: 0.083，宽度方向的重叠因子。 这些因子决定了平铺时各个块之间的重叠程度。 enable vae tiling: 设置为 false，表示不启用VAE（变分自编码器）的图像平铺。 enable vae slicing: 设置为 false，表示不启用VAE切片。 如果启用了平铺（tiling），它会将大图像分割成小块进行处理，然后再组合起来，这有助于处理大分辨率的视频。 VAE切片（如果启用）可以通过分割输入张量来分步计算解码，这有助于节省内存。 CogVideo图像编码 用于视频生视频，目前有点相当于重绘。 chunk size: 16 • 这个参数定义了在时间维度上每次处理的帧数。 • 设置为16意味着模型每次会处理16帧的图像块。 • 这有助于在处理长视频序列时管理内存使用。 enable vae slicing: • 这个选项控制是否启用VAE（变分自编码器）切片。 • 当设置为false时，不使用VAE切片技术。 • VAE切片可以通过分割输入张量来分步计算编码，有助于节省内存。 智谱清影 https://chatglm.cn/video?lang=zh 智谱清言 中国版对话语言模型，与GLM大模型进行对话。 相关链接 ComfyUI节点 ComfyUI CogVideoXWrapper https://github.com/kijai/ComfyUI CogVideoXWrapper CogVideoX 5b模型 https://huggingface.co/THUDM/CogVideoX 5b • enable sequential cpu offload: 设置为 false，表示不启用顺序 CPU 卸载。如果启用，可以显著减少内存使用，但会降低推理速度。 通过在 CogVideoX 5B 的推理代码中增加 pipe.enable sequential cpu offload() 和 pipe.vae.enable slicing()VRAM 使用量可以减少到 5GB CogVideo采样器 这里其他的参数都比较容易理解， 重点说下分块长度和分块重叠。 需要注意的是分辨率只支持720 x 480,不支持其他分辨率（包括微调） 分块长度 (t tile length): 16，时间维度上的分块大小，用于处理长视频。 分块重叠 (t tile overlap): 8，时间维度上相邻分块的重叠帧数。 有使用过animatediff的小伙伴应该很会有点熟悉， 是的，他们是一样的意思， 但是，分块长度 (t tile length)，如果和帧数一致，画面会比较稳定，但是变化就会少很多。 可以对比下面两张图 帧数32，分块长度24 帧数32，分块长度32 分块长度 (t tile length) 这个参数定义了在时间维度上每次处理的帧数， 这样做的目的是为了克服GPU内存限制，允许生成比单次能处理的更长的视频。 分块重叠 (t tile overlap) 这个参数定义了相邻时间块之间重叠的帧数， 设置为8意味着每个16帧的块会与下一个块重叠8帧。 这种技术的工作原理： 1. 将长视频分割成多个重叠的短片段（tiles）。 2. 对每个片段单独进行处理。 3. 在重叠区域使用混合或平滑技术，以确保片段之间的过渡自然。 CogVideoDecode解码 平铺和切片都是用于处理大尺寸视频的技术，可以帮助在有限的GPU内存下处理高分辨率视频。 tile sample min height: 96，最小平铺高度。 tile sample min width: 96，最小平铺宽度。 这两个参数定义了在使用平铺时的最小尺寸。 tile overlap factor height: 0.083，高度方向的重叠因子。 tile overlap factor width: 0.083，宽度方向的重叠因子。 这些因子决定了平铺时各个块之间的重叠程度。 enable vae tiling: 设置为 false，表示不启用VAE（变分自编码器）的图像平铺。 enable vae slicing: 设置为 false，表示不启用VAE切片。 如果启用了平铺（tiling），它会将大图像分割成小块进行处理，然后再组合起来，这有助于处理大分辨率的视频。 VAE切片（如果启用）可以通过分割输入张量来分步计算解码，这有助于节省内存。 CogVideo图像编码 用于视频生视频，目前有点相当于重绘。 chunk size: 16 • 这个参数定义了在时间维度上每次处理的帧数。 • 设置为16意味着模型每次会处理16帧的图像块。 • 这有助于在处理长视频序列时管理内存使用。 enable vae slicing: • 这个选项控制是否启用VAE（变分自编码器）切片。 • 当设置为false时，不使用VAE切片技术。 • VAE切片可以通过分割输入张量来分步计算编码，有助于节省内存。 智谱清影 https://chatglm.cn/video?lang=zh 智谱清言 中国版对话语言模型，与GLM大模型进行对话。 相关链接 ComfyUI节点 ComfyUI CogVideoXWrapper https://github.com/kijai/ComfyUI CogVideoXWrapper CogVideoX 5b模型 https://huggingface.co/THUDM/CogVideoX 5b 智谱开源CogVideoX 5B，本地跑sora 开源 CogVideoX 系列更大的模型 CogVideoX 5B， 在 GTX 1080TI 等早期显卡运行 CogVideoX 2B （更新为Apache 2.0 协议）， 在 RTX 3060等桌面端运行 CogVideoX 5B 模型。 720 x 480, 不支持其他分辨率（包括微调） 资料链接 说明文档 https://xiaobot.net/post/f7f9363d 530c 4d55 aa21 9a64d82d82a7 由于AI技术更新迭代，请以文档更新为准 更多内容收录在⬇️ https://xiaobot.net/p/GoToComfyUI 网盘 https://pan.quark.cn/s/50035f683961 https://pan.baidu.com/s/1mVMU41q3e7oxPetV9F18Cw?pwd=cycy 工作流 https://www.liblib.art/modelinfo/23c073ff88194c32be15fe56977223ef?from=personal page 视频地址 https://www.bilibili.com/video/BV1LaHeeiE8M/?vd source=ecb7194379e23ea8b1cb52e3bd5d97ef 说明文档 https://xiaobot.net/post/f7f9363d 530c 4d55 aa21 9a64d82d82a7 由于AI技术更新迭代，请以文档更新为准 更多内容收录在⬇️ https://xiaobot.net/p/GoToComfyUI 网盘 https://pan.quark.cn/s/50035f683961 https://pan.baidu.com/s/1mVMU41q3e7oxPetV9F18Cw?pwd=cycy 工作流 https://www.liblib.art/modelinfo/23c073ff88194c32be15fe56977223ef?from=personal page 视频地址 https://www.bilibili.com/video/BV1LaHeeiE8M/?vd source=ecb7194379e23ea8b1cb52e3bd5d97ef 安装 ComfyUI的插件节点 在管理里的节点管理里面CogVideoX 第一次运行，会自动下载模型到 ComfyUI/models/CogVideo/CogVideoX 5b 模型比较大，建议在网盘里面下载后放到对应的目录里。 对应的目录结构 工作流 性能和内存： • 内存需求主要取决于视频长度。 • VAE解码是最占用VRAM的部分，峰值约为13 14GB。 • 采样过程本身只需要5 6GB VRAM bfloat16 精度，是官方推荐用于 5B 模型的精度设置。 使用T5文本编码器，与SD3和Flux相同。 加载CogVideo模型 • model: 当前选择的是 "THUDM/CogVideoX 5b"，这是一个 5B 参数的 CogVideoX 模型。 • 精度 (precision): 设置为 "bf16"，这是 bfloat16 精度，是官方推荐用于 5B 模型的精度设置。 • fp8 transformer: 设置为 false，表示不使用 float8 精度来压缩 transformer 部分。 • compile: 设置为 "disabled"，表示不使用任何编译优化。可选的其他选项包括 "onediff" 和 "torch"，这些是用于加速推理的高级选项。