ComfyUI segment-anything-v2

ComfyUI segment anything v2 ComfyUI segment anything v2 Modified December 13, 2024 🐵 • 可以用于精确分割出目标物体。 • 在视频编辑中，可以用来替换背景或应用特效。 • 在物体跟踪中，提供目标的准确位置和形状信息。 5. "prompt encoder"（下方紫色方块）：提示编码器的输出作为额外的输入提供给掩码解码器。这些信息帮助掩码解码器更精确地生成目标物体的分割掩码。处理三种类型的输入： ◦ mask：之前的分割结果 ◦ points：用户指定的关键点 ◦ box：目标物体的边界框 6. 中间的鸡图像：显示了处理后的结果，鸡被清晰地分割出来。 7. "memory encoder"（右侧粉色方块）：记忆编码器。它将当前帧的分割结果编码成可存储的格式。 8. "memory bank"（最右侧粉色方块）：记忆库。存储编码后的历史信息，用于后续帧的处理。 9. 箭头：表示信息在系统中的流动方向。从左到右展示了整个处理过程。 10. 顶部的长箭头：表示整个过程是循环的，每一帧的处理结果都会影响后续帧的分析。这个系统的工作流程是： 1. 输入视频帧 2. 通过图像编码器提取特征 3. 利用记忆注意力机制处理特征 4. 结合用户提示（如果有），生成分割掩码 5. 将结果存入记忆库 6. 利用存储的信息来改善下一帧的处理这种设计允许系统在整个视频中持续跟踪和分割目标物体，即使物体的位置和外观发生变化。项目地址 https://github.com/facebookresearch/segment anything 2?tab=readme ov file 分割图像, 还需要给他相应的坐标, 把定位需要分割的位置, 节点安装 ComfyUI segment anything v2 节点 https://github.com/kijai/ComfyUI segment anything 2 有很多人在管理器安装节点会一直安装不上. 如果重启还是没效果, 是cuda版本不符合. 更新一下ComfyUI. 节点需要的模型, 会自动下载, 如果环境不好的, 在网盘里找, 然后放到ComfyUI/models/sam2文件夹, 没有的话就新建一个. 不同模型的区别模型大小 (Size): • sam2 hiera tiny: 最小，38.9M • sam2 hiera small: 稍大，46M • sam2 hiera base plus: 中等，80.8M • sam2 hiera large: 最大，224.4M 速度 (Speed FPS): • 速度与模型大小大致成反比 • tiny模型最快 (47.2 FPS) • large模型最慢 (24.2 FPS，编译后30.2 FPS) • 注意：除tiny外，其他模型都有编译后的速度提升性能指标: • SA V test (J&F): 衡量分割准确度，large模型表现最好 (76.0) • MOSE val (J&F): 另一个评估指标，large模型也是最高 (74.6) • LVOS v2 (J&F): 视频对象分割指标，large模型表现最佳 (79.8) 权衡: • 模型大小越大，通常性能越好，但速度越慢 • tiny模型虽然最小最快，但在各项指标上表现相对较差 • large模型性能最好，但大小和速度是明显的劣势特别说明: • base plus模型似乎是一个平衡选择，大小适中，性能接近large模型 • small模型在某些指标上表现不错，可能是另一个不错的平衡选择 ComfyUI Florence2 Florence 2 是一个先进的视觉基础模型，使用基于提示的方法来处理各种视觉和视觉语言任务。Florence 2 可以解释简单的文本提示来执行诸如字幕生成、目标检测和分割等任务。节点 https://github.com/kijai/ComfyUI Florence2 第一次运行, 模型会自动下载, 如果没有自动下载, 可能是因为网络环境问题, 一样从网盘里面下载, 然后放到ComfyUI/LLM 目录 https://huggingface.co/microsoft/Florence 2 base https://huggingface.co/microsoft/Florence 2 base ft https://huggingface.co/microsoft/Florence 2 large https://huggingface.co/microsoft/Florence 2 large ft https://huggingface.co/HuggingFaceM4/Florence 2 DocVQA 然后刷新一下ComfyUI, 节点就安装成功了. 🐵 • 可以用于精确分割出目标物体。 • 在视频编辑中，可以用来替换背景或应用特效。 • 在物体跟踪中，提供目标的准确位置和形状信息。 • 可以用于精确分割出目标物体。 • 在视频编辑中，可以用来替换背景或应用特效。 • 在物体跟踪中，提供目标的准确位置和形状信息。 5. "prompt encoder"（下方紫色方块）：提示编码器的输出作为额外的输入提供给掩码解码器。这些信息帮助掩码解码器更精确地生成目标物体的分割掩码。处理三种类型的输入： ◦ mask：之前的分割结果 ◦ points：用户指定的关键点 ◦ box：目标物体的边界框处理三种类型的输入： ◦ mask：之前的分割结果 ◦ points：用户指定的关键点 ◦ box：目标物体的边界框 6. 中间的鸡图像：显示了处理后的结果，鸡被清晰地分割出来。 7. "memory encoder"（右侧粉色方块）：记忆编码器。它将当前帧的分割结果编码成可存储的格式。 8. "memory bank"（最右侧粉色方块）：记忆库。存储编码后的历史信息，用于后续帧的处理。 9. 箭头：表示信息在系统中的流动方向。从左到右展示了整个处理过程。 10. 顶部的长箭头：表示整个过程是循环的，每一帧的处理结果都会影响后续帧的分析。这个系统的工作流程是： 1. 输入视频帧 2. 通过图像编码器提取特征 3. 利用记忆注意力机制处理特征 4. 结合用户提示（如果有），生成分割掩码 5. 将结果存入记忆库 6. 利用存储的信息来改善下一帧的处理这种设计允许系统在整个视频中持续跟踪和分割目标物体，即使物体的位置和外观发生变化。项目地址 https://github.com/facebookresearch/segment anything 2?tab=readme ov file 分割图像, 还需要给他相应的坐标, 把定位需要分割的位置, 节点安装 ComfyUI segment anything v2 节点 https://github.com/kijai/ComfyUI segment anything 2 有很多人在管理器安装节点会一直安装不上. 如果重启还是没效果, 是cuda版本不符合. 更新一下ComfyUI. 节点需要的模型, 会自动下载, 如果环境不好的, 在网盘里找, 然后放到ComfyUI/models/sam2文件夹, 没有的话就新建一个. 不同模型的区别模型大小 (Size): • sam2 hiera tiny: 最小，38.9M • sam2 hiera small: 稍大，46M • sam2 hiera base plus: 中等，80.8M • sam2 hiera large: 最大，224.4M 速度 (Speed FPS): • 速度与模型大小大致成反比 • tiny模型最快 (47.2 FPS) • large模型最慢 (24.2 FPS，编译后30.2 FPS) • 注意：除tiny外，其他模型都有编译后的速度提升性能指标: • SA V test (J&F): 衡量分割准确度，large模型表现最好 (76.0) • MOSE val (J&F): 另一个评估指标，large模型也是最高 (74.6) • LVOS v2 (J&F): 视频对象分割指标，large模型表现最佳 (79.8) 权衡: • 模型大小越大，通常性能越好，但速度越慢 • tiny模型虽然最小最快，但在各项指标上表现相对较差 • large模型性能最好，但大小和速度是明显的劣势特别说明: • base plus模型似乎是一个平衡选择，大小适中，性能接近large模型 • small模型在某些指标上表现不错，可能是另一个不错的平衡选择 ComfyUI Florence2 Florence 2 是一个先进的视觉基础模型，使用基于提示的方法来处理各种视觉和视觉语言任务。Florence 2 可以解释简单的文本提示来执行诸如字幕生成、目标检测和分割等任务。节点 https://github.com/kijai/ComfyUI Florence2 第一次运行, 模型会自动下载, 如果没有自动下载, 可能是因为网络环境问题, 一样从网盘里面下载, 然后放到ComfyUI/LLM 目录 https://huggingface.co/microsoft/Florence 2 base https://huggingface.co/microsoft/Florence 2 base ft https://huggingface.co/microsoft/Florence 2 large https://huggingface.co/microsoft/Florence 2 large ft https://huggingface.co/HuggingFaceM4/Florence 2 DocVQA 然后刷新一下ComfyUI, 节点就安装成功了. 将图像视为具有单帧的视频来将SAM扩展到视频. 通用的图像分割AI模型,能够对图像中的任何物体或区域进行分割. 迄今为止最大的视频分割数据集. 对segment anything 2的理解 1. 左侧一系列重叠的图片(多张重叠的鸡的图片)：这代表视频的连续帧。表示随时间变化的视频序列。 2. "image encoder"（绿色方块）：图像编码器。它接收每一帧的图像，将其转换为计算机可以处理的潜在表示(特征提取或特征编码)。 ⛱️ 潜在表示的含义： • 这是一种高维的、抽象的数据形式，它捕捉了图像的关键特征。 • 与原始像素相比，这种表示更加紧凑，但包含了更多语义信息。转换过程： • 图像编码器通常是一个深度神经网络，如卷积神经网络（CNN）。 • 它通过多层处理，逐步从原始像素中提取越来越抽象的特征。转换的目的： • 使计算机更容易理解和处理图像内容。 • 提取对后续任务（如物体分割）最有用的信息。 • 减少数据维度，提高处理效率。潜在表示的含义： • 这是一种高维的、抽象的数据形式，它捕捉了图像的关键特征。 • 与原始像素相比，这种表示更加紧凑，但包含了更多语义信息。转换过程： • 图像编码器通常是一个深度神经网络，如卷积神经网络（CNN）。 • 它通过多层处理，逐步从原始像素中提取越来越抽象的特征。转换的目的： • 使计算机更容易理解和处理图像内容。 • 提取对后续任务（如物体分割）最有用的信息。 • 减少数据维度，提高处理效率。 3. "memory attention"（蓝色方块）：记忆注意力机制。这部分处理编码后的图像特征，并关注重要的历史信息。记忆注意力机制就是一个智能的信息筛选和整合工具。它帮助系统在处理每一帧时，都能考虑到过去的重要信息，从而更准确地跟踪和分割视频中的目标物体。 4. "mask decoder"（橙色方块）：掩码解码器。它生成目标物体（这里是鸡）的精确分割掩码。掩码就是一种精确定义目标物体形状和位置的"遮罩"。掩码解码器的任务就是生成这种遮罩，使系统能够准确地识别和分割出视频中的目标物体。掩码的作用： • 精确标识图像中目标物体（在这个例子中是鸡）的轮廓和区域。 • 将目标与背景分离。掩码解码器的工作： • 接收编码后的图像特征和记忆注意力的输出。 • 根据这些信息，预测每个像素是否属于目标物体。 • 输出一个二维数组，表示目标物体的精确形状和位置。掩码的视觉表现： • 如果将掩码可视化，您会看到一个黑白图像。 • 白色区域（值为1）表示目标物体（鸡）。 • 黑色区域（值为0）表示背景。掩码的应用：