Comfyui PuLID人物一致

Comfyui PuLID人物一致 Comfyui PuLID人物一致 Modified December 13, 2024 项目地址 https://github.com/ToTheBeginning/PuLID instant ID脸部特征抓取得比pulid好，放在最后一步重绘,先pulid，再instantID https://pan.baidu.com/s/1Tro9oQM85BEH7IQ8gVXKsg?pwd=cycy 工作流与模型地址 https://pan.quark.cn/s/2a4cd9bb3a6b 说明文档 https://xiaobot.net/post/6544b1e8 1d90 4373 94cf 0249d14c73c8 安装 如果网络不好的同学,可以在这里下载需要的模型和工作流 链接: https://pan.baidu.com/s/1ey5 BADmhxlwogsj5N3lIQ?pwd=cycy 提取码: cycy 来自百度网盘超级会员v5的分享 PuLID 预训练模型放在 ComfyUI/models/pulid/ 中 https://huggingface.co/huchenlei/ipadapter pulid/resolve/main/ip adapter pulid sdxl fp16.safetensors?download=true EVA CLIP 是 EVA02 CLIP L 14 336，会自动从huggingface 下载。(需要网络"通畅") 需要安装 facexlib 依赖，模型在首次使用时下载 最后你需要安装 InsightFace 和 AntelopeV2，解压后的模型应该放在 ComfyUI/models/insightface/models/antelopev2 中。 https://huggingface.co/MonsterMMORPG/tools/tree/main 节点 节点插件PuLID ComfyUI https://github.com/cubiq/PuLID ComfyUI model: 使用预训练的基础文本到图像扩散模型，如 Stable Diffusion。 pulid: 加载的 PuLID 模型权重，定义 ID 信息如何插入基础模型。 eva clip: 用于从 ID 参考图像中编码面部特征的 Eva CLIP 模型。 face analysis: 使用 InsightFace 模型识别和裁剪 ID 参考图像中的面部。 image: 提供的参考图像用于插入特定 ID。 method: 选择 ID 插入方法，如"fidelity"（优先保真度）、"style"（保留生成风格）和"neutral"（平衡两者）。 weight: 控制 ID 插入强度，范围为0到5。 start at 和 end at: 控制在去噪步骤的哪个阶段开始和停止应用 PuLID ID 插入。 attn mask: 此选项用于提供灰度掩码图像，以控制 ID 自定义的应用位置，但并不是必需输入，而是可选输入 。 Advanced Node: 提供了高级节点，可以通过调整fidelity滑块和projection选项进行更精细的生成调优。比如，ortho v2和fidelity: 8等价于标准节点的fidelity方法，而projection ortho和fidelity: 16等价于style方法 。 Eva CLIP Eva CLIP 是一种基于对比学习的视觉文本模型，它将文本描述和图像内容映射到一个共享的嵌入空间。这使得模型能够理解和生成与文本描述高度相关的图像内容，或根据图像生成相应的文本描述。Eva CLIP 编码器特别擅长提取图像中的细节特征，并将这些特征转换为有意义的嵌入向量，用于下游任务，如图像生成或分类。 主要特点 1. 对比学习架构: Eva CLIP 使用对比学习方法，将图像和文本嵌入到一个共享的空间。通过最大化匹配图像和文本对的相似度，同时最小化不匹配对的相似度，模型能够高效地学习到图像和文本之间的关联。 2. 强大的特征提取能力: Eva CLIP 编码器在提取图像细节方面表现优异，能够生成高质量的图像嵌入。这些嵌入可以捕捉到图像的各种细节特征，使得下游任务（如图像生成）能够更精确地再现参考图像的特征。 3. 多模态应用: 由于 Eva CLIP 能够处理图像和文本两种模态，它被广泛应用于多模态任务中，如图像生成、图像检索、图像标注等。其强大的多模态特性使得它在需要结合图像和文本信息的应用中非常有效。 应用场景 1. 图像生成: 在图像生成任务中，Eva CLIP 编码器可以根据参考图像提取细节特征，并将这些特征嵌入到生成模型中，以生成与参考图像高度相似的新图像。 2. 图像检索: Eva CLIP 可以用于从大规模图像数据库中检索与给定文本描述最匹配的图像，或从文本描述中检索相应的图像。 3. 图像标注: Eva CLIP 还可以根据图像内容生成相应的文本描述，应用于自动图像标注等任务。 技术细节 Eva CLIP 编码器通常与深度神经网络结合使用，如卷积神经网络（CNN）用于图像特征提取，Transformer 网络用于处理文本描述。通过对比学习，这些网络能够协同工作，将多模态数据映射到一个共同的嵌入空间。 常见错误 与IPAdapter搭配使用时候, 出现错误提示: Error occurred when executing IPAdapterAdvanced: 'Attn2Replace' object has no attribute 'set new condition' 这个是IPAdapter的节点版本太低了, 更新到最新版本即可解决 在使用对于不同的大模型,需要测试不同的CFG值,另外也需要注意选择大模型适合的采样器和调度器. 项目地址 https://github.com/ToTheBeginning/PuLID instant ID脸部特征抓取得比pulid好，放在最后一步重绘,先pulid，再instantID https://pan.baidu.com/s/1Tro9oQM85BEH7IQ8gVXKsg?pwd=cycy 工作流与模型地址 https://pan.quark.cn/s/2a4cd9bb3a6b 说明文档 https://xiaobot.net/post/6544b1e8 1d90 4373 94cf 0249d14c73c8 安装 如果网络不好的同学,可以在这里下载需要的模型和工作流 链接: https://pan.baidu.com/s/1ey5 BADmhxlwogsj5N3lIQ?pwd=cycy 提取码: cycy 来自百度网盘超级会员v5的分享 PuLID 预训练模型放在 ComfyUI/models/pulid/ 中 https://huggingface.co/huchenlei/ipadapter pulid/resolve/main/ip adapter pulid sdxl fp16.safetensors?download=true EVA CLIP 是 EVA02 CLIP L 14 336，会自动从huggingface 下载。(需要网络"通畅") 需要安装 facexlib 依赖，模型在首次使用时下载 最后你需要安装 InsightFace 和 AntelopeV2，解压后的模型应该放在 ComfyUI/models/insightface/models/antelopev2 中。 https://huggingface.co/MonsterMMORPG/tools/tree/main 节点 节点插件PuLID ComfyUI https://github.com/cubiq/PuLID ComfyUI model: 使用预训练的基础文本到图像扩散模型，如 Stable Diffusion。 pulid: 加载的 PuLID 模型权重，定义 ID 信息如何插入基础模型。 eva clip: 用于从 ID 参考图像中编码面部特征的 Eva CLIP 模型。 face analysis: 使用 InsightFace 模型识别和裁剪 ID 参考图像中的面部。 image: 提供的参考图像用于插入特定 ID。 method: 选择 ID 插入方法，如"fidelity"（优先保真度）、"style"（保留生成风格）和"neutral"（平衡两者）。 weight: 控制 ID 插入强度，范围为0到5。 start at 和 end at: 控制在去噪步骤的哪个阶段开始和停止应用 PuLID ID 插入。 attn mask: 此选项用于提供灰度掩码图像，以控制 ID 自定义的应用位置，但并不是必需输入，而是可选输入 。 Advanced Node: 提供了高级节点，可以通过调整fidelity滑块和projection选项进行更精细的生成调优。比如，ortho v2和fidelity: 8等价于标准节点的fidelity方法，而projection ortho和fidelity: 16等价于style方法 。 Eva CLIP Eva CLIP 是一种基于对比学习的视觉文本模型，它将文本描述和图像内容映射到一个共享的嵌入空间。这使得模型能够理解和生成与文本描述高度相关的图像内容，或根据图像生成相应的文本描述。Eva CLIP 编码器特别擅长提取图像中的细节特征，并将这些特征转换为有意义的嵌入向量，用于下游任务，如图像生成或分类。 主要特点 1. 对比学习架构: Eva CLIP 使用对比学习方法，将图像和文本嵌入到一个共享的空间。通过最大化匹配图像和文本对的相似度，同时最小化不匹配对的相似度，模型能够高效地学习到图像和文本之间的关联。 2. 强大的特征提取能力: Eva CLIP 编码器在提取图像细节方面表现优异，能够生成高质量的图像嵌入。这些嵌入可以捕捉到图像的各种细节特征，使得下游任务（如图像生成）能够更精确地再现参考图像的特征。 3. 多模态应用: 由于 Eva CLIP 能够处理图像和文本两种模态，它被广泛应用于多模态任务中，如图像生成、图像检索、图像标注等。其强大的多模态特性使得它在需要结合图像和文本信息的应用中非常有效。 应用场景 1. 图像生成: 在图像生成任务中，Eva CLIP 编码器可以根据参考图像提取细节特征，并将这些特征嵌入到生成模型中，以生成与参考图像高度相似的新图像。 2. 图像检索: Eva CLIP 可以用于从大规模图像数据库中检索与给定文本描述最匹配的图像，或从文本描述中检索相应的图像。 3. 图像标注: Eva CLIP 还可以根据图像内容生成相应的文本描述，应用于自动图像标注等任务。 技术细节 Eva CLIP 编码器通常与深度神经网络结合使用，如卷积神经网络（CNN）用于图像特征提取，Transformer 网络用于处理文本描述。通过对比学习，这些网络能够协同工作，将多模态数据映射到一个共同的嵌入空间。 常见错误 与IPAdapter搭配使用时候, 出现错误提示: Error occurred when executing IPAdapterAdvanced: 'Attn2Replace' object has no attribute 'set new condition' 这个是IPAdapter的节点版本太低了, 更新到最新版本即可解决 在使用对于不同的大模型,需要测试不同的CFG值,另外也需要注意选择大模型适合的采样器和调度器. PuLID: Pure and Lightning ID PuLID 是一种新的技术，用于在文本生成图像时自定义图像中的人物或物体的身份（ID），不需要进行复杂的调整。它结合了两个不同的模型分支（Lightning T2I 分支和标准扩散模型），引入了两种损失（对比对齐损失和精确 ID 损失），以确保在保持原始模型效果的同时，高精度地自定义 ID。 简单来说，PuLID 可以让你在生成图像时更精确地定制人物或物体的身份，将特定 ID(例如人脸)嵌入到预训练的文本到图像模型中,而不会破坏模型的原始能力。这允许生成特定人物的图像,同时仍然能够使用文本提示修改属性、样式、背景等 1. 模型分支： ◦ Lightning T2I 分支：这是一个快速、高效的文本到图像生成模型。 ◦ 标准扩散模型：这是一个常见的、生成高质量图像的模型。 ◦ Lightning T2I 分支：这是一个快速、高效的文本到图像生成模型。 ◦ 标准扩散模型：这是一个常见的、生成高质量图像的模型。 PuLID 把这两个模型结合起来，利用它们各自的优势。 2. 两种损失： ◦ 对比对齐损失：这个损失帮助模型学习将输入的文本和生成的图像内容对齐，使生成的图像更符合文本描述。 ◦ 精确 ID 损失：这个损失确保生成的图像中的特定身份特征（比如人物的脸部特征）与目标 ID 一致。 ◦ 对比对齐损失：这个损失帮助模型学习将输入的文本和生成的图像内容对齐，使生成的图像更符合文本描述。 ◦ 精确 ID 损失：这个损失确保生成的图像中的特定身份特征（比如人物的脸部特征）与目标 ID 一致。 通过结合这两个模型分支和引入这两种损失，PuLID 可以在生成图像时更准确地自定义身份，并且生成的图像在插入 ID 前后保持一致性。