Comfyui IPAdapter
Comfyui IPAdapter
Comfyui IPAdapter Comfyui IPAdapter Modified December 13, 2024 💡 • Plus Face IPAdapter的CLIPVision • Full Face IPAdapter的CLIPVision • Face ID 单独的Insight Face • Face ID Portrait 单独的Insight Face • Face ID Plus Insight Face + CLIPVision两个的叠加 • Face ID Plus V2 Insight Face + CLIPVision两个的叠加 人物肖像 这里是在上面工作流的一个升级, 传入了多张图片. 另外把IPAdapter模型选择为ip adapter faceid portrait v11 sd15.bin 这个是旧版本的工作流 错误的提示 这个是图片里面没有检查到面部 在第一次运行时候, 会比较慢, 如果报错了, 可能是网络环境没有下载insightface 提示词权重和 IPAapter 权重的分开控制 使用缩放 CFG(在高级 模型里面) 用来控制 IPAdapter 的权重 二次的风格固定 再次使用一次采样, 把需要的一张风格图像通过 IPApater 再一次采样 这里注意, 第二次的模型节点要链接到前面的基础模型 💡 • Plus Face IPAdapter的CLIPVision • Full Face IPAdapter的CLIPVision • Face ID 单独的Insight Face • Face ID Portrait 单独的Insight Face • Face ID Plus Insight Face + CLIPVision两个的叠加 • Face ID Plus V2 Insight Face + CLIPVision两个的叠加 • Plus Face IPAdapter的CLIPVision • Full Face IPAdapter的CLIPVision • Face ID 单独的Insight Face • Face ID Portrait 单独的Insight Face • Face ID Plus Insight Face + CLIPVision两个的叠加 • Face ID Plus V2 Insight Face + CLIPVision两个的叠加 人物肖像 这里是在上面工作流的一个升级, 传入了多张图片. 另外把IPAdapter模型选择为ip adapter faceid portrait v11 sd15.bin 这个是旧版本的工作流 错误的提示 这个是图片里面没有检查到面部 在第一次运行时候, 会比较慢, 如果报错了, 可能是网络环境没有下载insightface 提示词权重和 IPAapter 权重的分开控制 使用缩放 CFG(在高级 模型里面) 用来控制 IPAdapter 的权重 二次的风格固定 再次使用一次采样, 把需要的一张风格图像通过 IPApater 再一次采样 这里注意, 第二次的模型节点要链接到前面的基础模型 IPAdapter 是非常强大的图像到图像的条件模型。可以轻松地将参考图像的主题甚至仅仅是风格转移到生成的图像中。可以将其视为一种图像的转换器。 IPAdapter：https://github.com/cubiq/ComfyUI IPAdapter plus 拓展插件essentials(效率工具)：https://github.com/cubiq/ComfyUI essentials (作者集合了很多有用的小功能) Impact插件(节点包)：https://github.com/ltdrdata/ComfyUI Impact Pack 拓展插件Inspire插件(与 impact 同一个作者,上面节点包的扩展)：https://github.com/ltdrdata/ComfyUI Inspire Pack 模型下载 图像模型 🏝️ 模型下载后, 需要严格按照下面的名称命名, 为了使用后面的IPAdapter统一加载器(这个很方便) 图像处理的模型, 这两个模型的区别在于参数量的大小不一样.另外在后续操作时候, 也需要做对应的区分, 注意IPAdpter模型和IPAdapter预处理的对应 模型下载后, 需要严格按照下面的名称命名, 为了使用后面的IPAdapter统一加载器(这个很方便) 图像处理的模型, 这两个模型的区别在于参数量的大小不一样.另外在后续操作时候, 也需要做对应的区分, 注意IPAdpter模型和IPAdapter预处理的对应 • CLIP ViT H 14 laion2B s32B b79K.safetensors, download and rename CLIP ViT H 14 laion2B s32B b79K.safetensors，下载并重命名 CLIP ViT H 14 laion2B s32B b79K.safetensors • CLIP ViT bigG 14 laion2B 39B b160k.safetensors, download and rename CLIP ViT bigG 14 laion2B 39B b160k.safetensors，下载并重命名 CLIP ViT bigG 14 laion2B 39B b160k.safetensors 下载后放入/ComfyUI/models/clip vision ✍️ 这里需要注意的是， clip vison只能编码224x224大小的正方形图片， 所以后续使用时候，需要注意下，把图片做一下裁剪，特别是不是正方形的图片。 这里需要注意的是， clip vison只能编码224x224大小的正方形图片， 所以后续使用时候，需要注意下，把图片做一下裁剪，特别是不是正方形的图片。 ipadapter 模型下载 • ip adapter sd15.safetensors, Basic model, average strength ip adapter sd15.safetensors，基础模型，平均强度 ip adapter sd15.safetensors • ip adapter sd15 light v11.bin, Light impact model ip adapter sd15 light v11.bin，轻型冲击模型 ip adapter sd15 light v11.bin • ip adapter plus sd15.safetensors, Plus model, very strong ip adapter plus sd15.safetensors，加强型模型，非常强大 ip adapter plus sd15.safetensors • ip adapter plus face sd15.safetensors, Face model, portraits ip adapter plus face sd15.safetensors，人脸模型，肖像照片 ip adapter plus face sd15.safetensors • ip adapter full face sd15.safetensors, Stronger face model, not necessarily better ip adapter full face sd15.safetensors，更强大的面部模型，不一定更好 ip adapter full face sd15.safetensors • ip adapter sd15 vit G.safetensors, Base model, requires bigG clip vision encoder ip adapter sd15 vit G.safetensors，基础模型，需要大 G 剪辑视觉编码器 ip adapter sd15 vit G.safetensors • ip adapter sdxl vit h.safetensors, SDXL model ip adapter sdxl vit h.safetensors，SDXL 模型 ip adapter sdxl vit h.safetensors • ip adapter plus sdxl vit h.safetensors, SDXL plus model ip adapter plus sdxl vit h.safetensors，SDXL plus 模型 ip adapter plus sdxl vit h.safetensors • ip adapter plus face sdxl vit h.safetensors, SDXL face model ip adapter plus face sdxl vit h.safetensors，SDXL 人脸模型 ip adapter plus face sdxl vit h.safetensors • ip adapter sdxl.safetensors, vit G SDXL model, requires bigG clip vision encoder ip adapter sdxl.safetensors，vit G SDXL 模型，需要 bigG clip 视觉编码器 ip adapter sdxl.safetensors 都下载好, 放入/ComfyUI/models/ipadapter ，如果不存在则创建 简单的工作流 需要注意的是, IPadapter的模型与预处理器选择也需要于基础模型一致, 比如基础模型选择的是1.5的模型, 那么IPAdapter的模型和预处理也需要是1.5的.不然会报错 这个是旧版本的工作流(新版的使用统一加载器,就可以不用自己去选择对应的模型和 lora,前提是模型的和 lora 的命名需要按照对应的要求, 上面有说) 这里, 我们使用一张图, 给了一个简单的提示词, 使用的face模型,参数图像,生成脸部相似的图片. 需要注意的是, 如果觉得生成的图片还不够像, 可以使用噪波增强来提升一下 💡 ipadpter更新后, 添加噪声的方法有改变, 是使用图片来添加, 这个比较重要, 后面会展开来讲. ipadpter更新后, 添加噪声的方法有改变, 是使用图片来添加, 这个比较重要, 后面会展开来讲. FaceID 在 ipdapter 里面的 faceID 其实是引入了insightface insightface项目 : https://github.com/deepinsight/insightface nsightFace 是一个开源的 2D&3D 深度人脸分析工具包，主要基于 PyTorch 和 MXNet。 所以使用FaceID 需要 insightface , 因为IPAdapter的 FaceID 实现是集成了insightface, 并且在insightface的基础上做了升级. 先安装,这边以秋叶的启动器为例子. 💡 请记住，大多数 FaceID 模型还需要一个 LoRA。因为如果遵循命名约定，它将自动加载。否则，必须手动加载它们，请注意每个 FaceID 模型必须与其自己特定的 LoRA 配对 请记住，大多数 FaceID 模型还需要一个 LoRA。因为如果遵循命名约定，它将自动加载。否则，必须手动加载它们，请注意每个 FaceID 模型必须与其自己特定的 LoRA 配对 为了使统一加载器正常工作，文件的命名必须与下表中显示的完全相同。 • /ComfyUI/models/ipadapter ◦ ip adapter faceid sd15.bin, base FaceID model ip adapter faceid sd15.bin，基本 FaceID 模型 ◦ ip adapter faceid plusv2 sd15.bin, FaceID plus v2 ip adapter faceid plusv2 sd15.bin，FaceID plus v2 ◦ ip adapter faceid portrait v11 sd15.bin, text prompt style transfer for portraits ip adapter faceid portrait v11 sd15.bin，肖像画的文本提示样式转换 ◦ ip adapter faceid sdxl.bin, SDXL base FaceID ip adapter faceid sdxl.bin，SDXL 基础 FaceID ◦ ip adapter faceid plusv2 sdxl.bin, SDXL plus v2 ip adapter faceid plusv2 sdxl.bin，SDXL plus v2 ◦ ip adapter faceid portrait sdxl.bin, SDXL text prompt style transfer ip adapter faceid portrait sdxl.bin，SDXL 文本提示样式转换 ip adapter faceid sd15.bin ip adapter faceid plusv2 sd15.bin ip adapter faceid portrait v11 sd15.bin ip adapter faceid sdxl.bin ip adapter faceid plusv2 sdxl.bin ip adapter faceid portrait sdxl.bin ◦ ip adapter faceid sd15.bin, base FaceID model ip adapter faceid sd15.bin，基本 FaceID 模型 ip adapter faceid sd15.bin ◦ ip adapter faceid plusv2 sd15.bin, FaceID plus v2 ip adapter faceid plusv2 sd15.bin，FaceID plus v2 ip adapter faceid plusv2 sd15.bin ◦ ip adapter faceid portrait v11 sd15.bin, text prompt style transfer for portraits ip adapter faceid portrait v11 sd15.bin，肖像画的文本提示样式转换 ip adapter faceid portrait v11 sd15.bin ◦ ip adapter faceid sdxl.bin, SDXL base FaceID ip adapter faceid sdxl.bin，SDXL 基础 FaceID ip adapter faceid sdxl.bin ◦ ip adapter faceid plusv2 sdxl.bin, SDXL plus v2 ip adapter faceid plusv2 sdxl.bin，SDXL plus v2 ip adapter faceid plusv2 sdxl.bin ◦ ip adapter faceid portrait sdxl.bin, SDXL text prompt style transfer ip adapter faceid portrait sdxl.bin，SDXL 文本提示样式转换 ip adapter faceid portrait sdxl.bin /ComfyUI/models/loras • ip adapter faceid sd15 lora.safetensors ip adapter faceid sd15 lora.safetensors • ip adapter faceid plusv2 sd15 lora.safetensors ip adapter faceid plusv2 sd15 lora.safetensors • ip adapter faceid sdxl lora.safetensors, ip adapter faceid sdxl lora.safetensors SDXL FaceID LoRA ip adapter faceid sdxl lora.safetensors， SDXL FaceID LoRA • ip adapter faceid plusv2 sdxl lora.safetensors, SDXL plus v2 LoRA ip adapter faceid plusv2 sdxl lora.safetensors，SDXL plus v2 LoRA ip adapter faceid plusv2 sdxl lora.safetensors 适合的人像模型 Realistic Vision V6.0 B1 https://civitai.com/models/4201/realistic vision v60 b1 Prompt: 提示： RAW photo, subject, 8k uhd, dslr, soft lighting, high quality, film grain, Fujifilm XT3 原始照片，主题，8k 超高清，单反相机，柔和光线，高质量，胶片颗粒，富士 XT3 Negative Prompt: 负面提示： • (deformed iris, deformed pupils, semi realistic, cgi, 3d, render, sketch, cartoon, drawing, anime), text, cropped, out of frame, worst quality, low quality, jpeg artifacts, ugly, duplicate, morbid, mutilated, extra fingers, mutated hands, poorly drawn hands, poorly drawn face, mutation, deformed, blurry, dehydrated, bad anatomy, bad proportions, extra limbs, cloned face, disfigured, gross proportions, malformed limbs, missing arms, missing legs, extra arms, extra legs, fused fingers, too many fingers, long neck, UnrealisticDream （畸形的虹膜，畸形的瞳孔，半写实，CGI，3D，渲染，素描，卡通，绘画，动漫），文本，裁剪，超出画面，最差质量，低质量，JPEG 伪像，丑陋，重复，病态，残缺，多余的手指，变异的手，画得不好的手，画得不好的脸，突变，畸形，模糊，脱水，解剖不良，比例不良，多余的肢体，克隆的脸，畸形的比例，畸形的肢体，缺胳膊，缺腿，多余的胳膊，多余的腿，融合的手指，手指太多，长脖子，不真实的梦境 • (deformed iris, deformed pupils, semi realistic, cgi, 3d, render, sketch, cartoon, drawing, anime, mutated hands and fingers:1.4), (deformed, distorted, disfigured:1.3), poorly drawn, bad anatomy, wrong anatomy, extra limb, missing limb, floating limbs, disconnected limbs, mutation, mutated, ugly, disgusting, amputation, UnrealisticDream （畸形的虹膜，畸形的瞳孔，半写实，CGI，3D，渲染，素描，卡通，绘画，动漫，变异的手和手指：1.4），（畸形，扭曲，畸形：1.3），画得不好，解剖不良，错误的解剖，多余的肢体，缺失的肢体，浮动的肢体，脱节的肢体，突变，变异，丑陋，恶心，截肢，不真实的梦境 UnrealisticDream 💡 • Euler A or DPM++ SDE Karras • CFG 比例 3.5 7 • Euler A or DPM++ SDE Karras • CFG 比例 3.5 7 • 降噪强度 0.25 0.45 • Clip Skip 1 2 跳过 1 2 个剪辑 • 高清。使用 4x UltraSharp 升频器修复 工作流 一个简单的工作流,注意别忘了加载lora. 这个是旧版本的工作流 不同脸部处理模型的区别