1-ipa工作流用法

1 ipa工作流用法 1 ipa工作流用法 Modified August 18, 2024 （3）可以将图像用蓝色的线连接到cn应用如图所示，即通过cn的深度学习模型（SDxl版本，因为checkpoint大模型用的是SDxl版本），因为深度学习zoe处理器。 ▲具体五种不同的处理器对比，可以参考我的飞书文档： 基于不同的cn模型下的不同预处理器的线稿效果对比 飞书云文档 (feishu.cn) （4）对要生成的图片进行填写提示词。 正向提示词：illustration, bushes,calm, executable, high quality （5）生成（添加到提示词队列） 1.4 排除bug 1.4.1未将ipa文件下全 首先，在使用本工作流之前，先得运行作者cubiq的ComfyUI IPAdapter plus节点文件（ipadapter simple.json）： 文件链接ComfyUI IPAdapter plus/examples/ipadapter simple.json at main · cubiq/ComfyUI IPAdapter plus · GitHub 节点链接GitHub cubiq/ComfyUI IPAdapter plus 倘若出现bug： 那么会出现有两种原因： ①对应的“预设”在下的文件模块里面没有，把下面六种预设都试过一次看看能不能解决这个问题。 或者对应的“权重类型”上没有： ②照着节点链接GitHub cubiq/ComfyUI IPAdapter plus中所说的安装部分将文件都（除了deprecated“荒废”之外，全部下载）对应着文件夹下载一下（没有ipadapter文件夹的话就手动添加一个）。 1.4.2资源空间不够 对应地看看出错区域（紫色框框部分）是不是分辨率过高 1.4.3文件没下全 使用工作流时请将对应的checkpoint大模型文件下载、cn模型下载， 并且二者对应的版本要一样（比如都是SDxl或者SD1.5） 否则会报错： 二、视频转绘篇 如图，是《仙剑奇侠传》中的名场面转绘。当客户有转绘的需求时，我们应该如何搭载、搭载哪些工作流呢？ 我将介绍的是“DomoAI动漫转绘工作流.json” 基于不同的cn模型下的不同预处理器的线稿效果对比 飞书云文档 ( feishu.cn ) ComfyUI IPAdapter plus/examples/ipadapter simple.json at main · cubiq/ComfyUI IPAdapter plus · GitHub GitHub cubiq/ComfyUI IPAdapter plus GitHub cubiq/ComfyUI IPAdapter plus （3）可以将图像用蓝色的线连接到cn应用如图所示，即通过cn的深度学习模型（SDxl版本，因为checkpoint大模型用的是SDxl版本），因为深度学习zoe处理器。 ▲具体五种不同的处理器对比，可以参考我的飞书文档： 基于不同的cn模型下的不同预处理器的线稿效果对比 飞书云文档 (feishu.cn) 基于不同的cn模型下的不同预处理器的线稿效果对比 飞书云文档 ( feishu.cn ) （4）对要生成的图片进行填写提示词。 正向提示词：illustration, bushes,calm, executable, high quality （5）生成（添加到提示词队列） 1.4 排除bug 1.4.1未将ipa文件下全 首先，在使用本工作流之前，先得运行作者cubiq的ComfyUI IPAdapter plus节点文件（ipadapter simple.json）： 文件链接ComfyUI IPAdapter plus/examples/ipadapter simple.json at main · cubiq/ComfyUI IPAdapter plus · GitHub ComfyUI IPAdapter plus/examples/ipadapter simple.json at main · cubiq/ComfyUI IPAdapter plus · GitHub 节点链接GitHub cubiq/ComfyUI IPAdapter plus GitHub cubiq/ComfyUI IPAdapter plus 倘若出现bug： 那么会出现有两种原因： ①对应的“预设”在下的文件模块里面没有，把下面六种预设都试过一次看看能不能解决这个问题。 或者对应的“权重类型”上没有： ②照着节点链接GitHub cubiq/ComfyUI IPAdapter plus中所说的安装部分将文件都（除了deprecated“荒废”之外，全部下载）对应着文件夹下载一下（没有ipadapter文件夹的话就手动添加一个）。 GitHub cubiq/ComfyUI IPAdapter plus 1.4.2资源空间不够 对应地看看出错区域（紫色框框部分）是不是分辨率过高 1.4.3文件没下全 使用工作流时请将对应的checkpoint大模型文件下载、cn模型下载， 并且二者对应的版本要一样（比如都是SDxl或者SD1.5） 否则会报错： 二、视频转绘篇 如图，是《仙剑奇侠传》中的名场面转绘。当客户有转绘的需求时，我们应该如何搭载、搭载哪些工作流呢？ 我将介绍的是“DomoAI动漫转绘工作流.json” 一、图像转绘篇 我将基于ipadapter（简称“ipa”）最新工作流“ipadapter advanced.json”工作流给大家进行展示。 工作流中controlnet模型（简称“cn”）用来控制ipa生成的图片。 作者：b站up坏心眼猫特效，工作流和模型：https://pan.quark.cn/s/2d0c9a5a9d34 预处理器网络模型的总览如下图： ipa+cn的总实现框架如下图： 1.1 基于深度学习的重绘 1.1.1 将一张黑白素材图片和一张彩色风格图片进行风格迁移完成转绘。 黑色图片如上，彩色片如下。 最终生成的图片如下图，可以很清楚的看到，原来的黑白素材图片得到了风格上赋能。 也可以生成的四张图片如下图： 补充：可以生成四张（选择下图右边进行与K采样器的latent连接），也可以生成一张（选择左边） 1.1.2步骤及解析 （1）首先先创建节点加载图片： （2）其次读取一张所需风格的图片作为参考图。 （3）将图像用蓝色的线连接到cn应用如图所示，即通过cn的深度学习模型（SDxl版本，因为checkpoint大模型用的是SDxl版本）。因为采用的是Zoe深度预处理器。 （4）对要生成的图片进行填写提示词。 正向提示词：illustration of clouds and meadows and mountains and trees, calm, executable, high quality （5）生成（添加到提示词队列） 1.2 基于真实线稿的背景风格重绘 由于该部分的生成效果一般，便不予以展开讲述，下面会介绍一些流程： 将图像用蓝色的线连接到cn应用如图所示，由于是线稿模型，对于的cn模型可以采用深度学习的模型（个人感觉效果更佳），也可以采用“adapter xl lineart fp16.safetensors”线稿模型。 对应的生成图片即可。 1.3 基于黑白线条的图案及背景风格重绘 1.3.1成果展示 将一张黑白图片和一张彩色图片进行风格迁移完成转绘。 黑色图片如上，彩色片如下。 最终生成的图片如下图： 1.3.2步骤及解析 （1）首先先创建节点加载图片： （2）其次读取一张所需风格的图片作为参考图。