辅助工具:MistoLine线稿生图

辅助工具:MistoLine线稿生图

辅助工具:MistoLine线稿生图 辅助工具:MistoLine线稿生图 Modified September 3, 2024 与其他ControlNet的对比 应用场景 手绘渲染 以下案例只是用了MistoLine这个controlnet 模型渲染 以下案例只使用了Anyline作为预处理器以及MistoLine这个controlnet 更精细的手部+面部动作 通过线稿图片可以识别精细地动作。实现手部面部精细地展示 ComfyUI推荐参数 Code block Plain Text Copy sampler steps:30 CFG:7.0 sampler name:dpmpp 2m sde scheduler:karras denoise:0.93 controlnet strength:1.0 stargt percent:0.0 end percent:0.9 Checkpoints • mistoLine rank256.safetensors : 通用版本,General usage version, for ComfyUI and AUTOMATIC1111 WebUI. • mistoLine fp16.safetensors : FP16版本,FP16 weights, for ComfyUI and AUTOMATIC1111 WebUI. ComfyUI 使用方法 引用 Code block Plain Text Copy @misc{ title={Adding Conditional Control to Text to Image Diffusion Models}, author={Lvmin Zhang, Anyi Rao, Maneesh Agrawala}, year={2023}, eprint={2302.05543}, archivePrefix={arXiv}, primaryClass={cs.CV} } 与其他ControlNet的对比 应用场景 手绘渲染 以下案例只是用了MistoLine这个controlnet 模型渲染 以下案例只使用了Anyline作为预处理器以及MistoLine这个controlnet 更精细的手部+面部动作 通过线稿图片可以识别精细地动作。实现手部面部精细地展示 ComfyUI推荐参数 Checkpoints • mistoLine rank256.safetensors : 通用版本,General usage version, for ComfyUI and AUTOMATIC1111 WebUI. • mistoLine fp16.safetensors : FP16版本,FP16 weights, for ComfyUI and AUTOMATIC1111 WebUI. ComfyUI 使用方法 引用 ✅ 中文介绍:https://www.liblib.art/modelinfo/d1d7104c109948aead3d7c7b29e13aaf GITHUB链接:https://github.com/TheMistoAI/MistoLine 模型下载(要科学🕸️):https://huggingface.co/TheMistoAI/MistoLine/tree/main 模型下载(免科学🕸️):https://pan.baidu.com/s/1DbZWmGJ40Uzr3Iz9RNBG w?pwd=8mzs 中文介绍:https://www.liblib.art/modelinfo/d1d7104c109948aead3d7c7b29e13aaf GITHUB链接:https://github.com/TheMistoAI/MistoLine 模型下载(要科学🕸️):https://huggingface.co/TheMistoAI/MistoLine/tree/main 模型下载(免科学🕸️):https://pan.baidu.com/s/1DbZWmGJ40Uzr3Iz9RNBG w?pwd=8mzs MistoLine Control Every Line! GitHub Repo GitHub Repo MistoLine 是一个可以适配任意类型线稿,准确性高,稳定性优秀的SDXL ControlnetNet模型。它可以基于用户输入的任意类型的线稿图(手绘、各类controlnet line preprocessor、模型线框轮廓等)作为条件,生成高质量图像(短边大于1024px),无需再根据不同线预处理器选择不同的controlnet模型,MistoLine在各类线稿条件下都有较好的泛化能力。 MistoLine是我们使用全新的线预处理算法(Anyline),并基于 ai/stable diffusion xl base 1.0的Unet以及大模型训练工程上的创新,重新进行训练的Controlnet模型。MistoLine对于不同类型的线稿输入都有较好的表现,在更加复杂的场景下对于细节还原,prompt对齐,稳定性方面对比现有的Controlnet模型都有更好的表现结果。 MistoLine与lllyasviel公布的Controlnet架构保持一致,原理图如下: reference:https://github.com/lllyasviel/ControlNet 更多关于ControlNet相关的介绍请参考: More information about ControlNet can be found in the following references: https://github.com/lllyasviel/ControlNet 该模型适配目前除(PlaygroundV2.5以及CosXL)之外的大部分SDXL模型,可以配合LCM以及其他ControlNet模型一并使用。我们开源对应的模型权重文件供个人用户进行非商业性使用。 不同预处理器效果:

在 小宇宙note 阅读完整内容