SD新手：入门图文教程

SD新手：入门图文教程 SD新手：入门图文教程语法为： Code block Plain Text Copy [to:when] 在指定数量的 step 后，将to处的提示词添加到提示 [from::when] 在指定数量的 step 后从提示中删除 from处的提示词 [from:to:when] 在指定数量的 step 后将 from处的提示词替换为 to处的提示词例如: a [fantasy:cyberpunk:16] landscape 在一开始，读入的提示词为： the model will be drawing a fantasy landscape. 在第 16 步之后,提示词将被替换为：a cyberpunk landscape, 它将继续在之前的图像上计算又例如，对于提示词为: fantasy landscape with a [mountain:lake:0.25] and [an oak:a christmas tree:0.75][ in foreground::0.6][ in background:0.25][shoddy:masterful:0.5]，100 步采样，一开始。提示词为： fantasy landscape with a mountain and an oak in foreground shoddy 在第 25 步后，提示词为： fantasy landscape with a lake and an oak in foreground in background shoddy 在第 50 步后，提示词为：fantasy landscape with a lake and an oak in foreground in background masterful 在第 60 步后，提示词为：fantasy landscape with a lake and an oak in background masterful 在第 75 步后，提示词为：fantasy landscape with a lake and a christmas tree in background masterful 提示词还可以轮转，比如 Code block Plain Text Copy [cow|horse] in a field 在第一步时，提示词为“cow in a field”；在第二步时，提示词为"horse in a field."；在第三步时，提示词为"cow in a field" ，以此类推。 Token 实际上，程序是将输入的关键词以 Token 的形式传入模型进行计算的： “ (Medieval astronomer using a telescope with a cosmic starry sky in the background.sketch, hand draw style, con, uncomplicated background )”转换为 Token ID 即： 263, 10789, 40036, 1996, 320, 19037, 593, 320, 18304, 30963, 2390, 530, 518, 5994, 8, 11, 263, 5269, 267, 2463, 4001, 1844, 267, 5646, 267, 569, 16621, 5994, 264 。一个单词可能对应一个或多个 Token，多个单词也可能对应同一个 Token。提示词模板可参考Civitai | Stable Diffusion models, embeddings, hypernetworks and more中优秀作品的提示词作为模板。类似的网站还有： • Majinai：MajinAI | Home • 词图：词图 PromptTool AI 绘画资料管理网站 • Black Lily：black lily • Danbooru 标签超市：Danbooru 标签超市 • 魔咒百科词典：魔咒百科词典 • AI 词汇加速器：AI 词汇加速器 AcceleratorI Prompt NovelAI 魔导书：NovelAI 魔导书 • 鳖哲法典：鳖哲法典 • Danbooru tag：Tag Groups Wiki | Danbooru (donmai.us) • AIBooru：AIBooru: Anime Image Board 五、Controlnet Controlnet 允许通过线稿、动作识别、深度信息等对生成的图像进行控制。请注意，在使用前请确保 ControlNet 设置下的路径与本地 Stable Diffusion 的路径同步基本流程 • 点击 Enable 启用该项 ControlNet • Preprocessor 指预处理器，它将对输入的图像进行预处理。如果图像已经符合预处理后的结果，请选择 None。譬如，图中导入的图像已经是 OpenPose 需要的骨架图，那么 preprocessor 选择 none 即可。 • 在 Weight 下，可以调整该项 ControlNet 的在合成中的影响权重，与在 prompt 中调整的权重类似。Guidance strength 用来控制图像生成的前百分之多少步由 Controlnet 主导生成，这点与[:]语法类似。 • Invert Input Color 表示启动反色模式，如果输入的图片是白色背景，开启它。 • RGB to BGR 表示将输入的色彩通道信息反转，即 RGB 信息当做 BGR 信息解析，只是因为 OpenCV 中使用的是 BGR 格式。如果输入的图是法线贴图，开启它。 • Low VRAM 表示开启低显存优化，需要配合启动参数“ lowvram”。 • Guess Mode 表示无提示词模式，需要在设置中启用基于 CFG 的引导。 • Model 中请选择想要使用解析模型，应该与输入的图像或者预处理器对应。请注意，预处理器可以为空，但模型不能为空。可用预处理/模型 • canny 用于识别输入图像的边缘信息。 • depth 用于识别输入图像的深度信息。 • hed 用于识别输入图像的边缘信息，但边缘更柔和。 • mlsd 用于识别输入图像的边缘信息，一种轻量级的边缘检测。它对横平竖直的线条非常敏感，因此更适用于于室内图的生成。 • normal 用于识别输入图像的法线信息。 • openpose 用于识别输入图像的动作信息。 OpenPose Editor 插件可以自行修改姿势，导出到文生图或图生图。 • scribble 将输入图像作为线稿识别。如果线稿是白色背景，务必勾选“Invert Input Color” • fake scribble 识别输入图像的线稿，然后再将它作为线稿生成图像。 Civitai | Stable Diffusion models, embeddings, hypernetworks and more MajinAI | Home 词图 PromptTool AI 绘画资料管理网站 black lily Danbooru 标签超市魔咒百科词典 AI 词汇加速器 AcceleratorI Prompt NovelAI 魔导书鳖哲法典 Tag Groups Wiki | Danbooru (donmai.us) AIBooru: Anime Image Board 语法为：例如: a [fantasy:cyberpunk:16] landscape 在一开始，读入的提示词为： the model will be drawing a fantasy landscape. 在第 16 步之后,提示词将被替换为：a cyberpunk landscape, 它将继续在之前的图像上计算又例如，对于提示词为: fantasy landscape with a [mountain:lake:0.25] and [an oak:a christmas tree:0.75][ in foreground::0.6][ in background:0.25][shoddy:masterful:0.5]，100 步采样，一开始。提示词为： fantasy landscape with a mountain and an oak in foreground shoddy 在第 25 步后，提示词为： fantasy landscape with a lake and an oak in foreground in background shoddy 在第 50 步后，提示词为：fantasy landscape with a lake and an oak in foreground in background masterful 在第 60 步后，提示词为：fantasy landscape with a lake and an oak in background masterful 在第 75 步后，提示词为：fantasy landscape with a lake and a christmas tree in background masterful 例如: a [fantasy:cyberpunk:16] landscape 在一开始，读入的提示词为： the model will be drawing a fantasy landscape. 在第 16 步之后,提示词将被替换为：a cyberpunk landscape, 它将继续在之前的图像上计算又例如，对于提示词为: fantasy landscape with a [mountain:lake:0.25] and [an oak:a christmas tree:0.75][ in foreground::0.6][ in background:0.25][shoddy:masterful:0.5]，100 步采样，一开始。提示词为： fantasy landscape with a mountain and an oak in foreground shoddy 在第 25 步后，提示词为： fantasy landscape with a lake and an oak in foreground in background shoddy 在第 50 步后，提示词为：fantasy landscape with a lake and an oak in foreground in background masterful 在第 60 步后，提示词为：fantasy landscape with a lake and an oak in background masterful 在第 75 步后，提示词为：fantasy landscape with a lake and a christmas tree in background masterful 提示词还可以轮转，比如在第一步时，提示词为“cow in a field”；在第二步时，提示词为"horse in a field."；在第三步时，提示词为"cow in a field" ，以此类推。 Token 实际上，程序是将输入的关键词以 Token 的形式传入模型进行计算的： “ (Medieval astronomer using a telescope with a cosmic starry sky in the background.sketch, hand draw style, con, uncomplicated background )”转换为 Token ID 即： 263, 10789, 40036, 1996, 320, 19037, 593, 320, 18304, 30963, 2390, 530, 518, 5994, 8, 11, 263, 5269, 267, 2463, 4001, 1844, 267, 5646, 267, 569, 16621, 5994, 264 。一个单词可能对应一个或多个 Token，多个单词也可能对应同一个 Token。提示词模板可参考Civitai | Stable Diffusion models, embeddings, hypernetworks and more中优秀作品的提示词作为模板。 Civitai | Stable Diffusion models, embeddings, hypernetworks and more 类似的网站还有： • Majinai：MajinAI | Home MajinAI | Home • 词图：词图 PromptTool AI 绘画资料管理网站词图 PromptTool AI 绘画资料管理网站 • Black Lily：black lily black lily • Danbooru 标签超市：Danbooru 标签超市 Danbooru 标签超市 • 魔咒百科词典：魔咒百科词典魔咒百科词典 • AI 词汇加速器：AI 词汇加速器 AcceleratorI Prompt NovelAI 魔导书：NovelAI 魔导书 AI 词汇加速器 AcceleratorI Prompt NovelAI 魔导书 • 鳖哲法典：鳖哲法典鳖哲法典 • Danbooru tag：Tag Groups Wiki | Danbooru (donmai.us) Tag Groups Wiki | Danbooru (donmai.us) • AIBooru：AIBooru: Anime Image Board AIBooru: Anime Image Board 五、Controlnet Controlnet 允许通过线稿、动作识别、深度信息等对生成的图像进行控制。请注意，在使用前请确保 ControlNet 设置下的路径与本地 Stable Diffusion 的路径同步基本流程 • 点击 Enable 启用该项 ControlNet • Preprocessor 指预处理器，它将对输入的图像进行预处理。如果图像已经符合预处理后的结果，请选择 None。譬如，图中导入的图像已经是 OpenPose 需要的骨架图，那么 preprocessor 选择 none 即可。 • 在 Weight 下，可以调整该项 ControlNet 的在合成中的影响权重，与在 prompt 中调整的权重类似。Guidance strength 用来控制图像生成的前百分之多少步由 Controlnet 主导生成，这点与[:]语法类似。 • Invert Input Color 表示启动反色模式，如果输入的图片是白色背景，开启它。 • RGB to BGR 表示将输入的色彩通道信息反转，即 RGB 信息当做 BGR 信息解析，只是因为 OpenCV 中使用的是 BGR 格式。如果输入的图是法线贴图，开启它。 • Low VRAM 表示开启低显存优化，需要配合启动参数“ lowvram”。 • Guess Mode 表示无提示词模式，需要在设置中启用基于 CFG 的引导。 • Model 中请选择想要使用解析模型，应该与输入的图像或者预处理器对应。请注意，预处理器可以为空，但模型不能为空。可用预处理/模型 • canny 用于识别输入图像的边缘信息。 • depth 用于识别输入图像的深度信息。 • hed 用于识别输入图像的边缘信息，但边缘更柔和。 • mlsd 用于识别输入图像的边缘信息，一种轻量级的边缘检测。它对横平竖直的线条非常敏感，因此更适用于于室内图的生成。 • normal 用于识别输入图像的法线信息。 • openpose 用于识别输入图像的动作信息。 OpenPose Editor 插件可以自行修改姿势，导出到文生图或图生图。 • scribble 将输入图像作为线稿识别。如果线稿是白色背景，务必勾选“Invert Input Color” • fake scribble 识别输入图像的线稿，然后再将它作为线稿生成图像。多 ControlNet 合成在 ControlNet 的设置下，可以调整可用 ControlNet 的数量。在多个 ControlNet 模式下，结果会将输入的信息合并生成图像：六、更多模型模型下载模型能够有效地控制生成的画风和内容。常用的模型网站有： Civitai | Stable Diffusion models, embeddings, hypernetworks and more Models Hugging Face SD WebUI 资源站元素法典 AI 模型收集站 AI 绘图指南 wiki (aiguidebook.top) AI 绘画模型博物馆 (subrecovery.top) Civitai | Stable Diffusion models, embeddings, hypernetworks and more Models Hugging Face SD WebUI 资源站元素法典 AI 模型收集站 AI 绘图指南 wiki (aiguidebook.top) AI 绘画模型博物馆 (subrecovery.top) Civitai | Stable Diffusion models, embeddings, hypernetworks and more Models Hugging Face SD WebUI 资源站元素法典 AI 模型收集站 AI 绘图指南 wiki (aiguidebook.top) AI 绘画模型博物馆 (subrecovery.top) Civitai | Stable Diffusion models, embeddings, hypernetworks and more Models Hugging Face SD WebUI 资源站元素法典 AI 模型收集站 AI 绘图指南 wiki (aiguidebook.top) AI 绘画模型博物馆 (subrecovery.top) 模型安装下载模型后需要将之放置在指定的目录下，请注意，不同类型的模型应该拖放到不同的目录下。模型的类型可以通过Stable Diffusion 法术解析检测。 Stable Diffusion 法术解析 • 大模型（Ckpt）：放入 models\Stable diffusion • VAE 模型：一些大模型需要配合 vae 使用，对应的 vae 同样放置在 models\Stable diffusion 或 models\VAE 目录，然后在 webui 的设置栏目选择。 • Lora/LoHA/LoCon 模型：放入 extensions\sd webui additional networks\models\lora，也可以在 models/Lora 目录 • Embedding 模型：放入 embeddings 目录模型使用 • Checkpoint(ckpt)模型对效果影响最大的模型。在 webui 界面的左上角选择使用。一些模型会有触发词，即在提示词内输入相应的单词才会生效。 • Lora 模型 / LoHA 模型 / LoCon 模型对人物、姿势、物体表现较好的模型，在 ckpt 模型上附加使用。在 webui 界面的 Additional Networks 下勾线 Enable 启用，然后在 Model 下选择模型，并可用 Weight 调整权重。权重越大，该 Lora 的影响也越大。不建议权重过大（超过 1.2），否则很容易出现扭曲的结果。多个 lora 模型混合使用可以起到叠加效果，譬如一个控制面部的 lora 配合一个控制画风的 lora 就可以生成具有特定画风的特定人物。因此可以使用多个专注于不同方面优化的 Lora，分别调整权重，结合出自己想要实现的效果。 LoHA 模型是一种 LORA 模型的改进。 LoCon 模型也一种 LORA 模型的改进，泛化能力更强。 • Embedding 对人物、画风都有调整效果的模型。在提示词中加入对应的关键词即可。大部分 Embedding 模型的关键词与文件名相同，譬如一个名为为“SomeCharacter.pt”的模型，触发它的关键词检索“SomeCharacter”。声明：本文转发自：腾讯技术工程：Stable Diffusion 新手入门手册，在原文上增加目录，作者：HkingAuditore 腾讯技术工程：Stable Diffusion 新手入门手册 HkingAuditore Stable Diffusion 介绍：2022 年发布的深度学习文字到图像生成模型。它主要用于根据文字的描述产生详细图像，能够在几秒钟内创作出令人惊叹的艺术作品，本文是一篇使用入门教程。 Stable Diffusion 介绍：2022 年发布的深度学习文字到图像生成模型。它主要用于根据文字的描述产生详细图像，能够在几秒钟内创作出令人惊叹的艺术作品，本文是一篇使用入门教程。一、硬件要求建议使用不少于 16 GB 内存，并有 60GB 以上的硬盘空间。需要用到 CUDA 架构，推荐使用 N 卡。（目前已经有了对 A 卡的相关支持，但运算的速度依旧明显慢于 N 卡，参见： Install and Run on AMD GPUs · AUTOMATIC1111/stable diffusion webui Wiki · GitHub Install and Run on AMD GPUs · AUTOMATIC1111/stable diffusion webui Wiki · GitHub 过度使用，显卡会有损坏的风险。过度使用，显卡会有损坏的风险。进行 512x 图片生成时主流显卡速度对比：二、环境部署手动部署可以参考 webui 的官方 wiki 部署：Home · AUTOMATIC1111/stable diffusion webui Wiki (github.com) Home · AUTOMATIC1111/stable diffusion webui Wiki (github.com) stable diffusion webui 的完整环境占用空间极大，能达到几十 G。同时，webui 需要联网下载安装大量的依赖，在境内的网络环境下下载很慢，请自带科学上网工具。 1. 安装 Python 安装 Python 3.10，安装时须选中 Add Python to PATH Python 3.10 2. 安装 Git 在 Git scm.com 下载 Git 安装包并安装。 Git scm.com 3. 下载 webui 的 github 仓库按下win+r输入 cmd，调出命令行窗口。运行： cd PATH TO CLONE git clone https://http://github.com/AUTOMATIC1111/stable diffusion webui.git 请把代码中的 PATH TO CLONE 替换为自己想下载的目录。 http://github.com/AUTOMATIC1111/stable diffusion webui.git 4. 装配模型可在如Civitai上下载标注有CKPT的模型，有模型才能作画。下载的模型放入下载后文件路径下的models/Stable diffusion目录。 Civitai 5. 使用双击运行 webui user.bat 。脚本会自动下载依赖，等待一段时间（可能很长），程序会输出一个类似 http://127.0.0.1:7860/ 的地址，在浏览器中输入这个链接开即可。详细可参见模型使用。模型使用 6. 更新按下win+r输入 cmd，调出命令行窗口。运行： cd PATH TO CLONE git pull 请把代码中的： PATH TO CLONE 替换为自己下载仓库的目录。整合包觉得麻烦的同学可以使用整合包，解压即用。比如独立研究员的空间下经常更新整合包。秋叶的启动器也非常好用，将启动器复制到下载仓库的目录下即可，更新管理会更方便。独立研究员秋叶的启动器打开启动器后，可一键启动：如果有其他需求，可以在高级选项中调整配置。显存优化根据显卡实际显存选择，不要超过当前显卡显存。不过并不是指定了显存优化量就一定不会超显存，在出图时如果启动了过多的优化项（如高清修复、人脸修复、过大模型）时，依然有超出显存导致出图失败的几率。 xFormers 能极大地改善了内存消耗和速度，建议开启。准备工作完毕后，点击一键启动即可。等待浏览器自动跳出，或是控制台弹出本地 URL 后说明启动成功如果报错提示缺少 Pytorch，则需要在启动器中点击配置： Stable Diffusion webui 的更新比较频繁，请根据需求在“版本管理”目录下更新：同样地，也请注意插件的更新：关于插件 Stable Diffusion 可配置大量插件扩展，在 webui 的“扩展”选项卡下，可以安装插件：点击“加载自”后，目录会刷新，选择需要的插件点击右侧的 install 即可安装。安装完毕后，需要重新启动用户界面：三、功能介绍文生图最简流程选择需要使用的模型（底模），这是对生成结果影响最大的因素，主要体现在画面风格上。在第一个框中填入提示词（Prompt），对想要生成的东西进行文字描述在第二个框中填入负面提示词（Negative prompt)，你不想要生成的东西进行文字描述选择采样方法、采样次数、图片尺寸等参数。 • Sampler（采样器/采样方法）选择使用哪种采样器。 Euler a（Eular ancestral）可以以较少的步数产生很大的多样性，不同的步数可能有不同的结果。而非 ancestral 采样器都会产生基本相同的图像。DPM 相关的采样器通常具有不错的效果，但耗时也会相应增加。 ◦ Euler 是最简单、最快的 ◦ Euler a 更多样，不同步数可以生产出不同的图片。但是太高步数 ( 30) 效果不会更好。 ◦ DDIM 收敛快，但效率相对较低，因为需要很多 step 才能获得好的结果，适合在重绘时候使用。 ◦ LMS 是 Euler 的衍生，它们使用一种相关但稍有不同的方法（平均过去的几个步骤以提高准确性）。大概 30 step 可以得到稳定结果 ◦ PLMS 是 Euler 的衍生，可以更好地处理神经网络结构中的奇异性。 ◦ DPM2 是一种神奇的方法，它旨在改进 DDIM，减少步骤以获得良好的结果。它需要每一步运行两次去噪，它的速度大约是 DDIM 的两倍，生图效果也非常好。但是如果你在进行调试提示词的实验，这个采样器可能会有点慢了。 ◦ UniPC 效果较好且速度非常快，对平面、卡通的表现较好，推荐使用。 ◦ Euler 是最简单、最快的 ◦ Euler a 更多样，不同步数可以生产出不同的图片。但是太高步数 ( 30) 效果不会更好。 ◦ DDIM 收敛快，但效率相对较低，因为需要很多 step 才能获得好的结果，适合在重绘时候使用。 ◦ LMS 是 Euler 的衍生，它们使用一种相关但稍有不同的方法（平均过去的几个步骤以提高准确性）。大概 30 step 可以得到稳定结果 ◦ PLMS 是 Euler 的衍生，可以更好地处理神经网络结构中的奇异性。 ◦ DPM2 是一种神奇的方法，它旨在改进 DDIM，减少步骤以获得良好的结果。它需要每一步运行两次去噪，它的速度大约是 DDIM 的两倍，生图效果也非常好。但是如果你在进行调试提示词的实验，这个采样器可能会有点慢了。 ◦ UniPC 效果较好且速度非常快，对平面、卡通的表现较好，推荐使用。 • Sampling Steps（采样步数） Stable Diffusion 的工作方式是从以随机高斯噪声起步，向符合提示的图像一步步降噪接近。随着步数增多，可以得到对目标更小、更精确的图像。但增加步数也会增加生成图像所需的时间。增加步数的边际收益递减，取决于采样器。一般开到 20 30。 • 不同采样步数与采样器之间的关系： • CFG Scale（提示词相关性）图像与你的提示的匹配程度。增加这个值将导致图像更接近你的提示，但它也在一定程度上降低了图像质量。可以用更多的采样步骤来抵消。过高的 CFG Scale 体现为粗犷的线条和过锐化的图像。一般开到 7 11。 CFG

在小宇宙note 阅读完整内容