SD-WebUI的模型与配置使用笔记
这篇文章主要对SD-WebUI所需的模型/插件等工具进行一个分类与梳理,便于记忆。
0. 一些相关网址
模型辨别工具:spell.novelai.dev (可以用于分辨各个模型的类型)
模型分享网址:https://civitai.com (有大量不同的模型可以下载学习)
1. SD大模型
基本定义:SD大模型,也称Stable Diffusion大模型,现在也被叫做“底模”。
特征特点:格式后缀通常为”ckpt”, “safetensors”等。
安装路径:./models/Stable_diffusion
使用方式:在主界面的顶部第一个下拉菜单中进行选择。
2. VAE
基本定义:变分什么什么编码器,通常就叫VAE,功能类似滤镜+微调。
特征特点:通常与部分大模型进行配套使用。
安装路径:./models/VAE
使用方式:在主界面顶部的SD VAE下拉菜单中进行选择。(可能需要在设置里设置显示)
3. Embedding
基本定义:是一种集合了大量提示词的模型,也叫“提示词打包(Textual Inversion)”,可以理解为高速吟唱。
特征特点:体积较小(几十KB),多用做负面集合/多视图生成,节省提示词空间。
安装路径:./embeddings
使用方式:点击“生成”按钮下方的“红色卡片”按钮,点击目标embedding,添加集合词到文本框里。
4. LoRA
基本定义:该类模型可实现对特定人物物品的复刻,即提取特征。
特征特点:大小从100+MB到几百MB不等。
安装路径:./models/Lora
使用方式:点击“生成”按钮下方的“红色卡片”按钮,点击LoRA,选择目标LoRA模型,会添加带尖括号的lora触发词到文本框里。
注意事项:最好选择作者给出的大模型并去加载,并且抄点正负提示词,效果更好。
5. Hypernetworks
基本定义:也叫做“超网络模型”,可通俗视为低配LoRA。
特征特点:不常用,但用于画风转换是当前的最优解。
安装路径:./models/hypernetworks
使用方式:使用红色卡片点击,添加触发词到文本框中。
6. ControlNet
基本定义:controlnet是个插件,但他需要对应的模型去进行处理,其中最常用的就有姿态控制(结合openpose插件去实现)。
特征特点:安装好插件后,需要选择对应的预处理器以及处理模型来进行图像处理。
插件的处理模型放置路径:./extensions/sd-webui-controlnet/models
使用方式:(他就是个插件,直接用就行)
注意事项:需要注意对应预处理器和模型,详见对应表。