Stable Diffusion入门修炼手册

简介

作为新入门的新手，通常安装完Stable Diffusion之后，一打开界面，在文生图输入girl或者dog，结果出来的画面比较糟糕，看起来像素很低，画面不清晰，人物也不怎么美，等等其他问题，总之就觉得自己生成的图片怎么跟别人差距那么大？是不是大家也曾经这样过来过？

在这里插入图片描述

今天就来教会大家，如何正确使用Stable Diffusion，掌握基础知识，能正确做出优秀的作品来，首先，先来个基本公式

一个优秀的作品=CheckPoint大模型+vae+优秀的prompt+embeding+Lora
一个4k优秀的作品=CheckPoint大模型+vae+优秀的prompt+embeding+Lora+Controlnet(Tile)增加细节+放大算法

在这里插入图片描述

主要角色

在这里插入图片描述

1、checkpoint（大模型）

这是我们常说的模型，也可以说是底模，必须指定一个才能作画，它是用来控制大整个画面的风格走势的。比如：写实风格，漫画风格等等，文件名后缀一般为.ckpt和.safetensors，模型大小为2G到8G不等。

checkpoint文件放置路径:\models\Stable-diffusion

2、Lora模型

它也是模型之一，它可以使用也可以不使用，它的出现只为了解决大模型能够微调的一种技术，它的作用主要用于雕刻人物、动漫角色、物品的特征、控制画风、固定特征动作等等。文件名后缀一般为.safetensors，大小在20mb到300mb不等，部分Lora会需要触发词来使用,否则效果不明显。

Lora放置路径:\models\lora

3、embedding

这是我们说的prompt集合，它可以用一个特殊表达式词语来代表一连串的关键词，让填写prompt更简单。举个例子，如果我们想要生成一个皮卡丘，通常需要输入很多描述词，如黄毛、老鼠、长耳朵、腮红等等。但是，如果在我们的embedding库中，已经引入皮卡丘的embedding，我们只需要输入皮卡丘。皮卡丘的embedding打包了所有皮卡丘的特征描述，这样我们就不用每次输入很多单词来控制生成的画面了。

embedding文件放置路径:\models\embedding

4、VAE

Vae也是模型之一，但它的作用只是给画面加载一个滤镜的效果，为了就是修正最终输出的图片色彩，如果不加载VAE可能会出现图片特别灰的情况。一般我们直接选用自动模型就可以了，它会自动帮我们解决这类问题。当然也有些特殊情况需要用到VAE来对色彩进行调节。文件后缀一般为.downloading、.safetensors、.ckpt、.pt

VAE文件的放置路径:\models\vae

prompt的使用

prompt的好坏会决定出图的质量，所以为什么有咒语这一说，因为需要很长的prompt来告诉AI具体要的是什么。于是咒语的优化和书写尤为重要，不过不用担心，市场上现在网站上已经出了很多优秀作品，他们的prompt是开源的，可以复制之后来学习，积累自己的prompt词。

propmt：正向提示词，表示在画面中需要出现的元素
negative propmt：负面提示词，表示在画面中不想要出现的元素

1、增加权重

增加权重会让Stable Diffusion出图的时候，会优先考虑画当前的关键词，当权重超过2.0之后，会让图片重复出现当前关键词，导致Stable Diffusion发挥失常

(tag)：1.1倍
((tag))：1.1x1.1=1.21倍，每套一层括号，额外x1.1倍
{tag}：1.05倍
{{tag}}：1.05x1.05=1.1025倍，每套一层大括号，额外x1.05倍

当然权重也不是越高越好的

在这里插入图片描述

2、减少权重

减少权重会让Stable Diffusion出图的时候，只是作为参考使用，当权重低于0.5的时候表示当前的关键词可有可无

[tag]：0.9倍
[[tag]]：0.9x0.9=0.81倍，每套一层括号，额外x0.9倍

3、精准权重

(tag:1.2)：1.2倍
(tag:0.9)：0.9倍

4、使用Lora

lora的使用是一个表达式，如下：

lora:bg:1.2：使用bg的Lora模型，权重为1.2
lora:bg:1.2,lora:bgV2:1.5：同样的多个Lora的使用也是可以的

在这里插入图片描述

市场上开源的Lora风格还是很多，像图上的盲盒风格（第一个），电影风格（最后一个）

5、使用embedding

embedding的使用非常简单，跟书写prompt一样，直接写到提示词上即可，前提是要下载好当前的embedding模型，不需要任何表达式。embedding最常用的例子就是生成的人物的时候，要求必须是完整的2个眼睛1个鼻子2个耳朵1个嘴巴5个手指，同样的也能在负面提示词中增加embedding，还是同样的人物，不能出现坏手，3个手指，4个手指等

在这里插入图片描述

很明显可以看出,在NP（negative prompt）中使用EasyNegative模型和没有使用NP的区别

没有EasyNegative：手部明显画的很粗糙，不太像是人的手
使用EasyNegative：手部比较正常，细节也是正常可观

prompt的进阶玩法

进阶玩法能更加精准控制prompt生成我们想要的图

1、混合

混合：强制将不同的主体的元素特征进行混合出图，用AND把多种要素强制融合画进去
语法：关键词1 AND 关键词2 AND 关键词3
举例：1cat:2 AND 1dog AND 1tiger，想要生成一个狗、猫和老虎

在这里插入图片描述

2、渐变

渐变：指的是在作画中，将元素进行过渡的过程
语法：[from:to:when]
- when：表示的迭代步数或比例(数值在0-1范围表示比例，1- 表示步数）
- From：提示词，表示在 when 前的步数渲染 from 提示词
- to：提示词，表示在 when 后的步数渲染 to 提示词
举例：(1 girl ,[blue hair:red hair:5])：我们希望画一个女孩，能够有红色和蓝色的头发

在这里插入图片描述