Midjourney和Stable Diffusion都可以通过输入文本生成出令人惊叹的AI图像。
Midjourney是一个收费的在线服务，通过discord对话的形式来生图，局限性较大，但由于后台官方模型做得好，因此出图效果非常完美；
Stable Diffusion可以本地部署，自定义参数多，并且可以有各种插件来实现绘画、蒙版、人物骨骼限定等等功能。
某些专业设计师说他现在如果不自己手绘线稿的话，那么一般先用Midjourney出图，再用Stable Diffusion进行调整。

本文试着逐一渲染stable diffusion中几十种风格效果，并且针对场景运用、失败原因、改进方法等情况进行分析研究，文中所有图片都是大图，可点击浏览，如果对你有用记得点赞+关注+收藏哦~~

内容比较多，之后我将再出一个简约版的对照表用于快速查询。

随着研究深入，总结部分也会保持更新。

1. 原生参数

photorealistic, absurdres, 8k, (1cute girl) walking in street, half body,
Negative prompt: easynegative
Steps: 65, Sampler: Euler a, CFG scale: 7, Seed: 3472141699, Size: 1024x512, Model hash: a60cfaa90d, Model: dreamshaper_5BakedVae, Clip skip: 2, ENSD: 31337

在这里插入图片描述

利用controlnet约束边缘

在这里插入图片描述

利用controlnet约束人物动作

在这里插入图片描述

之后每种风格生四张图及若干知识点拓展的比较图

用高清修复方法将原始512*256的图扩展为1024*512；
部分图片会使用人脸修复、局部重绘等；
其采样迭代步数改为20~32；
半身像词缀采用half body词缀，如果不出半身则可能采用upper body词缀；
去掉正向提示词：photorealistic, absurdres, 8k；
反向提示词easynegative和nsfw看情况使用；
正向提示词只更换风格词缀；
四格画主要变动的规则分别为：
controlnet限制，种子固定
controlnet限制，种子不固定
controlnet不限制，种子固定
无限制

2. 全息彩虹色（holographic iridescent）

((holographic iridescent)),(1cute girl) walking in street, half body,

种子固定和controlnet限制	controlnet限制	种子固定	无限制

去掉街道

((holographic iridescent)),(1cute girl), half body,

1	2	3	4

3. 赛博朋克（cyberpunk）

((cyberpunk)),(1cute girl) walking in street, half body,

种子固定和controlnet限制	controlnet限制	种子固定	无限制

去掉街道

((cyberpunk)),(1cute girl),(mechanical body), half body,

1	2	3	4

4. 浮世绘（ukiyoe）

((ukiyoe)),(1cute girl) walking in street, half body,

种子固定和controlnet限制	controlnet限制	种子固定	无限制

去掉街道

((ukiyoe)),(1cute girl), half body,

1	2	3	4

5. 搅拌机3d渲染（blender 3d）

((blender 3d)),(1cute girl) walking in street, half body,

种子固定和controlnet限制	controlnet限制	种子固定	无限制

去掉街道

((blender 3d)),(1cute girl), half body,

1	2	3	4

6. 摆拍（knolling）

((knolling)), (1cute girl) walking in street, half body,

种子固定和controlnet限制	controlnet限制	种子固定	无限制

这是什么风格？完全看不出来。加上easynegative 看看。

种子固定和controlnet限制	controlnet限制	种子固定	无限制

去掉街道再试试，物件人物平铺？

((knolling)), (1cute girl), half body,

1	2	3	4	5

加上art 再看看，有没有哪个设计师有感觉了？

((knolling art)), (1cute girl), half body,

种子固定和controlnet限制	controlnet限制	种子固定	无限制

现在明白这里的摆拍真的就是摆着拍了吧？

具体解释如下：
“knolling是用于画出一张简洁而有条理的图像的。Knolling是指在摄影或绘画中将物品整齐地排列成水平和垂直线条的过程。在Stable Diffusion中，它表示将图像的元素排列整齐、有条理。因此，当你看到这个提示词时，你可以尝试将图像的元素整齐地排列，让图像看起来更有组织性，更易于理解。”

7. 等距3D模型（isometric 3d cube）

((isometric 3d cube)),(1cute girl) walking in street, half body,

种子固定和controlnet限制	controlnet限制	种子固定	无限制

加上easynegative试试，也差不多，都是不能理解这是个什么风格。

种子固定和controlnet限制	controlnet限制	种子固定	无限制

去掉街道试试。

((isometric 3d cube)),(1cute girl), half body,

1	2	3	4

真的就是个方块？？？加上art试试。

((isometric 3d cube))art,(1cute girl), half body,

1	2	3	4

好吧，静心想一想，这到底是个什么风格？哈哈，其实这个风格用来描写场景才是合适的。

((isometric_3d_cube)), buildings, trees, road, cars

1	2	3	4

既然所有的房子都像个cube，那么就加入反向提示词cube，于是风格像个样子了。

((isometric_3d_cube)), buildings, trees, road, cars
negative prompt:cube

1	2	3	4

再加入反向提示词easynegative，将图像尺寸变成1:1，看看是不是出你想要的图了？

1	2	3	4

最后试着用Leonardo生图，意思是一样的。

1	2	3	4

8. 像素风（8bit/16bit pixel）

((16bit pixel)),(1cute girl) walking in street, half body,

种子固定和controlnet限制	controlnet限制	种子固定	无限制

用pixel art词缀再来一套

((pixel art)),(1cute girl) walking in street, half body,

种子固定和controlnet限制	controlnet限制	种子固定	无限制

去掉街道

((8bit pixel)),(1cute girl), half body,

1	2	3	4

9. 简笔画风格（stick figure）

((stick figure)),(1cute girl) walking in street, half body,

种子固定和controlnet限制	controlnet限制	种子固定	无限制

这是剪影，还是动漫风？去掉街道，感觉来了

((stick figure)),(1cute girl), half body,

1	2	3	4

10. 贴纸化（design a sticker）

((design a sticker)), (1cute girl) walking in street, half body,

种子固定和controlnet限制	controlnet限制	种子固定	无限制

去掉街道

((design a sticker)),(1cute girl), half body,

1	2	3	4

11. 荧光颜料（fluorescent）

((fluorescent)), (1cute girl) walking in street, half body,

种子固定和controlnet限制	controlnet限制	种子固定	无限制

换上art，来一次，情况好一点，街道上的等也出现霓虹了。

((fluorescent art)), (1cute girl)walking in street, half body,

种子固定和controlnet限制	controlnet限制	种子固定	无限制

但看得出，在这个模型下，荧光效果更多地被AI理解成了霓虹灯，因为街道这个词缀给我们的模型带来很多困扰，现在把街道去掉，仅留人物，效果就有了。

((fluorescent)), (1cute girl), half body,

1	2	3	4

看一组反向提示词有easynegative限制的，照片级程度更高。

1	2	3	4

12. 刺绣艺术（embroidery art）

((embroidery art)), (1cute girl) walking in street, half body,

种子固定和controlnet限制	controlnet限制	种子固定	无限制

和荧光效果一样，街道的词缀限制了AI，让刺绣艺术更多呈现了具体的刺绣艺术品。现在去掉walking in street，AI自由发挥一下才能看到效果还是有的~~

((embroidery art)), (1cute girl), half body,

1	2	3	4

换个模型试试，同样没有街道，效果更明显

1	2	3	4

13. 剪纸艺术（paper cut craft）

((paper cut craft)), (1cute girl) walking in street, half body,

这次先用反向提示词easynegative限定一下。

种子固定和controlnet限制	controlnet限制	种子固定	无限制

现在把反向提示词easynegative去掉。。。。，出图几率大大提高（在另一台机器上加了这个easynegative也没有太大影响，怪）

种子固定和controlnet限制	controlnet限制	种子固定	无限制

看见没？去掉easynegative，加art或是不加，都可以出图。这里来一组看看controlnet会不会影响出图。

((paper cut craft))art, (1cute girl) walking in street, half body,

有art	无art	无art有openpose	无art有openpose和canndy

去掉街道

((paper cut craft)),(1cute girl), half body,

1	2	3	4

14. 折纸艺术（layered paper）

((layered paper)), (1cute girl) walking in street, half body,

种子固定和controlnet限制	controlnet限制	种子固定	无限制

去掉街道出一次图

((layered paper)), (1cute girl), half body,

1	2	3	4

很显然，这个风格是不对的，那么应该如何才能表现折纸风呢？想一想，平时是不是单个物件来表示是比较合适的？那么就来只鸟吧

((layered paper)), 1bird,

1	2	3	4

15. 橡皮泥风格（plasticine）

((plasticine)), (1cute girl) walking in street, half body,

种子固定和controlnet限制	controlnet限制	种子固定	无限制

无街道

((plasticine)), (1cute girl), half body,

1	2	3	4

16. 水墨画（chinese ink style）

((chinese ink style)), (1cute girl) walking in street, half body,

种子固定和controlnet限制	controlnet限制	种子固定	无限制

去掉街道

((chinese ink style)), (1cute girl), half body,

1	2	3	4

变成景色描写

((chinese ink style)), hill, moutain,

1	2	3	4

17. 皮影戏艺术（chinese shadow puppets）

((chinese shadow puppets)), (1cute girl) walking in street, half body,

种子固定和controlnet限制	controlnet限制	种子固定	无限制

去掉街道

((chinese shadow puppets)),(1cute girl), half body,

1	2	3	4

皮影戏是戏，那我们可以描述得详细一些，比如女孩骑在马上穿行在山间

((chinese shadow puppets)), (1girl)riding a horse through the mountains, left is trees, right is trees

1	2	3	4

18. 移轴摄影风格（tilt-shift photography）

((tilt-shift photography)), (1cute girl) walking in street, half body,

种子固定和controlnet限制	controlnet限制	种子固定	无限制

要知道移轴是用来表现大场景的，现在给个city测试一下

((tilt-shift photography)), city,

1	2	3	4

19. 平面涂鸦风格（graffiti art, 2d, illustration）

((graffiti art,2d,illustration)), (1cute girl) walking in street, half body,

种子固定和controlnet限制	controlnet限制	种子固定	无限制

去掉街道

((graffiti art,2d,illustration)), (1cute girl), half body,

1	2	3	4

交替渲染的方式生图

(([graffiti art|2d|illustration])), (1cute girl) walking in street, half body,

种子固定和controlnet限制	controlnet限制	种子固定	无限制

交替渲染，去掉街道

(([graffiti art|2d|illustration])), (1cute girl), half body,

1	2	3	4

这是一个混合后才能生成的风格，三个风格本身是有差别的，一个比一个平，我们看一下各自风格对应出图情况。

种子固定和controlnet限制

graffiti art	2d	illustration

controlnet限制

graffiti art	2d	illustration

种子固定

graffiti art	2d	illustration

无限制

graffiti art	2d	illustration

再来一组各风格随机。

graffiti art

1	2	3	4

1	2	3	4

illustration

1	2	3	4

20. 仙女系（fairy kei fashion）

((fairy kei fashion)), (1cute girl) walking in street, half body,

种子固定和controlnet限制	controlnet限制	种子固定	无限制

去掉街道

((fairy kei fashion)), (1cute girl), half body,

1	2	3	4

21. 超现实主义（surrealism）

((surrealism)), (1cute girl) walking in street, half body,

种子固定和controlnet限制	controlnet限制	种子固定	无限制

去掉街道

((surrealism)), (1cute girl), half body,

1	2	3	4

22. 创世纪风（genesis）

((genesis)), (1cute girl) walking in street, half body,

种子固定和controlnet限制	controlnet限制	种子固定	无限制

去掉街道

((genesis)), (1cute girl), half body,

1	2	3	4

好像没有创世纪的感觉~~那么我们加入点宗交元素。

((genesis)), (angel), cloudy sky, the steps, ceiling

1	2	3	4

23. 潜意识（subconsciousness）

((subconsciousness)), (1cute girl) walking in street, half body,

种子固定和controlnet限制	controlnet限制	种子固定	无限制

去掉街道

((subconsciousness)), (1cute girl), half body,

1	2	3	4

这些和潜意识有什么关系呢？？？潜意识画风的定义是指一种表现手法，用来表现人物内心深处的情感和想法。这种表现手法通常使用一些模糊、朦胧的画面来表现人物的梦境、幻觉、回忆等，要么这样试试？

((subconsciousness)), sea, sun, buildings, ball, cliff, elephant, elephant, nose, hand, foot, rope

1	2	3	4

对比一下同样的提示词和参数，不同风格下的感觉，不是都很魔幻么？？？

潜意识	浪漫主义	超现实主义	哥特风

24. 浪漫主义（romantic）

((romantic)), (1cute girl) walking in street, half body,

种子固定和controlnet限制	controlnet限制	种子固定	无限制

去掉街道

((romantic)), (1cute girl), half body,

1	2	3	4

25. 哥特风景和建筑（gothic architecture and landscape）

((gothic architecture and landscape)), (1cute girl) walking in street, half body,

种子固定和controlnet限制	controlnet限制	种子固定	无限制

去掉街道

((gothic architecture and landscape)), (1cute girl), half body,

1	2	3	4

26. 宫崎骏风格（studio ghibli）

((studio ghibli)), (1cute girl) walking in street, half body,

种子固定和controlnet限制	controlnet限制	种子固定	无限制

去掉街道

((studio ghibli)), (1cute girl), half body,

1	2	3	4

27. 马里奥风格（mario style）

((mario style)), (1cute girl) walking in street, half body,

种子固定和controlnet限制	controlnet限制	种子固定	无限制

去掉街道

((mario style)), (1cute girl), half body,

1	2	3	4

28. 皮克斯风格（pixel style）

可不就是上面的像素风么。。。？

((pixel style)), (1cute girl) walking in street, half body,

种子固定和controlnet限制	controlnet限制	种子固定	无限制

去掉街道

((pixel style)), (1cute girl), half body,

1	2	3	4

29. 我的世界风格（minecraft）

((minecraft)), (1cute girl) walking in street, half body,

种子固定和controlnet限制	controlnet限制	种子固定	无限制

去掉街道

((minecraft)), (1cute girl), half body,

1	2	3	4

30. 乐高积木（out of LEGO）

((out of LEGO)), (1cute girl) walking in street, half body,

种子固定和controlnet限制	controlnet限制	种子固定	无限制

去掉街道

((out of LEGO)), (1cute girl), half body,

1	2	3	4

总结

不同的模型controlnet对其影响不同，有些模型能出现正确的风格，有些模型局限性就非常大；
比如剪纸艺术中，两个模型都用controlnet限制边缘和动作，但结果却完全不同

机1失败	机2成功

controlnet做过边缘限定的出图，部分模型会受较大影响，而使用openpose限定动作的情况则会好转很多。
比如下面两张简笔画风格；

canndy边缘限定	openpose动作限定

half body作为最后一个参数，且没有设置权重，那么让AI自由发挥的时候往往出图是全身照，有时候出现的是下半身，所以half body并不是最好的词缀，如果明确是上半身，那么用upper body更合适，当然upper body也不能确保一定是上半身，记得结合权重。

1	2	3	4

不同词缀风格在初学时尽量不要混用，否则你并不清楚不同的提示词到底会绘制成什么样子。
比如本文所用photorealistic是照片感，与浮世绘、像素风放一起，将会将其污染，看下图，图片是日式，但离浮世绘的感觉还有距离，更偏照片一点；而像素风索性是被污染最严重的一种风格。

浮世绘	像素风 16bit pixel 严重污染	pixel art 极轻微污染

Stable Diffusion不同模型对提示词的识别度不完全一致，可以加上加风格style、art等词缀试试效果。同时
比如荧光效果中，没加art的时候，AI的理解是荧光棒，而不是荧光风格，加了之后情况就好多了。
不同风格的词缀适用场景是不同的，本文提示词描写了一个可爱的女孩在街道中，但这样的描述会限制某些风格的发挥。
比如在荧光颜料风格中，都用了easynegative反向提示词，都写明街道可能导致场景增加荧光物体而人物风格却不变，但如果不写街道，那么人物的主体风格也是荧光风格，而不是穿着荧光材料，这一点需要注意。

写明街道	写明街道	未写街道	未写街道

同样的模型，不同版本，不同电脑上渲染，出图结果差异非常大，也就是说不同的机器需要不同的调试。
比如在机器1和机2上渲染荧光效果，同样的边缘动作控制，两台不同电脑模型相同，但版本不同，出图效果还是有差异的，机1似乎完全忘了要荧光这件事。

机1边缘限定	机1随意发挥	机2边缘限定	机2随意发挥

easynegative作为一个整合了众多反向提示词的词缀（需要安装到embeddings目录下），一般情况下用起来很舒服，但是他内在要求画与真实世界相仿的表现，所以在某些模型下对某些风格会起到重大的污染，导致想要的风格丧失，转而偏向照片风格，但如果利用好，则可以生出精致的图。

无easynegative（风格凑活）	有easynegative（环境无特效）	无easynegative（风格正确）	有easynegative（污染较严重）

同一个模型的不同版本，可能无法实现同样的效果。
比如以下实现等距3D模型，同样的提示词，不同模型版本，有的往往不能正确理解到底这个cube到底干吗用~总是把房子变成cube。

((isometric_3d_cube)), buildings, trees, road, cars
// 表里后两个有反向提示词
Negative prompt: cube

dreamshaper_5BakedVae	dreamshaper_331BakedVae	dreamshaper_5BakedVae	dreamshaper_331BakedVae

不同风格需要不同的适用提示词才能表现出该风格。
比如等距3D模型主要是运用于场景出图，但如果你给了人物为主的提示词，甚至有controlnet限制，那么结果将大相径庭。

人物为主：

((isometric 3d cube)),(1cute girl) walking in street, half body,

物体为主：

((isometric_3d_cube)), (buildings), trees, road, cars

人物为主1	人物为主2	物体为主1	物体为主2

同一个模型，同一套提示词，参数也都一样，但因为种子不同，效果可能差异非常大，。
比如这个

((isometric 3d cube)),(1cute girl) walking in street, half body,

种子：2513253825	种子：2961024435	种子：2663910581	种子：2663910578

在掌握了一定的风格后，你就可以尝试把不同的风格混合在一个图像里，形成你所需要的内容
比如出一个伪3D像素风格的图片，那么可以这样：

1	2	3	4

比如出一个伪3D荧光风格的图片，那么可以这样：

1	2	3	4

很多自定义风格需要在现有基础上重新改造
比如重写个粗笔速写，但还不是那么速（也可以把marker sketch换成simple sketch试试）。

((marker sketch)), (black and white)style, (simple lines), ((only black lines)), (white background), (simple background), high contrast, basic shapes, (1cute girl) walking in street, half body, white face
Negative prompt: ((gray)), colorful, gradient, color gradient, light, fine lines, messy lines, small lines, black face,

种子固定和controlnet限制	controlnet限制	种子固定	无限制

偶尔系统会出bug，在使用了controlnet后，将导致风格污染严重。
就像是把照片模式吃进了系统中无法修改，如果你遇到了这个问题，重启ai也没用，那么我建议你重启电脑再试试吧。
比如下图中，参数模型一摸一样，但出图人物差异严重。

简笔风正常	简笔风出错	blender 3d正常	blender 3d出错

不知道是bug还是正常，同样的模型，同样的参数，同一台电脑，但时间不同，并且系统升过一次级，则出图不同。
比如下图中，参数模型一模一样，连种子都一样，结果出图完全不同。

((holographic iridescent)),(1cute girl) walking in street, half body,
Negative prompt: easynegative
Steps: 32, Sampler: Euler a, CFG scale: 7, Seed: 3472141699, Face restoration: CodeFormer, Size: 1024x512, Model hash: a60cfaa90d, Model: dreamshaper_5BakedVae, Clip skip: 2, ENSD: 31337