SD大模型的概念及基础知识
先做一个比喻
如果SD是一个画师,那么大模型就是画师的大脑!
就是可惜,这个大脑有点轴,它只能想象出自己喜欢的画面。
比如你用了一个二次元的大脑,它想出来的画面就是这样的:
如果用一个2.5次元的大脑,它想出来的画面是这样的:
如果用一个三次元的大脑,它想出来的画面是这样的:
怎么样,差别还是挺大的对吧?
那为什么会出现这种情况呢?搞这么多大模型不累吗?
那要从成本角度出发,给宝子们解释了。
这些大模型,实际上都是基于官方训练好的基础大模型进行额外训练而成的。毕竟如果从0开始训练一个大模型,这都不是我们这种平民玩家能够参与的。
哪怕是在官方的基础大模型的基础上进行训练,也是需要成本的。
简单点说,买个4090显卡,再跑个十天半个月的(还得准备好各种处理好的图片素材噢!)
噢?有宝子说,也没多大事?禾斗哥只能说,土豪,请给我的专栏友情资助呗~
一个4090显卡,可是需要1~2万米!
所以为了降本增效,在官方通用的基础大模型上,通过定向的训练统一风格的图片,让这个大脑越来越精通于这个方面的绘画。
于是乎,成千上万的大模型就出来咯~
宝子们,成千,上万的大模型,在等着你们!
因为每个大模型都是用一套图片定向训练出来的,所以就会出现一个现象:
对于同一个大模型,其风格是保持一致的,比如使用二次元的大模型,无论怎么生成,它画出来的图片都是二次元的。下面是用同一套提示词生成的图片
第1次生成
第2次生成
第3次生成
对吧?基本上效果是一致的。
当然,这个不绝对哈,毕竟世界上没有两张完全一样的树叶,当然也没有效果完全相同的两张AI生成的图片~
也有人用很多不同风格的图片训练同一个基础模型,不过都是基本在一个次元里的。那样训练成本就会急剧增加,不然就会得到一个什么都会画,但是什么都画不好的......
这么牛掰的SD大模型,其组成结构主要分成三个部分
首先,它得能看得懂你的提示词(提示词就是告诉SD画面是啥样的,比如有花、有草、蓝天白云...)
所以它有一个 Text Ecoder 模块,专门进行文字处理。把我们输入的提示词,转换为大模型能理解的各种参数。
其次,核心的,它得画点啥吧。
所以它有一个 Unet 模块,专门进行画图。不过要注意,这时候的图我们人是看不懂的。
先提个名词“潜空间”,大模型生成的图是潜空间的图,你可以暂时理解为一堆你看不懂的01010101....
我们能看懂的图,是像素空间,就像上面的美女老师一样。这个以后有机会再说,现在宝子只需要知道大模型本身画出来的图,我们是看不懂的,只有机器能看懂,就阔以啦~
总结就是,一个大模型,能够听懂人话、能够画点东西、能够展示图片。
出来吧,SD大模型们
请忽略上图的 jpg 和 png,我懒得专门截个图啦,嘿嘿
没错,那些 .safetensors 结尾的文件,都是大模型。
除此之外,在SD的早期,大模型都是 .ckpt 结尾的文件,也就是 checkpoint 文件(检查点文件)。它和 safetensors 文件是可以互换的,都是大模型。
OKK,我们了解了大模型的基本知识,也下载好了心仪的大模型,接下来我们就要看看
SD大模型的安装
宝子们,不要被标题吓到,其实所谓的安装就是把我们现在的大模型文件放到指定的文件夹里就可以啦!
第一步:打开SD根目录
第二步:进入大模型文件夹
路径:SD根目录/models/Stable-diffusion/
在Stable-diffusion文件夹下的所有大模型文件都会被识别出来,即使你用了很多层的文件夹,也没有关系。
宝子们可以学禾斗哥,根据自己的分类方式建好文件夹,把大模型文件放进去就好啦。
第三步:粘贴下载的大模型
有细心的宝子会注意到,禾斗哥的文件夹里,怎么有图片,而且图片的名字和大模型的名字一样?
其实这是为了在WebUI选择大模型时,能够看到大模型生成效果的预览图,方便我们选择。
就像下面这样:
有图片的就会展示图片,如果没有,就会显示灰色的背景。
不过宝子们用熟练之后,有没有图无所谓啦,因为我们一般都是在左上角选择模型。你用的很爽的大模型,你会不知道它叫什么名字吗?对吧^_^!
嘿嘿,刚好说到这里,就进入到我们下一个主题。
SD大模型的使用
如果宝子已经打开着WebUI了,那这时候下载的新的大模型,即使放到
SD根目录/models/Stable-diffusion/
文件夹中,也不会在WebUI中展示出来,不能够选择使用。
难道每次下载安装完大模型都需要重启WebUI?!
NoNoNo!
只需要按一下大模型选择框旁边的刷新按钮就可以啦!
好了,关于大模型的喂饭(喂奶)就到这里了喔!
大家把自己的画图经验分享到评论区,一起成长一起进步!
最后想说
AIGC(AI Generated Content)技术,即人工智能生成内容的技术,具有非常广阔的发展前景。随着技术的不断进步,AIGC的应用范围和影响力都将显著扩大。以下是一些关于AIGC技术发展前景的预测和展望:
1、AIGC技术将使得内容创造过程更加自动化,包括文章、报告、音乐、艺术作品等。这将极大地提高内容生产的效率,降低成本。2、在游戏、电影和虚拟现实等领域,AIGC技术将能够创造更加丰富和沉浸式的体验,推动娱乐产业的创新。3、AIGC技术可以帮助设计师和创意工作者快速生成和迭代设计理念,提高创意过程的效率。
未来,AIGC技术将持续提升,同时也将与人工智能技术深度融合,在更多领域得到广泛应用。感兴趣的小伙伴,赠送全套AIGC学习资料和安装工具,包含AI绘画、AI人工智能等前沿科技教程。
对于从来没有接触过AI绘画的同学,我已经帮你们准备了详细的学习成长路线图。可以说是最科学最系统的学习路线,大家跟着这个大的方向学习准没问题。
AIGC学习必备工具和学习步骤
工具都帮大家整理好了,安装就可直接上手
【Stable Diffusion安装包(含常用插件、模型)】
【AI绘画12000+提示词库】
【AI绘画800+骨骼姿势图】
【AI绘画视频合集】
还有一些已经总结好的学习笔记,可以学到不一样的思路。
实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
而新时代随着AI流行,如果不更紧AI新时代时代只会被落后,想要学习或者尝试的伙伴可以点击下方二维码,即可前往免费领取!