Stable Diffusion 系列教程 | 打破模型壁垒

news2025/1/15 21:05:15

目录

1.模型基本分类

1.1 CheckPoint 大模型/底模型/主模型

1.2 VAE美化模型/变分自编码器

1.3 HyperNetwork 超网络

1.4 embeddings(/Textual Inversion) 嵌入式向量

1.5 loRa 低秩适应模型

2. 下载途径和渠道

2.1 C站

2.1.1 如何筛选到自己需要的模型

2.1.2 使用技巧

2.1.3 学习他人作品

2.2 HuggingFace


想要做出好的AI绘画,模型是最重要的,他相当于AI绘画的大脑,决定了AI绘画质量的上限,所以了解AI绘画的各种模型非常重要

相比于Midjourney,Stable Diffusion最大的优势就是开源

因而SD则每时每刻都有人在世界各地训练自己的模型并免费公开共享给全世界的使用者。当然我们也可以训练自己的专属模型

提示词+模型+参数设置

全能型赛博画手

首先我们来了解一下模型的基本分类

1.模型基本分类

具体模型类型有checkpoint、Textual lnversion、Hypernetwork、Aesthetic Gradient、LoRA、LyCORIS、Controlnet、Poses、wildcards等等

常用的有checkpoint

哇塞,这么多,那么这些究竟都是什么意思呢?

1.1 CheckPoint 大模型/底模型/主模型

检查点,常玩游戏的朋友肯定不陌生,一般会在一些节点存档

一个大的模型训练起来是非常费力的,如果每次迭代我们都从头训练那可真实个灾难,因而训练到一定程度我们就给模型存档,生成一个关键点Checkpoint模型,

常见文件后缀:后缀ckpt、safetensors(如果都有提供的话建议下载safetensors,下同)

存放路径: 根目录\models\Stable-diffusion

占用存储: 模型较大,占用3-7GB

我们这里的根目录都是指我们webui的最外层的那个文件夹,比如我这里的是stable-diffusion-webui

使用方法 将模型移动到根目录\models\Stable-diffusion后,在webui界面点击刷新按钮,再点下拉就可以看到了

 

模型推荐

二次元模型

menia mix 生成动漫

AbyssOrangeMix 深源橘

counter-feit v2.5 动漫模型

dream Shper v5 模型 肖像画 梦幻的插画风格

真实系模型

realistic vision v2.0 现实模型

Delibe-rate 比较全能的一个模型

在本章第二节可以看到如何利用其他网站来筛选自己需要的模型

1.2 VAE美化模型/变分自编码器

从使用来看,我们可以把他粗略的理解为“调色滤镜” 有些时候不加载VAE的情况下,出图就会发灰发白

有很多比较新的大模型是会将VAE整合到内部的,比如Chilloutmix。如果再加VAE则可能画面效果不会更好,甚至适得其反

而有的大模型则会有自己适配的VAE,如深渊橘,这里看模型网站上作者的推荐就好

也有一些适用于大多数模型的VAE

二次元风格:kf-f8-anime

写实风格:840000

常见文件后缀:后缀ckpt、pt

存放路径: 根目录/models/VAE

占用存储: 模型较小,占用0-1个GB

使用方法 将模型移动到根目录\models\VAE后,在VAE选项点击刷新按钮,再点下拉就可以看到了

1.3 HyperNetwork 超网络

hypernetworks是一个附加到stable diffusion model上的小型网络,用于微调,和embedings类似,不过现在用的也不是很多了,因为它的功能基本可以被smbeddings替代了

常见文件后缀: 后缀pt

存放路径: 根目录/models/hypernetworks

占用存储: 模型较小,占用几百MB

使用方法 注意HyperNetwork,embeddings这种微调网络和大模型使用方法不同

(1)将模型放到 根目录/models/hypernetworks

(2)首先点击生成按钮下的从左往右数的第三个,然后点击超网络,再点击需要用到的超网络模型,就会在提示词中添加相应的尖括号内容,如本例中的<hypernet>

 

1.4 embeddings(/Textual Inversion) 嵌入式向量

(1)优化画风,

(2)通过仅使用的几张图像,向模型教授新的概念,比如AI不知道奥特曼,通过embeddigns就可以让AI知道奥特曼长什么样子

(3)减少提示词的输入,比如EasyNegative这个Embeddings,里面包含了大量的负面词,可以减少你每次打一堆负面词的痛苦,解决AI绘画痛点,如画手等等

常见文件后缀: 后缀pt

存放路径: 根目录/embeddings

模型的切换通过文件名称来触发

占用存储: 模型很小,占用几十kB到几百kB

使用方法:

(1)将模型放到 根目录/embeddings目录下

(2)同HyperNetwork超网络,首先点击生成按钮下的从左往右数的第三个,然后点击嵌式入,再点击需要用到的嵌入式模型,就会在提示词中添加相应的尖括号内容

1.5 loRa 低秩适应模型

进行人物模型的微调,

让AI学习到一些新的人物概念

常见文件后缀: 后缀safesensors

存放路径: 根目录/embeddings

占用存储: 模型较小,10-200 MB。必须与checkpoint模型一起使用。

使用方法:

(1)将模型放到 根目录/models/Lora

(2)同HyperNetwork超网络,首先点击生成按钮下的从左往右数的第三个,然后点击Lora,再点击需要用到的Lora模型,就会在提示词中添加相应的尖括号内容

除了这些以外还有DreamBooth模型,LyCORIS模型等等,这些模型在模型的进阶用法给大家介绍

2. 下载途径和渠道

SD官方会发布模型

但是官方这个模型出图风格比较单一,因而我们现在下载使用的大多是私人训练的

主流下载网站

2.1 C站

需要科学上网 C站是最主流的一个AI绘画模型网站了,对于模型都是图像化展示,非常便捷

 

2.1.1 如何筛选到自己需要的模型

1 通过模型生成内容区分查找 模型栏目上边有一排可以选择的

2 利用我们第一节讲到的模型类型区分

 

 

2.1.2 使用技巧

注意模型的各种信息,包括作者推荐的VAE,分辨率设置,采样方式等等

如我们点击进入ReV Animated这个模型的下载界面,在模型的介绍界面里有show More

 

然后就可以看到作者推荐的VAE啦,提示词prompting啦之类的

 

初学可以使用别人推荐的一些大模型

stable diffusion 常用大模型解释和推荐(持续更新ing) - 知乎 (zhihu.com)

2.1.3 学习他人作品

C站除了优秀的模型以外,还会有很多优秀的作品,我们可以学习他们的模型搭配,提示词等等

点击C站的Images

点进去以后就可以看到详细的图片生成信息,模型搭配,提示词,采样方式,种子等等

 

2.2 HuggingFace

不需要科学上网,网速较快

 

Hugging Face – The AI community building the future.

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/914914.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

攻防世界-Web_php_include

原题 解题思路 php://被替换了&#xff0c;但是只做了一次比对&#xff0c;改大小写就可以绕过。 用burp抓包&#xff0c;看看有哪些文件 flag明显在第一个PHP文件里&#xff0c;直接看

psycopg2 使用ThreadedConnectionPool 工具封装

psycopg2 介绍 psycopg2库介绍: Psycopg2是一个用于Python编程语言的第三方库&#xff0c;用于访问PostgreSQL数据库系统。它提供了一组工具和方法&#xff0c;可以轻松地在Python程序中进行数据库操作&#xff0c;包括查询、插入、更新、删除等操作。 以下是Psycopg2库的一些…

主程技术分享: 游戏项目帧同步,状态同步如何选

网络游戏开发项目中帧同步,状态同步如何选&#xff1f; 网络游戏的核心技术之一就是玩家的网络同步,主流的网络同步有”帧同步”与”状态同步”。今天我们来分析一下这两种同步模式。同时教大家如何在自己的项目中采用最合适的同步方式。接下来从以下3个方面来阐述: 对啦&…

基于swing的图书借阅管理系统java jsp书馆书籍信息mysql源代码

本项目为前几天收费帮学妹做的一个项目&#xff0c;Java EE JSP项目&#xff0c;在工作环境中基本使用不到&#xff0c;但是很多学校把这个当作编程入门的项目来做&#xff0c;故分享出本项目供初学者参考。 一、项目描述 基于swing的图书借阅管理系统 系统有2权限&#xff1…

Qt快速学习(三)--事件,绘图,文件系统

目录 1. Qt消息机制和事件 1.1 事件 1.2 event&#xff08;&#xff09; 1.3 事件过滤器 1.4 总结 2 绘图和绘图设备 2.1 QPainter 2.2 绘图设备 2.2.1 QPixmap、QBitmap、QImage 2.2.2 QPicture 3. 文件系统 3.1 基本文件操作 3.2 二进制文件读写 3.3 文本文件读写…

运维作业7

1、使用mysql:5.6和 owncloud 镜像&#xff0c;构建一个个人网盘。 1&#xff09;拉取mysql5.6和owncloud镜像 2)登录本机ip地址&#xff0c;输入用户名密码 2、安装搭建私有仓库 Harbor 1)安装docker-compose编排工具 2&#xff09;安装harbor [rootserver ~]# tar xf harbor-…

“石头剪刀布”游戏:while、函数自调用实现循环游戏

if…else实现“石头剪刀布”游戏&#xff0c;while、函数自调用实现循环游戏。 (本笔记适合学过if…else的coder翻阅) 【学习的细节是欢悦的历程】 Python 官网&#xff1a;https://www.python.org/ Free&#xff1a;大咖免费“圣经”教程《 python 完全自学教程》&#xff0c…

Leetcode刷题笔记--Hot21-30

1--全排列&#xff08;46&#xff09; 主要思路1&#xff1a; 经典全排列&#xff0c;每次枚举每一位时&#xff0c;重头开始枚举&#xff0c;用一个访问数组记录当前已经被访问过的数字&#xff1b; 这道题不包含重复数字&#xff0c;所以不需要进行树层上的剪枝&#xff1b; …

【机器学习】python基础实现线性回归

手写梯度下降的实现ykxb的线性回归 算法步骤&#xff1a; &#xff08;1&#xff09;构造数据&#xff0c;y3*x5; &#xff08;2&#xff09;随机初始化和&#xff0c;任意数值&#xff0c;例如9,10; &#xff08;3&#xff09;计算&#xff0c;,并计算 &#xff08;4&…

Linux基本指令【上】

欢迎来到Cefler的博客&#x1f601; &#x1f54c;博客主页&#xff1a;那个传说中的man的主页 &#x1f3e0;个人专栏&#xff1a;题目解析 &#x1f30e;推荐文章&#xff1a;题目大解析3 目录 &#x1f449;&#x1f3fb;浅识操作系统&#x1f449;&#x1f3fb;ls.和. .sta…

【C++】STL——map的介绍和使用、map的构造函数、map的迭代器、map的容量和访问函数、map的增删查改函数

文章目录 1.map的介绍2.map的使用2.1map的构造函数2.2map的迭代器2.3map的容量和访问函数2.4map的增删查改函数 1.map的介绍 map的介绍 &#xff08;1&#xff09;map是关联容器&#xff0c;它按照特定的次序(按照key来比较)存储由键值key和值value组合而成的元素。 &#xff…

WPS右键新建没有docx pptx xlsx 修复

解决wps右键没有新建文档的问题 右键没有新建PPT和Excel 1 wps自带的修复直接修复没有用 以上不管咋修复都没用 2 先编辑注册表 找到 HKEY_CLASSES_ROOT CTRLF搜文件扩展名 pptx docx xlsx 新建字符串 三种扩展名都一样操作 注册表编辑之后再次使用wps修复 注册组件&am…

Docker Desktop 笔记

https://blog.csdn.net/qq_39611230/article/details/108641842 https://blog.csdn.net/KgdYsg/article/details/118213499 1、修改配置 {"registry-mirrors": ["https://registry.docker-cn.com","http://hub-mirror.c.163.com","https://…

PHP自己的框架session()使用(完善篇六)

1、PHP自己的框架session() 2、session类&#xff08;SessionBase.php&#xff09; <?php class SessionBase {/*** 设置session*/public static function set($name, $data, $expire600){$session_data array();$session_data[data] $data;$session_data[expire] time…

Vue使用Animate.css

说一下Animate.css这个动画库&#xff0c;很多的动画在这个库里面都定义好了&#xff0c;我们用的时候可以直接使用里面的类名就可以了&#xff0c;就是直接目标元素绑定对应的类名就可以实现动画效果&#xff0c;非常方便&#xff0c;库其实也相对简单&#xff0c;使用起来也简…

IDEA 一键清除所有的无效引用

快捷键 // windows版本 CtrlAltO//mac版本 controloptionO 使用方式 1. 清除单个类中的无效的import, 打开具体的类。然后使用快捷键。 2. 清除整个项目的无效引用&#xff0c;左键点击项目名&#xff0c;然后使用快捷键&#xff0c;会出现以下提示。按Run即可。

21.2 CSS 三大特性与页面布局

1. 开发者工具修改样式 使用开发者工具修改样式, 操作步骤如下: * 1. 打开开发者工具: 在浏览器中右键点击页面, 然后选择检查或者使用快捷键(一般是 F12 或者 CtrlShiftI)来打开开发者工具.* 2. 打开样式编辑器: 在开发者工具中, 找到选项卡或面板, 一般是Elements或者Elemen…

2. HBase中文学习手册之如何运行一个单机版的HBase?

HBase中文学习手册之如何运行一个单机版的HBase? 1.1 介绍1.2 快速开始1.2.1 安装 Open JDK 81.2.2 启动 HBase1.2.3 Shell 练习1.2.4 运行停止脚本来停止HBase 1.1 介绍 上篇博文HBase中文学习手册之揭开Hbase的神秘面纱分享了 HBase 的一些理论基础知识的介绍。 本文将会继…

MAYA粒子基础_场

重力场 牛顿场 径向场 均匀场和重力场的区别 空气场 推动物体 阻力场 推动物体 涡流场 湍流场 体积轴场

ubuntu 22.04 LTS openai triton 安装

第一种方法&#xff1a; pip install triton 第二种方法&#xff0c;安装最新的版本&#xff1a; pip install -U --index-url https://aiinfra.pkgs.visualstudio.com/PublicPackages/_packaging/Triton-Nightly/pypi/simple/ triton-nightly 第三种方法&#xff1a; git c…