StableDiffusion入门教程

news2024/12/28 18:18:41

目录

  • 介绍
  • 模型的后缀
    • ckpt模型:
    • safetensors模型
    • 文件夹
    • VAE
  • 模型在哪下载
    • Hugging face:<https://huggingface.co/models>
      • 下载SD官方模型
      • 文生图模型
      • 标签介绍
    • C站:<https://civitai.com/>
      • 筛选模型的类型
      • CheckPoint Type (模型的类型)
      • Base model
      • 类型筛选标签
      • 模型下载
      • 复制Prompt(提示词)
      • 其他人做的图片分享
  • 模型进阶
    • Embedding 文本嵌入 嵌入式向量
      • 应用
      • 举例几个模型
    • LoRa (Low-Rank Adaptation Models)低秩模型
      • 使用
      • 训练自己的 Lora模型
    • Hypernetwork 超网络
      • 使用
      • 举例
      • 文件夹
      • 下载
  • 总结

介绍

安装 StableDiffusion两种方式,一种是去 github 上下载工程部署,另一种是安装大佬的整合包,如果找不到整合包可以私信我。
这里不详细介绍安装部分,当我们安装完后,打开网页端时,会看到一个操作界面。而这个界面,有种既熟悉又陌生的感觉,会点直接生成按钮,直接生成图片,但是如何写提示词呢可以生成好看的图片呢,如何对图片进行二次修复呢,网上有好多好的模型如何导入我的 SD 中呢,有很多问题,那么我们怎么入门呢。这里介绍一些 SD 概念,让我们快速入门 SD。

模型的后缀

在 SD 中模型一般分为两种后缀:xxx.ckpt,xxx.safetensors

ckpt模型:

checkpoint模型,大模型,一般为2~7GB,检查点/关键点模型。
这种模型的训练类型玩游戏存档差不多,运行到关键位置,建立一个关键点保存已运算的部分,方便回滚及计算。
保存下来的checkpoint关键点模型,可以支持我们AI作图。
因为是检查点模型,大部分的模型具有不断往下迭代更新的能力。

safetensors模型

这种模型稍微小一些

是训练者为了让模型更加可靠、高效而开发的

文件夹

那么这些模型在哪个文件夹呢?

sd-webui-aki-v4.1\models\Stable-diffusion文件夹下

VAE

有时候我们会看到 VAE 的标识,这是什么?
VAE 全称:variational Auto Encoder:变分自解码器
可以理解为调色滤镜,主要影响画面的色彩质感
现在大部分模型已经把VAE放到checkpoint模型下,不需要再加载。
也有一部分模型还是需要加载vae的,不然图片有可能发灰发白

这种模型的文件夹在sd-webui-aki-v4.1\models\VAE

模型在哪下载

模型的下载途径有很多,这里推荐两个比较好的Hugging face,C 站。

Hugging face:https://huggingface.co/models

下载SD官方模型

搜索栏输入:stable diffusion
image.png

文生图模型

点击:Text-to-Image
image.png

例如:waifu anythin dreamShaper模型

标签介绍

Model card:介绍
Files and versions:文件下载,模型文件一般再safety_checker文件夹

image.png
community:社区,讨论区

image.png

C站:https://civitai.com/

下面介绍一下如何使用该网站。

筛选模型的类型

例如选checkpoint模型,则选择checkpoint即可

image.png

CheckPoint Type (模型的类型)

CheckPoint Type 处有三个选项

  • ALL:所有类型,这里一般选 ALL 即可
  • Trained:这个一般是作者训练的一手模型
  • Merge:这个融合模型,是把多个模型融合在一起,一般的名称为xxx_Mix
    image.png

Base model

SD发展很快,因为开源,不少大佬不断更新,出现了很多 SD 的版本,而模型训练需要基于 SD 的底模进行训练,这里便是选择基于SD哪个版本为底模进行训练的。

在这里插入图片描述

类型筛选标签

image.png

模型下载

点击进入卡片,会看到有下载的按钮
image.png

复制Prompt(提示词)

那么下载模型后,如何能够生成作者类似图片呢,这里可以复制作者的提示词。
image.png

其他人做的图片分享

在这里可以找到很多其他的作者分享的图片,根据图片,可以找到图片使用的模型,以及使用的提示词,这里就像抄作业一样,复制好的提示词到我们自己的 SD 上。

image.png

模型进阶

上面我们提到基本是大模型,放在文件夹sd-webui-aki-v4.1\models\Stable-diffusion下,那么除了这些大模型外。
我们还需要了解三种小模型:

  • Embedding:文本嵌入 嵌入式向量
  • LoRa :(Low-Rank Adaptation Models)低秩模型
  • Hypernetwork :超网络
    既然有了大模型,我们可以根据提示词生成各种各样的图片,那么这些小模型有什么用呢?
    上面的大模型我们可以比喻为上千页的大书,当我们输入提示词,AI会在大书中查找,根据提示词生成我们的图片。那么我们想生成特定种类的图片呢,这时候再写提示词,不管怎么尝试都打不到我们满意的程度,那么这时候就需要小模型了,小模型类似于书签、卡片记录了更多信息,让 AI 更加清楚的知道我们需要什么样的模型。

Embedding 文本嵌入 嵌入式向量

类似于书签,可以快速找到相应的模型类型,一般几十KB

在C站上对用这样的模型

image.png

下载下来后缀一般与VAE一样,为.pt文件

放在文件夹sd-webui-aki-v4.1\embeddings

应用

在提示词中加入关键提示词,可以在一个提示词里面加入多个Embedding

例如:复制下面的提示词

image.png

或者把图片上传到stable diffusion后使用反推出提示词

image.png

举例几个模型

  • 三视图模型: CharTurner - Character Turnaround helper for 1.5 AND 2.1
    链接:https://civitai.com/models/3036?modelVersionId=9857

  • 解决AI画手的问题:EasyNegative
    (主要针对二次元模型使用),Deep Nagative(主要针对真人使用)

把提示词放入负面提示词里

LoRa (Low-Rank Adaptation Models)低秩模型

类似于详细的描述一个东西,向 AI 传递特征准确,主体清晰的信息,让AI 可以创造出类似风格的图片,主要应用到游戏、动漫角色二次创作构建。
比如你可以让 AI 生成一只喜羊羊,那么 AI 会问了什么事喜羊羊呢?这时候通过提示词以及上面的书签我们已经无法实现。那么这时候就用到 LoRa 了,它类似一个彩色卡片,上面记录喜羊羊的信息,这样 AI 就全面认知了一个喜羊羊的信息,便能更好生成一只喜羊羊,生成一个AI里之前不认识的东西。

大小:几百兆,比大模型小很多了,因为Lora 是根据大模型进行训练的,类似彩色卡片,记录指定的信息。当然我们也可以自己训练模型,可以看这篇文章

下载放到文件夹\sd-webui-aki-v4.1\models\Lora

使用

例如下面的例子:把文件名加入提示词里

<lora:dark theme:0.7>,0.7为权重

image.png

训练自己的 Lora模型

C 站上下载的都是别人训练好的,如果我想训练自己指定的模型,那么该怎么训练呢?这里有篇文章可以看看:链接

Hypernetwork 超网络

有点类似LoRa,主要针对于画风的改变,设置特定的艺术风格,例如把图片改成雕塑化、像素画、抽象化、Q版图等

使用

设置–》扩展模型,选择放到文件夹下的模型,如果没有就刷新一下

image.png

举例

q版可爱画风:Waven Chibi Style

文件夹

下载后放到:sd-webui-aki-v4.1\models\hypernetworks

下载

C站下载,筛选Hypernetwork
image.png

总结

这里了解关于 StableDiffusion基础概念,再使用 SD 时,不至于摸不着头脑,当然还有一些别的操作,欢迎关注我,有时间会分享出来。
如果你想训练自己的Lora,比如想用指定模特图片,生成照片,可以查看这篇文章,详细介绍了如何训练自己的 Lora 模型。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/605927.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Python学习笔记 - 探索元组Tuple的使用

欢迎各位&#xff0c;我是Mr数据杨&#xff0c;你们的Python导游。今天&#xff0c;我要为大家讲解一段特殊的旅程&#xff0c;它与《三国演义》有关&#xff0c;而我们的主角是元组&#xff08;tuple&#xff09;。 让我们想象这样一个场景&#xff0c;三国演义中的诸葛亮&am…

pandas数据预处理

pandas数据预处理 pandas及其数据结构pandas简介Series数据结构及其创建DataFrame数据结构及其创建 利用pandas导入导出数据导入外部数据导入数据文件 导出外部数据导出数据文件 数据概览及预处理数据概览分析利用DataFrame的常用属性利用DataFrame的常用方法 数据清洗缺失值处…

Cesium教程 (3) 矢量切片mvt-imagery-provider加载

Cesium教程 (3) 矢量切片mvt-imagery-provider加载 目录 0. 矢量切片 1. 开源项目 2. 环境 3. 代码 4. TODO 0. 矢量切片 WMTS&#xff1a;加载最快&#xff0c;图片格式&#xff0c;样式固定&#xff1b; WMS&#xff1a;加载数量大则慢&#xff0c;但可以点击查询等&am…

htmlCSS-----CSS选择器(上)

目录 前言&#xff1a; 1.初级选择器 &#xff08;1&#xff09;ID选择器 &#xff08;2&#xff09;class选择器 &#xff08;3&#xff09;标签选择器 &#xff08;4&#xff09;通配选择器 前言&#xff1a; CSS选择器是CSS页面处理的重要组成部分&#xff0c;前面讲到…

MMPose关键点检测实战

安装教程 https://github.com/TommyZihao/MMPose_Tutorials/blob/main/2023/0524/%E3%80%90A1%E3%80%91%E5%AE%89%E8%A3%85MMPose.ipynb git clone https://github.com/open-mmlab/mmpose.git -b tutorial2023 -b代表切换到某个分支&#xff0c;保证分支和作者的教程一致 ra…

基于SpringBoot+Thymeleaf+Mybatis+Html校园二手交易平台

基于SpringBootThymeleafMybatisHtml校园二手交易平台 一、系统介绍1、系统主要功能&#xff1a;2、环境配置 二、功能展示1.主页(客户)2.登陆&#xff08;客户&#xff09;3.我的购物车(客户)4.我的订单&#xff08;客户&#xff09;5.主页&#xff08;管理员&#xff09;6.订…

mybatisplus数据权限插件学习初探 动态表名更换插件 防止全表更新与删除插件

文章目录 学习链接 mybatisplus数据权限插件学习初探前言案例建表用户表订单表 环境准备UserUserMapperUserMapper.xmlOrdersOrdersMapperOrdersMapper.xml 配置UserTypeEnumUserContextHolderCustomizeDataPermissionHandlerMybatisPlusConfig 测试测试类bossdeptManagerclerk…

Redis通信协议、过期回收策略

Redis通信协议-RESP协议 Redis是一个CS架构的软件&#xff0c;通信一般分两步&#xff08;不包括pipeline和PubSub&#xff09;&#xff1a; 客户端&#xff08;client&#xff09;向服务端&#xff08;server&#xff09;发送一条命令 服务端解析并执行命令&#xff0c;返回…

二级指针骚操作实现链表虚拟头节点

重点是不用像其他文章里那样&#xff0c;用一个普通节点成员变量当头节点&#xff0c;节省一点空间占用&#xff0c;反正我觉得有点骚。就不详细交代技术背景了&#xff0c;简而言之&#xff0c;就是链表中第一个节点前没有节点了&#xff0c;只有一个指向它的指针&#xff0c;…

强化学习基础篇[3]:DQN、Actor-Critic详解

【强化学习原理+项目专栏】必看系列:单智能体、多智能体算法原理+项目实战、相关技巧(调参、画图等、趣味项目实现、学术应用项目实现 专栏详细介绍:【强化学习原理+项目专栏】必看系列:单智能体、多智能体算法原理+项目实战、相关技巧(调参、画图等、趣味项目实现、学术应…

从实习到秋招成为一名安全工程师,我是怎么做的

前言 借朋友口述总结了安全招聘面试经历分享&#xff0c;希望更多的人看到这篇文&#xff0c;从中得到启发&#xff0c;找到自己心仪的工作。 基本情况 签了字节的三方&#xff0c;秋招终于告一段落。从八月份边实习边准备秋招到现在&#xff0c;经历了许多&#xff0c;这篇帖…

Linux :: 【简单开发篇 :: vim 编辑器:(1)】:: vim 编辑器的基本认识与三种 vim 常用模式 | 使用:打开编辑、退出保存关闭vim

前言&#xff1a;本篇是 Linux 基本操作篇章的内容&#xff01; 笔者使用的环境是基于腾讯云服务器&#xff1a;CentOS 7.6 64bit。 学习集&#xff1a; C 入门到入土&#xff01;&#xff01;&#xff01;学习合集Linux 从命令到网络再到内核&#xff01;学习合集 目录索引&am…

yolov8Pose实战

目录 前言一、yolov8环境搭建二、测试训练模型&#xff0c;评估模型&#xff0c;并导出模型实测检测效果 测试人体姿态估计 前言 YOLO系列层出不穷&#xff0c;从yolov5到现在的yolov8仅仅不到一年的时间。追踪新技术&#xff0c;了解前沿算法&#xff0c;一起来测试下yolov8在…

【密码学复习】第十章 身份鉴别

身份鉴别的定义 定义&#xff1a;身份鉴别&#xff0c;又称为身份识别、身份认证。它是证实客户的真实身份与其所声称的身份是否相符的过程。 口令身份鉴别 固定口令&#xff08;四&#xff09; 注册环节&#xff1a;双因子认证 ① 接收用户提供的口令pw&#xff08;PIN&…

车辆救援道路救援预约汽修托运小程序

道路救援&#xff1a;指汽车道路紧急救援&#xff0c;为故障车主提供包括诸如&#xff1a;拖吊、换水、充电、换胎、送油以及现场小修等服务(Road-Side Service)&#xff1b; 同时也指交通事故道路救援&#xff0c;包括伤员救治、道路疏导等。 随着我国巨大的汽车拥有量&…

1计算机系统概述_1.2计算机系统层次结构

1.2 计算机系统层次结构 计算机系统&#xff08;CO 自命名&#xff09; 1、CO的组成 硬件系统和软件系统共同构成了一个完整的计算机系统 ——硬件&#xff1a;有形的物理设备&#xff0c;是CO中实际物理装置的总称 ——软件&#xff1a;在硬件上运行的程序和相关的数据及文…

SpringCloud:分布式缓存之Redis哨兵

Redis提供了哨兵&#xff08;Sentinel&#xff09;机制来实现主从集群的自动故障恢复。 1.哨兵原理 1.1.集群结构和作用 哨兵的结构如图&#xff1a; 哨兵的作用如下&#xff1a; 监控&#xff1a;Sentinel会不断检查您的master和slave是否按预期工作自动故障恢复&#xff…

人工智能(pytorch)搭建模型9-pytorch搭建一个ELMo模型,实现训练过程

大家好&#xff0c;我是微学AI&#xff0c;今天给大家介绍一下人工智能(pytorch)搭建模型9-pytorch搭建一个ELMo模型&#xff0c;实现训练过程&#xff0c;本文将介绍如何使用PyTorch搭建ELMo模型&#xff0c;包括ELMo模型的原理、数据样例、模型训练、损失值和准确率的打印以及…

labelimg闪退解决方法(之前使用过labelimg,但新一次使用,打开文件夹无反应,再次打开闪退的问题)及标注经验

问题描述&#xff1a; 之前使用过labelimg进行好多次的标注&#xff0c;但新一次运行使用&#xff0c;发现打开目录无反应&#xff0c;再次打开闪退的问题&#xff0c;重启电脑并且从新运行labelimg仍然无效。 解决方法&#xff1a; 关闭labelimg&#xff0c;然后删除文件C…

一文纵览Umi‘s Friends生态,GameFi浪潮的变革者

以“P2E”为特性的 GameFi&#xff0c;代表着游戏时代的新盈利模式&#xff0c;它将 NFT 或其他形式的代币化资产作为游戏内容&#xff0c;游戏内资产的寿命会&#xff0c;则随着这些资产继续存在于玩家的钱包中而延长&#xff08;即便游戏关闭&#xff09;&#xff0c;资产的互…