Stable Diffusion

news2024/9/29 7:30:32

文章目录

  • 1.主界面功能介绍
  • 2.咒语一:
  • 3.参数
    • 3.1 采样步数
    • 3.2 提示词系数和随机种子
  • 4.魔法书
  • 5.模型
    • 5.1 模型介绍
    • 5.2 模型种类及使用方法一览
      • 模型后缀名之谜
      • 常见模型种类及使用方法
        • 1.大模型。
      • 2.Embedding (Textual inversion)
      • 3.Hypernetwork
      • 4.LoRA
      • 5.VAE模型

1.主界面功能介绍

在这里插入图片描述

2.咒语一:

安装完毕,先来个咒语体验下。实践才是解决疑问的最好方案。
正向
masterpiece, best quality,

通用反向提示词:保底不出古神
lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry

另外,你可能会看到别人发的 Tag 里面会有一些符号?比如大小括号等等。
这属于进阶用法,这里仅仅简单提及一下。以 girl 这个 Tag 作为例子。

  • (girl) 加权重,这里是1.1倍。括号是可以叠加的,如((girl)) 加很多权重。1.1*1.1=1.21倍
  • [girl] 减权重,一般用的少。减权重也一般就用下面的指定倍数。
  • (girl:1.5) 指定倍数,这里是1.5倍的权重。还可以 (girl:0.9) 达到减权重的效果

3.参数

3.1 采样步数

不需要太大,一般在50以内。通常28是一个不错的值。

采样器没有优劣之分,但是他们速度不同。全看个人喜好。推荐的是图中圈出来的几个,速度效果都不错。

3.2 提示词系数和随机种子

在这里插入图片描述
提示词相关性代表你输入的 Tag 对画面的引导程度有多大,可以理解为 “越小AI越自由发挥”太大会出现锐化、线条变粗的效果。太小AI就自由发挥了,不看 Tag。

随机种子是 生成过程中所有随机性的源头 每个种子都是一幅不一样的画。默认的 -1 是代表每次都换一个随机种子。由随机种子,生成了随机的噪声图,再交给AI进行画出来。

4.魔法书

https://tags.novelai.dev/

5.模型

不同的模型会带来不同的画风、认识不同的概念(人物/物体/动作),这是模型众多的原因。
常说的NovelAI就是特指NovelAI制作的一款日系二次元特化的模型。
stable-diffusion 1.5/2.0 这些模型是较为通用的、现实模型,无法画出二次元图片。

5.1 模型介绍

当前,常见的模型可以分为两大类:大模型,用于微调大模型的小型模型
这里的大模型特指标准的 latent-diffusion 模型。拥有完整的 TextEncoder、U-Net、VAE

由于想要炼制、微调(finetune)大模型十分困难,需要好显卡、算力,所以更多的人选择去炼制小型模型。这些小型模型通过作用在大模型的不同部分,来简单的修改大模型,从而达到目的。

常见的用于微调大模型的小型模型又分为以下几种:Textual inversion (常说的Embedding模型)Hypernetwork模型LoRA模型

此外,还有一种叫做 VAE 的模型,通常来讲 VAE 可以看做是类似滤镜一样的东西。他会影响出图的画面的色彩和某些极其微小的细节。大模型本身里面就自带 VAE 的,但是一些融合模型的 VAE 烂掉了 (典型:Anything-v3),需要外置 VAE 的覆盖来救救。有时画面发灰就是因为这个原因。
VAE, Variational autoencoder。变分自编码器,负责将潜空间的数据转换为正常图像。

由于模型的种类不同、作用位置也不同,所以想要使用这些模型文件必须分清这些模型类别,并且正确的使用对应的方法模型才会生效。
如何区分这些模型对新手来说是一件非常困难的事情,因为他们都可以拥有一样的后缀名(下一节将详细展开说明)。通常没有专业知识的人员应该通过文件大小来简单判断模型类别。

5.2 模型种类及使用方法一览

模型后缀名之谜

目前,常见的 AI绘画 用模型后缀名有如下几种:

  1. ckpt
  2. pt
  3. pth
  4. safetensors
  5. (特殊)webui 特殊模型保存方法:PNG、WEBP图片格式。

暂且抛开第五种不谈。这几种后缀名都是标准的模型,从后缀名是无法判断具体是哪一种类的模型。

其中,1,2,3 这三种是 pytorch[2] 的标准模型保存格式,由于使用了 Pickle,会有一定的安全风险(自行百度:pickle反序列化攻击)。第四种为一种新型的模型格式,正如同他的名字,safe。为了解决前面的这几种模型的安全风险而出现的。safetensors 格式与 pytorch 的模型可以通过工具进行任意转换,只是保存数据的方式不同,内容数据没有任何区别。

Pytorch, 深度学习框架 https://pytorch.org/

常见模型种类及使用方法

1.大模型。

常见格式为 ckpt,一个字,大。大小在GB级别,常见有 2G、4G、7G模型。
模型大小不代表模型质量
使用方法:放在这个文件夹内。
B:\stable diffusion\5月15日更新\sd-webui-aki-v4.1\models\Stable-diffusion
在 webui 左上角选择对应的模型。
部分合并出来的大模型VAE烂掉了,画面会发灰,这时候需要你去设置中手动选择vae并应用保存。

2.Embedding (Textual inversion)

俗称的 embedding 模型。常见格式为 pt、png图片、webp图片。大小一般在 KB 级别。
使用方法:
放在这个文件夹里面:B:\stable diffusion\5月15日更新\sd-webui-aki-v4.1\embeddings
生成图片的时候需要带上 模型文件名 作为 tag
例如,上面这张图里面的 shiratama_at_2-3000.pt 这个模型,使用的时候就需要带上这个tag:shiratama_at_2-3000

3.Hypernetwork

常见格式为 pt。大小一般在几十兆到几百兆不等。由于这种模型可以自定义的参数非常之多,一些离谱的 Hypernetwork 模型可以达到 GB 级别。
使用方法:放在这个文件夹内:B:\stable diffusion\5月15日更新\sd-webui-aki-v4.1\models\hypernetworks
旧版的时候在设置里面可以找到选项,选择对应的即可使用。

4.LoRA

常见格式为 pt、ckpt。大小一般在8mb~144mb不等。
使用方法:目前有两种用法。

  1. 一种是插件方式使用,参考这个视频。
    https://www.bilibili.com/video/BV1Py4y1d7eJ/

  2. 另一种是新版本,原生支持lora。
    模型需要放在 models/Lora 文件夹。
    使用方法如图所示,点击一个模型以后会向提示词列表添加类似这么一个tag, lora:模型名:权重 也可以直接用这个tag调用lora模型。
    在这里插入图片描述

5.VAE模型

常见格式为 .pt
使用方法:将其放在 B:\stable diffusion\5月15日更新\sd-webui-aki-v4.1\models/VAE 文件夹。
放置完毕后,在设置页面进行如下选择并保存。
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/586561.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

代码随想录算法训练营第四十四天 | 力扣 518. 零钱兑换 II, 377. 组合总和 Ⅳ

完全背包 有N件物品和一个最多能背重量为W的背包。第i件物品的重量是weight[i],得到的价值是value[i] 。每件物品都有无限个(也就是可以放入背包多次),求解将哪些物品装入背包里物品价值总和最大。 完全背包和01背包问题唯一不同…

SpringCloud(1)

文章目录 1.认识微服务1.0.学习目标1.1.单体架构1.2.分布式架构1.3.微服务1.4.SpringCloud1.5.总结 1.认识微服务 随着互联网行业的发展,对服务的要求也越来越高,服务架构也从单体架构逐渐演变为现在流行的微服务架构。这些架构之间有怎样的差别呢&…

【C数据结构】单链表的基本操作(多功能+思路+图解+代码备注+完整代码+效果图)

文章目录 前言1、单链表的定义2、结点的申请3、单链表的插入3.1、头插3.2、尾插3.3、在第i位插入 4、单链表的删除4.1、头删4.2、尾删4.3、在第i位删除 6、单链表的查找6.1、按值查找6.2、按位查找6.3、两者查找到后的更多的操作:插入操作:6.3.1、在第po…

Java中BitSet和Set统计不重复字符数量时间复杂度和空间复杂度分析

题目:HJ10 字符个数统计 牛客网上一道简单的题目,计算字符串中含有的不同字符的个数,一看这个题目,通常直接意识到方案的基本实现思路:设置一个容器,遍历字符串中的每个字符,若字符与容器中字符相同&#…

chatgpt赋能python:Python中求最大公约数的方法及实现

Python中求最大公约数的方法及实现 在数学中,最大公约数是指两个或多个整数的共同约数中最大的一个。对于Python开发工程师来说,求最大公约数是一个非常基本的操作,尤其在处理算法或数学题目时更加常见。本篇文章就是为了帮助大家更好的理解…

华为OD机试真题B卷 Java 实现【最长子字符串的长度】

一、题目描述 给你一个字符串s,字符串s首尾相连组成一个环形,请你在环形中找出‘o’字符出现了偶数次最长子字符串的长度。 二、输入描述 输入一串小写字母组成的字符串。 三、输出描述 输出一个整数。 四、解题思路 题目要求在给定的环形字符串中…

kong网关安装及konga安装

一、kong安装 安装机器地址:192.168.19.50 1、自定义一个docker网络 [rootmin ~]# docker network create kong-net a9bde4e7d16e4838992000cd5612476b238f7a88f95a07c994a9f57be7f64c10查看网络是否创建成功 [rootmin ~]# docker network ls NETWORK ID NA…

3DMAX车缝线生成器插件使用方法详解

3dMax车缝线生成器插件,用于创建缝合对象和一个对象,以沿样条线或仅通过绘制选定边上的缝合之间的孔。 目前有两种类型的缝线,圆形缝线和平面缝线。对于给定类型的针脚,它们的厚度是最常用的。缝线的长度和间距以及旋转都可以很容易地调整,这些参数也可以随机设置,以创造…

vscode + CMake 构建C语言项目

文章目录 1. 所需工具2. 配置1. 编写顶级目录下的 CMakeLists.txt2. 编写子目录 src 里的 CMakeLists.txt3. 添加测试文件4. 开始构建 1. 所需工具 Visual Stduio Code(vscode) CMake 简介: CMake 是一个跨平台的 构建工具,用于 …

[论文阅读73]Prefix-Tuning:Optimizing Continuous Prompts for Generation

1. 基本信息 题目论文作者与单位来源年份Prefix-Tuning:Optimizing Continuous Prompts for GenerationXiang Lisa Li等 Stanford UniversityAnnual Meeting of the Association for Computational Linguistics2021 Citations 1009, References 论文链接&#xf…

基于java的超市管理系统设计与实现

摘 要 随着小型超市规模的发展不断扩大,商品数量急剧增加,有关商品的各种信息量也成倍增长,传统的人工记忆方式也慢慢的无法适应形势的变化。随着信息技术的发展,计算机已被广泛的用于社会的各个领域,成为推动社会发…

EMNLP - 征集系统演示

Call For System Demonstrations - EMNLP 2023 EMNLP 2023 系统演示计划委员会邀请演示计划的提案。演示范围从早期研究原型到成熟的生产就绪系统。特别感兴趣的是公开可用的开源或开放访问系统。鉴于自然语言处理领域的理论和应用研究的现状,我们还强烈鼓励展示技术…

利用画图以及代码分析详细解读外排序的实现过程

外排序的实现 思想代码分析完整代码 如果有海量数据需要排序,而在内存中放不下这么多数据,因此就不能使用内排序(直接插入排序,希尔排序,堆排序,快速排序,归并排序等等)。关于想了解…

Java利用JOL工具分析对象分布

对象的组成 对象头[Header] Markword:存储对象自身运行时数据如hashcode、gc分代年龄等,64位系统总共占用8个字节,关于Markword详细内存分布如下 类型指针:对象指向类元数据地址的指针,jdk8默认开启指针压缩&#xff…

算法基础学习笔记——⑫最小生成树\二分图\质数\约数

✨博主:命运之光 ✨专栏:算法基础学习 目录 ✨最小生成树 🍓朴素Prim 🍓Kruskal算法 ✨二分图 🍓匈牙利算法 ✨质数 🍓(1)质数的判定——试除法 🍓(2&…

简单认识OSI(计算机网络分层)七层模型

前言 学校上课讲的太笼统啥也不是,自己学的太玄学似懂非懂突然在看到了一篇公众文文章。文章从初始到现在,步步为营的遇到一个解决一个前人的问题,有了细致入微的讲述,把之前学的死东西都连起来了。 如果让你来设计网络https://m…

chatgpt赋能python:Python取余数:介绍和实际应用

Python取余数:介绍和实际应用 Python是一种高级编程语言,其灵活性和多功能性使其成为开发者的首选之一。在Python中,取余数是常见的数学运算之一,这个操作在编写程序时非常有用。在本文中,我们将介绍Python中的取余数…

chatgpt赋能python:Python中单行输出的使用方法

Python中单行输出的使用方法 Python是广泛使用的高级编程语言之一,具有易于学习、可读性强和简单易用等优点。在Python编程中,我们经常需要输出文本内容,而Python中单行输出便是一个非常重要的功能。 什么是单行输出 单行输出是指将多个元…

TDengine 深入解析缓存技术

TDengine是一款高性能的物联网大数据平台。为了高效处理时序数据,TDengine中大量用到了缓存技术,自己实现了哈希表、缓存池等技术。本文会为大家讲解TDengine中用到的这些缓存技术。 首先会介绍一下什么是缓存,常用的缓存技术,最后…

想知道怎么翻译多个文本?我教你三个好方法吧

随着电子商务的全球化发展,越来越多的企业意识到将产品推向全球市场的重要性。在全球市场中,各种语言和文化的消费者都存在着巨大的潜在需求。为了吸引和服务这些不同语言的客户,企业需要采取一系列的措施,其中翻译是至关重要的一…