Stable Diffusion 用插件管理NNN个模型

news2024/11/24 16:10:22

当初步涉足 Stable Diffusion,可能会被各种新概念和模型搞得头大。好比我们作为新晋的魔法师,需要理解如何巧妙使用各种法师装备——也就是这些模型,以更好地应对问题,发挥出最大效果。

要了解一个被称为 safetensors 的概念。这是许多模型后缀的名字,即使模型的后缀五花八门,但 safetensors 始终占据一席之地。这是因为 safetensors 支持各种 AI 模型,在它出现之前每种 AI 模型都有自己的独特后缀。因此每种模型既可以使用 safetensors,也可以使用其自有的后缀,这使得新手们在入门时可能会感到迷惑。

实际上safetensors 是由 huggingface 研发的一种开源的模型格式,它具有多项优势:能够有效防止 DOS 攻击、加载速度快、支持懒加载以及具有高度的通用性。因此,现在大多数开源模型都会提供 ‘safetensors’ 格式。

文章目录

  • 模型介绍
  • 一览表格
  • 模型使用

模型介绍

在这里插入图片描述

  1. Checkpoint|Stable Diffusion:Checkpoint 是 Stable Diffusion 中最重要的模型,也被视为主模型,几乎所有操作都需要依赖它进行。所有的主模型都基于 Stable Diffusion 模型进行训练,因此有时会被称为 Stable Diffusion 模型。
  2. LoRA 和 LyCORIS:这两种模型是微调模型,通常用于控制画风、生成的角色以及角色的姿势等。
  3. Textual Inversion:这是一种文本编码器模型,用于改变文字向量,可以将其理解为一组 Prompt。
  4. Hypernetworks:Hypernetworks 模型用于调整模型神经网络权重,进行风格的微调。
  5. ControlNet:这是一种非常强大的控制模型,可以进行画面控制、动作控制、色深控制、色彩控制等。
  6. VAE:VAE 模型通常用于修正图片的亮度和饱和度、进行画面校正以及补光等。
  7. CodeFormer:这是一种修复模型,通常用于提高图片分辨率、将黑白照片修改成彩色照片、人脸修复等。

一览表格

在 Stable Diffusion 中通过 Checkpoint 控制图片的主要风格;通过 VAE 对图片进行补光和亮度调节;通过 LoRA 和 LyCORIS 对模型进行风格、角色控制;通过 Textual Inversion 简化 Prompt;通过 ControlNet 进行姿势、色彩控制和修复。

模型名称作用后缀名大小在 WebUI 中的文件夹
Checkpoint主模型.ckpt 或 .safetensors2G - 7Gmodels/Stable-diffusion
LoRA 和 LyCORIS微调模型,一般用于控制画风、控制生成的角色、控制角色的姿势等等.safetensors2G - 7Gmodels/Stable-diffusion
Textual Inversion文本编码器模型.pt 或 .safetensorsKB 级别embeddings
Hypernetworks调整模型神经网络权重,进行风格的微调.pt 或 .safetensors20M - 200Mmodels/hypernetworks
ControlNet强大的控制模型,可以进行画面控制、动作控制、色深控制、色彩控制等等.safetensorsKB 级别models/ControlNet
VAE图片亮度和饱和度的修正、画面较正和以及补光等.pt 或 .safetensors335M 或 823Mmodels/VAE
CodeFormer修复模型,修复人脸、提高分辨率等--models/codeformer

模型使用

将对应的模型仍到对应的文件夹下即可。
在这里插入图片描述
在这里插入图片描述

在文生图与图生图界面点击Show/hide extra networks在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/725260.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

TRACE请求造成XSS

漏洞描述 远端WWW服务支持TRACE请求。RFC 2616介绍了TRACE请求,该请求典型地用于测试HTTP协议实现。 漏洞危害 攻击者利用TRACE请求,结合其它浏览器端漏洞,有可能进行跨站脚本攻击,获取敏感信息,比如cookie中的认证信…

如何用思维导图规划旅行

又到了一年一度的旅游旺季,旅游是一件令人愉悦又放松的事情。合理的规划旅游不仅可以保证旅行的顺利进行。还可以帮助我们提前了解旅游地的信息,比如当地的民俗、文化、天气等等。特别的正值旅游旺季的时候,一份合理的规划,可以帮…

【IMX6ULL - LOGO替换】uboot阶段替换打印的开发板Logo教程

替换Board: I.MX6U VSTC,将其显示为Board: I.MX6U ALIENTEK (1)修改 uboot/board/freescale/mx6ullevk 路径下的 mx6ullevk.c 文件内容: int checkboard(void) {if (is_mx6ull_9x9_evk())puts(

ARM_串口解析器

include/serial.h #ifndef __UART4_H__ #define __UART4_H__#include "stm32mp1xx_rcc.h" #include "stm32mp1xx_gpio.h" #include "stm32mp1xx_uart.h"//引脚封装 #define GPIO_PIN_0 0 #define GPIO_PIN_1 1 #define GPIO_PIN_2 2 #define GP…

当你知道前后端分离与不分离的6个特点,你就不该再当点工了!

前后端不分离 在早期,Web 应用开发主要采用前后端不分离的方式,它是以后端直接渲染模板完成响应为主的一种开发模式。以前后端不分离方式开发的 Web 应用的架构图如下: 浏览器向服务器发起请求,服务器接收到请求后去数据库中获取…

大数据之数据采集项目延伸——sqoop

承接上篇文章 大数据之数据采集项目总结——hadoop,hive,openresty,frcp,nginx,flume https://blog.csdn.net/qq_43759478/article/details/131520375?spm1001.2014.3001.5501 在上个阶段:完成了数据收集&…

查找满足条件的文件

linux 系统下查询当前多个子目录下满足条件的文件 find ./ -mindepth 2 -name *.png

attention中为啥multi-head输出结果进行concat,得到x,x还要乘上一个WO矩阵?

刚刚在敲vit模型代码,突然一个疑问,就是multi-head输出结果进行concat,得到x,x的维度是预期维度,然后再乘以一个WO矩阵,为啥要乘上一个WO矩阵,x的维度已经是预期的了??&a…

C#基础学习_类的方法

C#基础学习_类的方法 概念:描述对象的动态特征 类型:实例方法、静态方法等 方法的定义: 访问修饰符(默认为private) 返回值类型 方法名(类型 参数1,类型 参数2,...) {//这里编写方法的主体(功能实现的具体过程)return 返回值; //若没有返回值,则不需要写该语句 }

2023年第四届“华数杯”全国大学生数学建模竞赛(附历年赛题和论文)

目录 华数杯简介大赛资料获取方式 华数杯简介 国赛前的预热”华数杯“第四届正在报名中,看到咨询我们的同学不少,挺多同学都非常感兴趣,但是又不清楚比赛的相关情况,这里将会给同学们一一答疑。 比赛难度:难度适中&am…

【面试常见】JS继承与原型、原型链

前后端面试题库 (面试必备) 推荐:★★★★★ 地址:前端面试题库 web前端面试题库 VS java后端面试题库大全 在 JavaScript 中,继承是实现代码复用和构建对象关系的重要概念。本文将讨论原型链继承、构造函数继承以及…

QML Canvas 制作动画

作者: 一去、二三里 个人微信号: iwaleon 微信公众号: 高效程序员 终于要介绍动画了,这意味着我们快要把 Canvas 学完了,所以是时候庆祝一下了… 要在 Canvas 上实现动画,需要间隔一定的时间重绘动画的下一帧,而且频率要足够快,这样才能在图像切换时看起来像动画一样。…

一篇文章让你搞懂字符指针,数组指针,指针数组,数组传参和指针传参,函数指针

回顾 首先我们来大概回顾一下指针初阶的知识 内存会划分为一个个的内存单元,每个内存单元都有一个独立的编号—编号也被称为地址,地址在C语言中也被称为指针,指针(地址)需要存储起来—存储到变量中,这个变…

【Redis】缓存穿透、缓存击穿、缓存雪崩的原因及解决方案

文章目录 一、缓存穿透1.1 产生原因1.2 解决方法接口校验对空值进行缓存使用布隆过滤器实时监控 二、缓存雪崩2.2 解决方法将失效时间分散开给业务添加多级缓存构建缓存高可用集群使用锁或者队列的方式设置缓存标记 三、缓存击穿3.2 解决方法使用互斥锁”提前“使用互斥锁 / 逻…

QT开发技巧之QTableWidget设置表头颜色字体

1.默认的表头和内容背景字体一样不好区别,可以通过qss设置修改表头样式 2.修改后效果如下 qss代码: /*表格头背景色*/ QHeaderView::section { background: rgb(128, 255, 255); font-family: "宋体"; font-weight:bold; font-size:16px; }

网站弱口令爆破小脚本

介绍 weakpass_exploit,网站弱口令爆破小脚本 优点: 绕过图形验证码 绕过前端数据加密 不足: ddddocr识别不够精确 单线程 注: 本项目所有文件仅供学习和研究使用,请勿使用项目中的技术源码用于非法用途,任何人造成的任何负面影响,与…

什么是linux内存节点?为什么要有内存节点?

什么是内存节点 在Linux中,内存节点指的是NUMA(Non-Uniform Memory Access)架构中的逻辑内存节点,也被称为内存域(Memory Domain)。NUMA是一种多处理器体系结构,其中每个处理器都有自己的本地内…

FP32、FP16 和 INT8

文章目录 FP32、FP16 和 INT81. FP322. FP163. INT8 FP32、FP16 和 INT8 当涉及到深度学习和计算任务时,FP32、FP16、INT8 和 INT4 是常用的数据类型,用于表示不同的数值精度和存储需求。 1. FP32 单精度浮点数:提供了较高的精度和动态范围…

彻底解决IJ IDEA 代码运行时中文乱码 | 完美解决方案

前言: 在我们刚接触到IDEA时,想美滋滋的敲一个“hello world”来问候这个世界,但难免会遇到这种问题 乱码!乱码!乱码! 内心的崩溃就在一瞬间,下面我就来分享几个实用的解决方法 1.调整系统语…

Plant Physiology:DAP-seq技术在毛白杨PtoWRKY68等位基因变异调控干旱胁迫响应机制研究中的应用

干旱胁迫限制了树木的生长,并影响其地域性分布。为了应对干旱胁迫,植物进化出了一系列的生理生化反应机制,以保护植物细胞免受损害。因此,研究干旱胁迫下树木生理和光合作用变化的分子机制,将有助于培育耐旱性树木新品…