Stable Diffusion 模型的概念、类型、下载、安装、使用

news2024/9/21 0:28:10

本文收录于《AI绘画从入门到精通》专栏,专栏总目录:点这里。

大家好,我是水滴~~

我们在《Stable Diffusion WebUI 界面介绍》 时,第一个就讲到了 Stable Diffusion 模型,那么这个模型是什么?该从哪儿下载?下载后放到哪儿?该怎么使用呢?本篇文章将围绕着这几个问题来逐一讲述。

文章目录

  • 一、什么是模型
  • 二、大模型的类型
    • 2.1 基础模型(Base Model)
    • 2.2 文件类型
  • 三、大模型在哪儿下载
    • 3.1 Civitai(C站)
    • 3.2 LiblibAI(哩布哩布AI)
  • 四、大模型放哪里
  • 五、使用大模型生成图片


一、什么是模型

Stable Diffusion 是一种基于扩散过程的图像生成模型,由 CompVis、Stability AI 和 LAION 共同开发。该模型通过模拟扩散过程,将噪声图像逐渐转化为目标图像,可以生成高质量、高分辨率的图像。
Stable Diffusion 模型经过大量的图文模型进行训练,具有强大的生成能力,可以胜任多种风格,如写实、原画、2.5D等,并能实现顶级的光影效果和人物风景细节。

简单来理解,Stable Diffusion 是经过训练出来的,可以生成图片的模型。人们可以针对性的来训练某种风格的模型,所以我们会看到有很多种模型。我们想要生成什么风格类型的图片,就选择对应的模型。

模型是生成图片的基础,我们想要出什么图,就选择什么样的模型,所以我们一般称它为大模型底模型主模型

在下图中有三种模型,每一种模型都有自己的风格:

在这里插入图片描述

  • Dark Sushi Mix 大颗寿司Mix:动漫风格、2.5D
  • Disney Pixar Cartoon type B:3D 风格、迪士尼皮克斯动画片
  • majicMIX realistic 麦橘写实:写实风格、亚洲人面孔

二、大模型的类型

2.1 基础模型(Base Model)

Stable Diffusion 的基础模型有很多版本,而使用最广泛的是 SD1.5 和 SDXL(Stable Diffusion Extra Large),绝大部分模型都是基于这两个版本来训练出来的。

下面是这两个版本的差异:

  • 图像质量和生成速度:SDXL在图像质量方面相对于SD 1.5有了显著的提升。SDXL能够生成更高质量的图像,具有更强的细节和更真实的质感。此外,SDXL的生成速度也比SD 1.5更快,这得益于其更大的模型规模和更高效的计算资源利用。
  • 模型规模和训练数据:SDXL是一个更大规模的模型,其参数数量比SD 1.5更多。这意味着SDXL能够处理更复杂、更精细的图像生成任务。同时,SDXL的训练数据量也比SD 1.5更大,这有助于提高其生成图像的多样性和准确性。
  • 应用场景:由于SDXL在图像质量和生成速度方面的优势,它更适合用于需要高质量图像生成的应用场景,如广告、游戏设计、影视制作等。而SD 1.5则更适合用于一些对图像质量要求不高、更注重生成速度的场景,如社交媒体分享、个人创作等。

2.2 文件类型

Stable Diffusion 模型的文件类型主要包括以下几种:

  • .ckpt:这是 TensorFlow 和 PyTorch 等深度学习框架常用的模型检查点(checkpoint)文件扩展名。它通常用于保存和加载模型在训练过程中的权重和状态。
  • .safetensors:这是一种特定的文件格式,用于保存模型的权重和参数。在某些情况下,Stable Diffusion模型可能会使用这种格式来存储其模型文件。
  • .pt:这是PyTorch深度学习框架使用的模型文件扩展名。PyTorch是一个流行的深度学习框架,因此许多模型,包括Stable Diffusion,可能会使用这种格式来存储模型文件。

在这几种模型文件中,最常用的是 .ckpt.safetensors 两种类型。
.safetensors 是 HuggingFace 推出的新的模型存储格式。与 .ckpt 不同 .safetensors 格式不会包含执行代码,因此不需要反序列化。这意味着加载模型时 .safetensors 会更快,也更安全。目前,.safetensors 已经成为主流的 Stable Diffusion 模型存储格式。。

三、大模型在哪儿下载

那么在哪里可以下载我们想要的模型呢?这里给大家推荐两个网站:

3.1 Civitai(C站)

Civitai(C站)是全球最大的 Stable Diffusion 模型的分享网站,用户可以免费下载模型。C站的作者来自于全球各地,模型种类繁多,是 AI 绘画爱好者的首选。

C站是国外网站,需要魔法才能打开。也可以关注我的专栏,我会定期分享 C站上优秀的模型。

在这里插入图片描述

3.2 LiblibAI(哩布哩布AI)

LiblibAI(哩布哩布AI)是国内最大的 Stable Diffusion 模型的分享网站,上面大部分模型用户可以免费下载。哩布哩布AI 上的模型中国元素居多,非常受国内爱好者的青睐。
在这里插入图片描述

四、大模型放哪里

模型下载完后,通常是这样子的:
在这里插入图片描述

我们将它放到 Stable Diffusion WebUI 主目录中的 \models\Stable-diffusion 目录下:

在这里插入图片描述

我们点击模型列表右侧的【刷新】按钮,模型就会被加载到列表中:

在这里插入图片描述

选择模型,会有一个加载的过程,速度与磁盘有关,固态盘加载的会快一些:

在这里插入图片描述

选择好后,我们就可以使用它了:

在这里插入图片描述

五、使用大模型生成图片

选择好模型后,输入提示词,我们先来输入一个简单的:a girl,表示生成一个女孩,然后点击【生成】按钮:

在这里插入图片描述

生成需要一个过程(显卡越好越快),右下角可以看到生成的过程和进度:

在这里插入图片描述

生成结束后,就可以看到完整图片了,点击后可以放大:

在这里插入图片描述

这样,该模型的第一张图就生成好了。

我们再来一张,这次提示词增加了绿色头发:a girl, green hair,表示生成一个绿头发的女孩:
在这里插入图片描述
生成的结果:

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1464859.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

C++入门学习(三十四)值传递,实参-形参

什么是值传递? 值传递(Pass by Value)是一种参数传递方式,当函数或方法被调用时,将实际参数的值复制一份传递给函数或方法中的形式参数。这意味着在函数或方法内部对形式参数的修改不会影响到实际参数的值。因为形式参…

关于数组去重new Set的详细解释

用于保持数组的唯一性 // test1 const arr [1, 1, 2, 3, 4, 3] // 是一个new Set对象 const arr1 new Set(arr) console.log(arr1); // test2 const brr [1, 1, 2, 3, 4, 3] // 现在是数组对象了 const brr1 [...new Set(brr)] console.log(brr1); 总结 使用new Set后获…

vscode突然连不上服务器了,以前都可以的,并且ssh等其它方式是可以连接到服务器的

过完年回来准备开工干活,突然发现vscode连不上服务器了,奇了怪了,年前都可以的,看了一下报错,如下, 以为是服务器挂了,结果执行ssh xxxxxx 发现是可以远程连接的,看来服务器没有问题…

3分钟看懂设计模式01:策略模式

一、什么是策略模式 定义一些列算法类,将每一个算法封装起来,并让它们可以互相替换。 策略模式让算法独立于使用它的客户而变化,是一种对象行为型模式。 以上是策略模式的一般定义,属于是课本内容。 在没有真正理解策略模式之…

Unity3d Shader篇(九)— 世界空间法线纹理映射

文章目录 前言一、什么是世界空间法线纹理映射?1. 世界空间法线纹理映射工作原理2. 什么是世界空间?3. 切线空间法线纹理映射和世界空间法线纹理映射对比世界空间法线纹理映射:优点:缺点: 切线空间法线纹理映射&#x…

专145+总420+哈尔滨工业大学803信号与系统和数字逻辑电路考研经验哈工大电子信息与通信,真题,大纲,参考书。

自从高考失利没有考入哈工大,一直带着遗憾,今年初试专业课803信号与系统和数字逻辑电路145,总分420顺利圆满哈工大,了却了一块心病,回看这一年的复习起起落落,心中的那块初心,让我坚持到了上岸&…

springmvc+ssm+springboot房屋中介服务平台的设计与实现 i174z

本论文拟采用计算机技术设计并开发的房屋中介服务平台,主要是为用户提供服务。使得用户可以在系统上查看房屋出租、房屋出售、房屋求购、房屋求租,管理员对信息进行统一管理,与此同时可以筛选出符合的信息,给笔者提供更符合实际的…

外汇天眼:外汇交易不可不知的8大风险!

现在外汇交易中的风险主要有哪些? 外汇作为一种投资方式肯定有风险,我们要想的是尽量规避风险。 今天就给大家介绍一下现在外汇交易中的风险主要有哪些? 一、高杠杆风险 由于外汇保证金交易采用的杠杆比例,放大了损失的额度&…

【前端素材】推荐优质后台管理系统APP Zina平台模板(附源码)

一、需求分析 当我们从多个层次来详细分析后台管理系统时,可以将其功能和定义进一步细分,以便更好地理解其在不同方面的作用和实际运作。 1. 功能层次 a. 用户管理功能: 用户注册和登录:管理用户账户的注册和登录过程。权限管…

在Win11上部署Stable Diffusion WebUI Forge

Stable Diffusion WebUI Forge 是 Stable Diffusion WebUI(基于 Gradio)之上的平台,可简化开发、优化资源管理并加快推理速度。“Forge”这个名字的灵感来自“Minecraft Forge”。这个项目旨在成为SD WebUI的Forge。 与原始 WebUI&#xff0…

【数据结构】链式队列

链式队列实现&#xff1a; 1.创建一个空队列 2.尾插法入队 3.头删法出队 4.遍历队列 一、main函数 #include <stdio.h> #include "./3.linkqueue.h" int main(int…

漫漫数学之旅030

文章目录 经典格言数学习题古今评注名人小传 - 柏拉图 经典格言 不知道正方形对角线与它的边不可通约的人&#xff0c;根本不配人这个称号。——柏拉图&#xff08;Plato&#xff09; 好家伙&#xff0c;想象一下柏拉图老兄正站在古希腊的广场上&#xff0c;手里挥舞着一根画着…

流程图:理解、创建与优化的视觉工具

流程图&#xff1a;理解、创建与优化的视觉工具 引言 在日常生活和工作中&#xff0c;我们经常遇到需要描述一系列步骤或过程的情况。这些步骤可能是制作一杯咖啡、完成一个项目&#xff0c;或者是解决一个复杂的数学问题。流程图&#xff0c;作为一种强大的视觉工具&#xf…

自然语言处理(NLP)—— 神经网络自然语言处理(2)实际应用

本篇文章的第一部分是关于探索词嵌入&#xff08;word embedding&#xff09;向量空间。词嵌入是一种语言模型和文本表示技术&#xff0c;其中单词或短语从词汇表被映射到向量的高维空间中。通过这种方式&#xff0c;可以通过计算向量之间的距离来捕捉单词之间的语义关系。 1.…

PC8260小封装COT控制模式同步降压器18V/6A输出电流只需极少外围元器

描述 PC8260是一个高效率的600kHz&#xff0c;恒定导通时间&#xff08;COT&#xff09;控制模式同步降压DC-DC转换器提供高达6A的电流。PC8260集成主开关和极低同步开关RDS&#xff08;ON&#xff09;以将传导损耗降至最低。低输出电压纹波和小型外部电感器电容器尺寸通过600…

【EndNote20】Endnote20和word的一些操作

文章目录 前言一、如何导入参考文献到EndNote201.1.在谷歌学术或知网上下载文献1.2.将下载好的文件导入EndNote20(可批量导入)1.3.书籍如何导入 二、Word中加入参考文献 前言 做毕设时学习了EndNote20的一些使用方法&#xff0c;并在此慢慢做汇总。 一、如何导入参考文献到End…

快速构建 Debezium MySQL Example 数据库

博主历时三年精心创作的《大数据平台架构与原型实现&#xff1a;数据中台建设实战》一书现已由知名IT图书品牌电子工业出版社博文视点出版发行&#xff0c;点击《重磅推荐&#xff1a;建大数据平台太难了&#xff01;给我发个工程原型吧&#xff01;》了解图书详情&#xff0c;…

力扣226 翻转二叉树 Java版本

文章目录 题目描述解题思路代码 题目描述 给你一棵二叉树的根节点 root &#xff0c;翻转这棵二叉树&#xff0c;并返回其根节点。 示例 1&#xff1a; 输入&#xff1a;root [4,2,7,1,3,6,9] 输出&#xff1a;[4,7,2,9,6,3,1] 示例 2&#xff1a; 输入&#xff1a;root…

JavaSE多线程线程池

文章目录 1. 多线程入门1.1 多线程相关概念1.2 什么是多线程1.3 多线程的创建方式1.3.1 继承 Thread 的方式1.3.2 实现 Runnable 接口的方式1.3.3 实现 Callable 接口的方式1.3.4 Thread 类中常用方法1.3.5 sleep() 方法 和 wait() 方法区别&#xff1a; 2. 线程安全2.1 线程安…

苍穹外卖Day02——总结2

前期文章 文章标题地址苍穹外卖Day01——总结1https://blog.csdn.net/qq_43751200/article/details/135466359?spm1001.2014.3001.5501苍穹外卖Day01——解决总结1中存在的问题https://lushimeng.blog.csdn.net/article/details/135473412 总结2 前期文章1. 新增员工模块1.1 …