【Stable Diffusion】(基础篇四)—— 模型

news2024/9/20 22:40:06

模型

本系列博客笔记主要参考B站nenly同学的视频教程,传送门:B站第一套系统的AI绘画课!零基础学会Stable Diffusion,这绝对是你看过的最容易上手的AI绘画教程 | SD WebUI 保姆级攻略_哔哩哔哩_bilibili

本文主要讲解如何下载和使用SD中的模型

有时候你可能会遇到这样的情况,在抄别人作业的时候,使用了正确的提示词和参数设置,但是结果却相差甚远,这时候很有可能是模型出问题了。

这里简单描述一下AI绘画的原理,AI通过深度学习大量的图片,学习这些图片中的信息,然后提炼出来进行作画,如果你给AI的参考图都是二次元的,那么AI画出来的作品画风也都是二次元的,这些所有的参考的图片打包之后生成的就是模型,模型主要影响的绘画风格结果,使用不同风格的模型就可以生成不同风格的作品。

文件构成和加载位置

模型在SD中的位置通常是在根目录下的【models\Stable-diffusion】文件下,下载了新的模型直接将其复制到这个文件夹下面就可以进行加载

一些模型的类型为checkpoint,后缀通常为ckpt;还有一些模型的类型为safetensors,它的大小更小,模型的训练非常消耗算力,所以大部分模型都是不断地退出新的版本进行迭代

这两种类型的模型你在下载好之后放入【models\Stable-diffusion】文件夹中即可使用,如果你是在打开SD的情况下导入的文件,需要点击模型右边的刷新按钮加载模型,然后就可以选择自己下载的模型并使用了。

在这里插入图片描述

在模型选择的右边有一个VAE(Variational Auto Encoder,变分自解码器)模型,如果说模型用来控制画风的话,VAE则可以理解为是用来给图片添加色彩滤镜,现在的大模型通常把VAE都内置其中,不需要进行选择。如果模型没有内嵌会在model card页面推荐合适的VAE,或者使用一些通用的VAE效果也会不错,比秋叶SD整合包中自带的一些。

在这里插入图片描述

VAE的格式一般为pt或safetensors,安装地址为根目录下的【models/VAE】。

VAE使用时有一个小技巧:把给特定模型使用的VAE改成和其同名状态,此时需要在模型名字后面、.pt前面,加上.vae才能被识别,在选择VAE时使用auto就可以自动选择了

模型下载渠道

Stable Diffusion官方会发布更新模型,但是官方模型的训练素材来源和尺度都会受到限制,作画精度不高,很多时候我们使用的都是个人训练的模型,这些模型往往针对于特殊的画风或者题材进行训练,达到更好的效果,很多人会把自己的模型分享出来(开源精神万岁),让我们可以直接使用。下面我来介绍一些用于分享和下载模型的网站:

hugging face

Hugging Face : Hugging Face,翻译过来就是抱脸,这是一个很大的ai资源分享社区,不仅有ai绘画的内容

点击models,在左边筛选中选择Text-to-Image就可以找到主要用于文生图ai绘画的模型,这里面包含了历代sd发布的官方模型

在这里插入图片描述

让我们查找一个模型来看看具体页面中的内容,anythin模型是一个很火的二次元画风模型,让我们在搜索框中输入anything,进入anything v5版本模型的详细内容页面,这个模型详情页面通常称为model card

在这里插入图片描述

进去详情页面之后,如果你的英语不是问题,直接看懂也不是很难,看不懂的可以求助翻译软件

点击上面的【Files and versions】,这里面就存放着模型的文件,想要找大模型的话就在【safety_checker】中查找,想要找VAE模型的话就在【vae】中查找,目前我们使用到的只有这两种模型,其余内容现在不需要下载。

在这里插入图片描述

Civital

Civitai :civital,俗称C站,C站对新手非常友好,是一个专注于AI绘画模型分享的网站,C站中的模型有很直观具体的使用该模型生成的作品的展示,C站还提供了很便捷的筛选器,我们目前掌握的只有Model types中的 Checkpoint大模型和VAE模型,其余的内容我会在后面详解

在这里插入图片描述

还是上面的anything模型的例子,让我们看看在C站它的model card是怎么样的,它的模型介绍和下载都在右边,非常直观,基本上英语不太好的也能看懂
在这里插入图片描述

下方有一些详细的使用指南和注意事项,很多模型都会写建议适合的风格、关键词和VAE等,在使用之前一定要先读一遍

在这里插入图片描述

C站中每个模型都会提供直观的例图,点击例图的右小角小叹号,就会出现这些例图的参数设置,如果你想要快速上手一个模型,试着抄作业画出一份例图是一个不错的选择

在这里插入图片描述

模型分类

根据不同的画面风格,AI绘画模型大概可以分为三类:二次元、真实系和2.5D,下面给出一些对应的模型,你可以自行下载并观察它们画风之间的差距

模型类型搜索标签和风格关键词具体模型
二次元模型illustration, painting, sketch, drawing,comic, anime, catoonAnything(万象熔炉,精致度高)、Counterfeit(魔幻感)、Dreamlike Diffusion、AbyssOrange(深渊橘)
真实系模型photography, photo, realistic, photorealistic, RAW photoDeliberate、Realistic Vision(朴素,食物、动物图等)、LOFI(人物更加精致)
2.5D 模型3D, render, chibi, digital art, concept artNeverEnding Dream(三次元化)、国风3、chill

https://pan.baidu.com/s/10rzgzIjzad7AKmj-w8zO_w?pwd=nely 这是B站nenly同学提供的云盘下载链接,你可以直接下载其中打包好的模型包,你也可以在我上述提到的网站中自己搜索模型,这能让你更加熟悉这些网站的操作,但希望你在正式使用前能够在C站中看一遍模型的详细介绍

【示例】同一套参数和提示词在不同模型下的表现,可以看到即使同样都是二次元模型,不同模型的表现效果也不同,模型并没有优劣之分,只是看你想要的效果是怎么样的

1girl, greyscale, solo, white background, looking at viewer, simple background, makeup, looking back, hair ornament, lipstick, flower, updo, upper body
Negative prompt: 
Steps: 20, Sampler: Euler a, CFG scale: 7, Seed: 2566840399, Size: 512x512, Model hash: 038ba203d8, Model: 二次元:AbyssOrangeMix2_sfw, Clip skip: 2, ENSD: 31337, TI hashes: "EasyNegative: c74b4e810b03, negative_hand-neg: 73b524a2da12, verybadimagenegative_v1.3: d70463f87042", Version: v1.5.2

二次元AbyssOrange(深渊橘)

在这里插入图片描述

二次元Anything(万象熔炉)

在这里插入图片描述

真实系lofi

在这里插入图片描述

真实系Realistic Vision

在这里插入图片描述

2.5D国风

在这里插入图片描述

2.5DNeverEnding Dream

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1947461.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

C++【泛型编程】【string类常用接口】学习

目录 泛型编程 推演实例化 显示实例化 类模板 类模板的声明和定义分离 STL string string的构造和拷贝构造 选取特定字符串拷贝 解析: 关于npos的解析 验证 从一个字符串中拷贝前几个字符 解析: 注意: 验证: size…

AI应用行业落地100例 | 移民公司Envoy Global引入AI员工赋能,效率飙升80%,开启服务新篇章

《AI应用行业落地100例》专题汇集了人工智能技术在金融、医疗、教育、制造等多个关键行业中的100个实际应用案例,深入剖析了AI如何助力行业创新、提升效率,并预测了技术发展趋势,旨在为行业决策者和创新者提供宝贵的洞察和启发。 Envoy Globa…

Pytorch使用教学2-Tensor的维度

在PyTorch使用的过程中,维度转换一定少不了。而PyTorch中有多种维度形变的方法,我们该在什么场景下使用什么方法呢? 本小节我们使用的张量如下: # 一维向量 t1 torch.tensor((1, 2)) # 二维向量 t2 torch.tensor([[1, 2, 3], …

【Unity PC端打包exe封装一个并添加安装引导】

Unity PC端打包exe封装一个并添加安装引导 比特虫在线制作ico图标ico图标转换工具 选中打包出来的所有文件和ico图标 右键 使用RAR软件 添加到压缩文件 两个名称要相同 设置完点击确认等待压缩完成 然后就可以使用 Smart Install Maker制作引导安装程序了

Matlab进阶绘图第64期—三维分组针状图

三维分组针状图可以看作是三维分组散点图的升级,能够直观地展示各组分、各元素的位置、对比情况。 由于Matlab中未收录三维分组针状图的绘制函数,因此需要大家自行设法解决。 本文使用自制的groupedstem3小工具进行三维分组针状图的绘制,先…

数据结构之深入理解简单选择排序:原理、实现与示例(C,C++)

文章目录 一、简单选择排序原理二、C/C代码实现总结: 在计算机科学中,排序算法是一种非常基础且重要的算法。简单选择排序(Selection Sort)作为其中的一种,因其实现简单、易于理解而受到许多初学者的喜爱。本文将详细介…

Maven概述

目录 1.Maven简介 2.Maven开发环境搭建 2.1下载Maven服务器 2.2安装,配置Maven 1.配置本地仓库地址 2.配置阿里云镜像地址 2.3在idea中配置maven 2.4在idea中创建maven项目 3.pom.xml配置 1.项目基本信息 2.依赖信息 3.构建信息 4.Maven命令 5.打包Jav…

华杉研发九学习日记17 正则表达式 异常

华杉研发九学习日记17 一,正则表达式 ^ $ 作用: 测试字符串内的模式(匹配) 例如,可以测试输入字符串,以查看字符串内是否出现电话号码模式或信用卡号码模式。这称为数据验证. 替换文本(替换》 可以使用正则表达式来…

知识工程经典语言 PROLOG基本介绍

定义 PROLOG语言是一种基于Horn子句的逻辑型程序设计语言&#xff0c;也是一种陈述性语言。 PROLOG的语句 PROLOG语言仅有三种语句&#xff0c;称为事实、规则和问题。 事实 格式 <谓词名>(<项表>). 其中谓词名是以小写英文字母开头的字母、数字、下划线等组成的…

使用js实现常见的数据结构---链表,队列,栈,树

注&#xff1a;本文只作为数据结构的实现参考和个人理解 链表 链表是由多个节点&#xff08;node&#xff09;连接起来的&#xff0c;每个节点包含了一些存储的数据和指向下一个节点的指针&#xff0c; 链表&#xff1a;多个连续的节点构成&#xff0c;节点&#xff1a;包含一…

spring-boot3.x整合Swagger 3 (OpenAPI 3) +knife4j

1.简介 OpenAPI阶段的Swagger也被称为Swagger 3.0。在Swagger 2.0后&#xff0c;Swagger规范正式更名为OpenAPI规范&#xff0c;并且根据OpenAPI规范的版本号进行了更新。因此&#xff0c;Swagger 3.0对应的就是OpenAPI 3.0版本&#xff0c;它是Swagger在OpenAPI阶段推出的一个…

大数据-47 Redis 缓存过期 淘汰删除策略 LRU LFU 基础概念

点一下关注吧&#xff01;&#xff01;&#xff01;非常感谢&#xff01;&#xff01;持续更新&#xff01;&#xff01;&#xff01; 目前已经更新到了&#xff1a; Hadoop&#xff08;已更完&#xff09;HDFS&#xff08;已更完&#xff09;MapReduce&#xff08;已更完&am…

试过可道云teamOS的权限管理,才知道团队协作可以这么顺

在快节奏的工作环境中&#xff0c;团队协作的顺畅与否往往决定了项目的成败。作为团队中的一员&#xff0c;我深知权限管理在团队协作中的重要性。 我们的团队在协作过程中总是被权限问题所困扰。文件共享、资料访问、任务分配……每一个环节都需要小心翼翼地处理权限设置&…

学术研讨 | 区块链与隐私计算领域专用硬件研讨会顺利召开

学术研讨 近日&#xff0c;国家区块链技术创新中心主办&#xff0c;长安链开源社区支持的“区块链与隐私计算领域专用硬件研讨会”顺利召开&#xff0c;会议围绕基于区块链与隐私计算的生成式AI上链、硬件加速、软硬协同等主题展开讨论&#xff0c;来自复旦大学、清华大学、北京…

主题公园- 海豹主题式风格餐厅设计【AIGC应用】

业务背景&#xff1a;海洋馆针对细分客群增设一个打卡主题点位&#xff0c;以海豹主题式餐厅为打卡卖点&#xff0c;效果参见海豹主题式风格。 AIGC概念图制作平台&#xff1a;&#xff08;可灵&#xff09; https://klingai.kuaishou.com/ 关键词&#xff1a; 海豹主题餐厅…

机器学习 | 回归算法原理——随机梯度下降法

Hi&#xff0c;大家好&#xff0c;我是半亩花海。接着上次的多重回归继续更新《白话机器学习的数学》这本书的学习笔记&#xff0c;在此分享随机梯度下降法这一回归算法原理。本章的回归算法原理还是基于《基于广告费预测点击量》项目&#xff0c;欢迎大家交流学习&#xff01;…

Python 教程(二):语法与数据结构

目录 前言专栏列表语法特点实例代码基本数据类型变量命名规则赋值动态类型作用域示例代码 运算符list、set和dict 数据结构 区别1. list&#xff08;列表&#xff09;2. set&#xff08;集合&#xff09;3. dict&#xff08;字典&#xff09; 总结 前言 Python 是一种计算机编…

HarmonyOS实现跨语言交互(Node-API)

Node-API简介 通过Native接口&#xff0c;实现两种代码的交互。 是在Node.js提供的Node-API基础上扩展而来&#xff0c;但与Node.js中的Node-API不完全兼容。本质就是提供了对C/C代码的使用接口&#xff0c;使得两种代码共同工作。规范I/O、CPU密集型、OS底层等能力。 应用场景…

Python | Leetcode Python题解之第264题丑数II

题目&#xff1a; 题解&#xff1a; class Solution:def nthUglyNumber(self, n: int) -> int:dp [0] * (n 1)dp[1] 1p2 p3 p5 1for i in range(2, n 1):num2, num3, num5 dp[p2] * 2, dp[p3] * 3, dp[p5] * 5dp[i] min(num2, num3, num5)if dp[i] num2:p2 1if …

pytest的安装和介绍和 Exit Code 含义

pytest 准备工作&#xff08;在cmd里&#xff09;&#xff1a; 1安装 pip install -U pytest2验证安装 pytest --version # 会展示当前已安装版本3其他的 显示可用的内置函数参数 pytest --fixtures通过命令行查看帮助信息及配置文件选项 pytest --help一、pytets框架中的…