【Stable Diffusion】(基础篇六)—— embedding

news2024/9/20 1:00:02

embedding

本系列博客笔记主要参考B站nenly同学的视频教程,传送门:B站第一套系统的AI绘画课!零基础学会Stable Diffusion,这绝对是你看过的最容易上手的AI绘画教程 | SD WebUI 保姆级攻略_哔哩哔哩_bilibili

除了大模型和VAE之外,SD中还有embedding模型和lora模型,这两种模型体积都很小,他们对于画面的调节能力不和大模型一样,但也可以实现画风改变和特殊物品形象的精确定义,本文将带你了解emdedding。

在Stable Diffusion(SD)环境中,Embedding(嵌入)是一种用于微调模型以理解和生成特定概念或风格的技术。这种技术通常涉及训练模型来关联特定的文本提示与视觉表示,使得当模型接收到这些提示时,它能生成与之相关联的图像。比如说我们要画一个猫又,大模型中有关于猫、人、妖怪的信息,但是AI并不知道猫又的具体概念,我们添加一个“猫又”的embedding,就相当于在大模型这一本字典中,给猫、人、妖怪这几个描述添加书签,让ai在看到猫又这个词的时候,就去找这几页信息,并将其汇总起来,这样就可以画出猫又了。embedding体积小的秘密也在于此,因为它本身并不需要描述猫又是什么,它只需要记录一些标签信息即可。

embedding的存放位置为SD根目录下的/embeddings,embeddings需要使用特定的“咒语”进行召唤使用,通常在下载的model card中有提供

特定形象

就像上面提出的例子,embedding可以帮助我们快速实现找到合适的物品或人物形象,在实际使用中,可以精确到某个具体的人物,比如在C站中我们可以找到一个守望先锋中D.VA的embedding

在这里插入图片描述

下载好后,在使用的时候,我们需要注意一下embedding不像大模型一样需要特别调用,但需要注意model card中给我们提供的参考激活词,只需要在提示词框中写入激活词即可使用embedding。

在model card的下方也会给出更详细的参数设置建议

在这里插入图片描述

【示例】在相同的参数下和随机种子下,对比添加embedding和没有embedding的效果

masterpiece, 1girl, brown hair, brown eyes, smile, standing, dynamic pose, outdoors, city background, (masterpiece:1,2), best quality, highres, original, extremely detailed wallpaper, perfect lighting,(extremely detailed CG:1.2), drawing, paintbrush,
Negative prompt: NSFW, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, age spot, (ugly:1.331), (duplicate:1.331), (morbid:1.21), (mutilated:1.21), (tranny:1.331), mutated hands, (poorly drawn hands:1.5), blurry, (bad anatomy:1.21), (bad proportions:1.331), extra limbs, (disfigured:1.331), (missing arms:1.331), (extra legs:1.331), (fused fingers:1.61051), (too many fingers:1.61051), (unclear eyes:1.331), lowers, bad hands, missing fingers, extra digit,bad hands, missing fingers, (((extra arms and legs))),
Steps: 20, Sampler: DPM++ SDE Karras, CFG scale: 7, Seed: 4195426981, Size: 500x500, Model hash: 038ba203d8, Model: 二次元:AbyssOrangeMix2_sfw, Clip skip: 2, Version: v1.5.2

在这里插入图片描述

在这里插入图片描述

上述描述我们使用的都是非常宽泛的描述,在生成D.VA的时候,我们除了激活词之外,还可以使用更多有关D.VA的角色信息描述,如果不会描述的话,我们可以使用提示词反推工具,在图生图界面的右侧,有一些根据图片反推提示词的方法,你只需要导入一张dva的图片,然后反推得出其中的提示词,再使用这些进行文生图就会得到更好的效果。推荐使用DB,速度更快。AI反推得出的提示词并不准确,我们应该筛选合理的内容。

在这里插入图片描述

让我们给文生图添加上这些筛选后的反推的提示词时,得到的效果就更好了

1girl, d.va_\(overwatch\), headphones, bodysuit, solo, long_hair, hand_on_hip, brown_hair, breasts, facial_mark, pilot_suit, brown_eyes, animal_print, cowboy_shot, bangs, medium_breasts, white_gloves, bunny_print, swept_bangs, white_background

在这里插入图片描述

错误肢体负面embedding

embedding还可以帮助我们快速地使用一些形式化固定好的提示词,如经常使用到的一些负面提示词,在每次作画时都一样。

比如非常火的badhand可以用于解决AI不会画手的一大难题,可以理解为这个embedding是一个常见错误手部合集,你只需要将这个embedding在负面提示词中激活就可以省去每次自己写负面提示词的功夫,但是注意阅读作者给出的介绍,有一些embedding相关的参数设置和模型推荐。

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1960670.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

普明服务小程序正式招募合伙人,共绘家政保洁行业新蓝图

随着家政保洁行业的快速发展和消费者对高品质服务需求的日益增长,普明服务小程序凭借其专业、高效、便捷的服务体验,迅速在市场上崭露头角。为了进一步拓展业务,提升品牌影响力,普明服务小程序现正式面向社会招募合伙人&#xff0…

你还在为PDF转Word烦恼?试试这四款免费工具吧!

悄咪咪问一句,大家在平时上班时最头疼的事情有哪些?我想会有很多朋友也有pdf如何在线转换word文档的免费方式,毕竟这些办公文档是非常常见的问题了,所以今天就专门准备这么一篇文章来分享我个人喜欢的四款好用工具: 第…

基于ChatGPT的“看图说话”

重磅推荐专栏: 《大模型AIGC》 《课程大纲》 《知识星球》 本专栏致力于探索和讨论当今最前沿的技术趋势和应用领域,包括但不限于ChatGPT和Stable Diffusion等。我们将深入研究大型模型的开发和应用,以及与之相关的人工智能生成内容(AIGC)技术。通过深入的技术解析和实践经…

dockerd --debugr排查服务无法启动的异常

1、查看docker服务运行状态 [rootlocalhost ~]# systemctl status docker 2、使用dockerd --debug排查错误 [rootlocalhost ~]# dockerd --debug 3、使用dockerd --debug获取的错误 4、根错误在网上查找解决方法 上图错误为二进制安装docker服务,/usr/local/bin/…

从里到外刨析一台电脑的性能,认识电脑很重要,妈妈再也不用担心我买电脑被骗了

现如今时代随着技术的发展,骗子的手段也越来越高明,因此从里到外刨析一台电脑的性能,认识电脑很重要,特别是准备购买电脑的小伙伴,建议看完这篇文章,其他听别人说电脑的好坏都是虚的,只有自己真…

创新概念:柯尔莫哥洛夫-阿诺德网络

文章目录 一、说明二、基础概念三、kolmogorov-Arnold 网络性质3.1 KAN 的潜在优势3.2 挑战和注意事项 四、基本 KAN 超参数五、COLAB 代码六、注意点 一、说明 kolmogorov-Arnold 网络 (KAN) 是深度学习领域的一项“创新”,它提供了一种受现有 Kolmogorov-Arnold …

【时时三省】(C语言基础)循环语句do while循环

山不在高,有仙则名。水不在深,有龙则灵。 ——csdn时时三省 do语句的语法 do 循环语句; while(表达式); 表达式为真继续循环 表达式为假停止 示例: break和cobtinue的运用 示例: cobtinue会跳出这个括号 到while 接着一直循…

Python 【机器学习】 进阶 之 【实战案例】房价数据中位数分析 | 1/2(含分析过程)

Python 【机器学习】 进阶 之 【实战案例】房价数据中位数分析 | 1/2(含分析过程) 目录 Python 【机器学习】 进阶 之 【实战案例】房价数据中位数分析 | 1/2(含分析过程) 一、简单介绍 二、机器学习 1、为什么使用机器学习&a…

Qt6 qml文件导入系统组件时不再需要版本号

qt开发中,以往在Qt5中,我们导入quick组件的时候总是要写版本号,挺麻烦的,而现在Qt6中qml导入组件无需再使用版本号了。直接导入即可。 import QtQuick import QtQuick.Controls import QtQuick.Window 想要看是否有这个组件&…

【题解】2024牛客多校第5场

E 安 https://ac.nowcoder.com/acm/contest/81600/E 分析 简单博弈 / 思维题。 当 ai > bi 时&#xff0c;当前骑士一定存活。 当 ai < bi 时&#xff0c;当前骑士一定死亡。 为了使得自己存活的骑士尽可能多&#xff0c;若存在 ai bi 的情况&#xff0c;一定会选…

XXE-lab-master靶场:PHP_xxe

目录 有回显 测试回显位置 构建payload 无回显数据外带 构建payload 漏洞修复 XXE-lab是一个一个包含php,java,python,C#等各种语言版本的XXE漏洞靶场。 下载地址&#xff1a;https://github.com/c0ny1/xxe-lab 将PHPStudy的中间件与版本信息调制为 php-5.4.29Apache 以…

【测试】博客系统的测试报告

项目背景 个人博客系统采用了 SSM 框架与 Redis 缓存技术的组合 &#xff0c;为用户提供了一个功能丰富、性能优越的博客平台。 在技术架构上 &#xff0c;SSM 框架确保了系统的稳定性和可扩展性。Spring 负责管理项目的各种组件 &#xff0c;Spring MVC 实现了清晰的请求处理…

【Linux系统】POSIX信号量 线程池

PISIX信号量 概念 POSIX信号量和SystemV信号量作用相同&#xff0c;都是用于同步操作&#xff0c;达到无冲突的访问共享资源目的。 但POSIX可以用于线程间同步。 引入环形队列的概念 环形队列&#xff1a;当队列为空||为满时 head end&#xff0c;我们发现这样无法区分为空…

Springboot2.6.13整合flowable6.8.1

背景 项目上需要使用到工作流相关内容&#xff0c;比对了好久采用flowable实现&#xff0c;该插件和activiti等很相似&#xff0c;基本上可以直接移植 代码如下 <!-- 父引用用--><parent><groupId>org.springframework.boot</groupId><artifactI…

LLM的训练与推断

LLM的训练与推断 目前比较流行的大模型一般都是自回归模型。在推理时&#xff0c;它类似于RNN&#xff0c;每次计算下一个token的概率。也就是说&#xff0c;如果除去最开始的输入情况下&#xff0c;最终推理长度为n的话&#xff0c;就需要计算n次。但是训练却是并行化的。 在…

你想活出怎样的人生?我只活一次,所以想做自己

你好&#xff0c;我是腾阳。 在这纷繁复杂的世界中&#xff0c;我们每个人都像是一颗颗星星&#xff0c;闪烁着自己的光芒。 然而&#xff0c;在这光芒背后&#xff0c;有多少人真正了解自己&#xff0c;又有多少人敢于追随内心的声音&#xff0c;去追寻那些看似遥不可及的梦…

arduino程序-程序函数2(led电路及相关函数)(基础知识)

arduino程序-程序函数2&#xff08;led电路及相关函数&#xff09;&#xff08;基础知识&#xff09; 1-9 程序函数2&#xff08;led电路及相关函数&#xff09;点亮LED需要Blink程序PinMode(LED_BUTTIN,OUTPUT)DigitalWrite(LED_BUILTIN,HIGH)第一个参数(13/LED_BUILTIN)第二个…

由浅入深的了解进程(1)

进程 1、冯诺依曼体系结构(硬件)2、操作系统(软件)2、1、概念2、2、结构示意图(简略版)3、3、尝试理解操作系统 1、冯诺依曼体系结构(硬件) 大多数常见的计算机&#xff0c;类似笔记本或者是台式电脑&#xff0c;包括不常见的计算机&#xff0c;类似服务器&#xff0c;大多遵循…

安装python插件命令集合

安装python插件pyecharts库 pip install pyecharts -i https://pypi.tuna.tsinghua.edu.cn/simple 安装python插件pandas库 pip install pandas -i https://pypi.tuna.tsinghua.edu.cn/simple PyCharm 中安装步骤&#xff1a;

Linux安装TrueNAS(网络附加存储)教程 –第1部分

TrueNAS CORE&#xff08;原名FreeNAS&#xff09;是一款流行的存储系统&#xff0c;可帮助您构建自己的高质量存储设置&#xff0c;而无需支付软件费用。您可以将其安装在计算机硬件或虚拟机 (VM) 上&#xff0c;以获得开源存储的好处。 您可以在家中、办公室或数据中心使用T…