系列文章目录
stable diffusion实践操作
文章目录
- 系列文章目录
- 前言
- 一、CLIP是什么?
- 1.1 定义:
- 1.2 作用
- 二、使用步骤
- 2.1 设置使用
- 2.1 跳过层对比图:
- 三、总结
前言
学习本章之前,先看SD生图原理
stable diffusion实践操作-SD原理
本章内容主要参考B站视频:
Stable diffusion喂饭级基础知识教程 第三期:什么是Clip跳过层
提示:以下是本篇文章正文内容
一、CLIP是什么?
1.1 定义:
1.2 作用
把文字描述和图片风格内容联系起来的关键技术
下面红色框中的就是CLIP层,输入的文字和图片先通过CLIP计算出特征向量,然后对比特征向量来确定文字和图片是否相似,让后输出相似度较高的对象,这样就完成了文本输入和图片的关联。二、使用步骤
2.1 设置使用
在webUI中,设置CLIP的按钮在下图所示位置:
想要跳过层,在下面图示位置设置:
CLIP跳过一些层,就可以减少文本嵌入维度和整体计算复杂度,从而提供模型的计算效率,同时保持文本的嵌入信息,简而言之,跳过的层越多,文字描述对最终出土的影响就越小。
2.1 跳过层对比图:
三、总结
例如:以上就是今天要讲的内容,本文仅仅简单介绍了CLIP的使用。