黑丝或者白丝,都可以用LoRA(Stable Diffusion进阶篇:ComfyUI 附加网络)

news2024/9/27 21:20:55

前言

在学习WebUI的那些基础知识点的时候,有一个东西是每一个初学者都绕不开的大山-附加网络。

这个东西对于每一个接触Stable Diffusion的小伙伴来说就像是小学门口小卖部卖的辣条、初中课本上的涂鸦、高中数学卷解不开的最后一道大题。

学习过WebUI里Stable Diffusion的小伙伴应该对附加网络很熟悉了,这类附加网络可以提高AI生图质量、创作独特风格以及精准控制画面元素。

而这最常用的三类附加网络分别是Embeddings(词嵌入)、LoRA(低秩适应模型)、ControlNet(控制网),今天的内容就是来学习如何在ComfyUI中使用这类附加网络。

**附加网络-Embeddings
**

在ComfyUI中Embeddings的使用是最简单的,在ComfyUI中的提示词框里面输入Embeddings+模型名即可:

**embeddings:BadDream,
**

这段提示词无论是输入在正面提示词框或者负面提示词框都可以,不影响调用。

如果去Manager里面选择Install ,然后搜索Custom-Scripts下载:

下载完这个扩展之后重启ComfyUI,之后再输入提示词就有这样的自动补全功能啦:

**附加网络:LoRA
**

在之前的WebUI中输入LoRA的方式就是在提示词里面加入设定好的LoRA关键词,而在ComfyUI里没办法这么做。

之所以Embedding可以这么做是因为Embedding本质上是一系列提示词向量的“合集”,而LoRA则是一组经过了再训练且从大模型上“提炼”出来的“附加权重”。

当然这里不太了解没关系,感兴趣的话可以看我之前有关LoRA炼制的文章:

在ComfyUI中自带了一个Load LoRA的节点用于加载LoRA:

将这个节点放在大模型也就是Load Checkpoint节点后面,然后将这个节点与其他节点连接即可,连接的顺序参考下图:

  • Load Checkpoint的Model和Load LoRA的model连接

  • Load Checkpoint的CLIP和Load LoRA的clip连接

  • Load LoRA的CLIP和CLIP Text Encode(Prompt)的clip连接(两个Encode都要链接)

  • Load LoRA的MODEL和KSample的model进行连接

这样一来一个可以使用LoRA的工作流就完成了,如果是要同时使用多个LoRA的话就将上述的步骤多做几次即可,有点麻烦就是了。

这个一个个节点连接的过程就相当于将这个LoRA附加到了整个大模型上,而连接好的LoRA和Checkpoint节点则是可以视为一个新的模型。

而LoRA则是可以通过这两个选项来调节权重:

这个和WebUI里的一样,范围从0-1,数值越大LoRA作用越明显。

一个LoRA在训练的时候是同时在底膜的文本编码器(CLIP Text Encoder)和噪声预测器上训练的,这两部分都会形成对应的积累也就是学习率。

而这两个参数附加到主模型上的大小就分别对应了两个权重数值,文本编码器学习率对应CLIP强度、Unet学习率对应了Model强度。

简单来说:Model强度直接影响了LoRA的风格是否能被植入到主模型里,相当于你这黑丝LoRA能不能让图片里的人完整穿上黑丝;

而Clip强度影响了模型对一些提示词的响应结果,在一些具有大量触发词的LoRA里面作用会很明显,例如一个LoRA模型里面含有:黑丝、破洞黑丝、吊带袜黑丝这样比较多提示词的LoRA就可以提高Clip强度。

强度拉满

对于新手来说,要么干脆保持默认数值,要么两个数值当做WebUI的一个权重一样,两个数值更改的时候保持一致就行。

不过在ComfyUI中这样一个个加载LoRA其实蛮麻烦的,有着Stack功能的节点应运而生。不过这些需要额外下载节点包,下载地址看文末即可,或者感兴趣的小伙伴可以看文末教程视频里的22:33分开始。


今天的内容就到这里啦!

简单了解了下在ComfyUI中的Embeddings和LoRA怎么使用,虽然感觉WebUI更方便一些,但是ComfyUI能够进行更多的细节调整,毕竟是拆成了一个个节点。

那么大伙下篇笔记见吧,我要去好好“学习”了,拜了个拜!

1girl, beautiful girl, smile, living room, sofa, large window, couch, carpet, bright natural lighting, (full body:1.2), (absurdres, highres, ultra detailed, masterpiece, best quality:1.4), realistic, photorealistic, masterpiece, best quality, wallpaper, ((baisijdly, white legwear):1.2), lora:baisijdly:0.8, short pleated skirt, white collared shirt, lora:add\_detail:1

Negative prompt: paintings, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), missing limb, bad anatomy, extra limbs, ((hands)), ng_deepnegative_v1_75t, badhandv4, blurry, low quality

  • Steps: 30

  • Sampler: DPM++ SDE Karras

  • CFG scale: 7

  • Seed: 1424902421

  • Size: 512x512

  • Model hash: 7c819b6d13

  • Model: majicmixRealistic_v7

  • Denoising strength: 0.7

  • Clip skip: 2

  • Hires upscale: 2

  • Hires upscaler: R-ESRGAN 4x+

  • Lora hashes: “baisijdly: 34aefd002512”

  • Version: v1.8.0

为了帮助大家更好地掌握 ComfyUI,我在去年花了几个月的时间,撰写并录制了一套ComfyUI的基础教程,共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

在这里插入图片描述

一、ComfyUI配置指南

  • 报错指南
  • 环境配置
  • 脚本更新
  • 后记

img

二、ComfyUI基础入门

  • 软件安装篇
  • 插件安装篇

img

三、 ComfyUI工作流节点/底层逻辑详解

  • ComfyUI 基础概念理解
  • Stable diffusion 工作原理
  • 工作流底层逻辑
  • 必备插件补全

img

四、ComfyUI节点技巧进阶/多模型串联

  • 节点进阶详解
  • 提词技巧精通
  • 多模型节点串联

在这里插入图片描述

五、ComfyUI遮罩修改重绘/Inpenting模块详解

  • 图像分辨率
  • 姿势

img

六、ComfyUI超实用SDXL工作流手把手搭建

  • Refined模型
  • SDXL风格化提示词
  • SDXL工作流搭建

img

由于篇幅原因,本文精选几个章节,详细版点击下方卡片免费领取

在这里插入图片描述

img

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1988659.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

基础岛 - 8G显存验证书生·浦语大模型的Demo

因为以前用过LMDeploy,所以本章的内容相对熟悉。 另外,因为教程写的很详细保姆级,所以大多数情况直接复制执行命令即可。开发机的创建略过。 总体验证结论: LMDeploy的模型加载有点慢,但推理速度快,符合预…

将tsx引入vue

按钮 vue <cl-batch-btn >新增批量</cl-batch-btn> import batch from "//modules/ad/components/ uploading/batch.vue" import ClBatchBtn from "/~/crud/src/components/batch-btn"; tsx

从困境到突破,EasyMR 集群迁移助力大数据底座信创国产化

在大数据时代&#xff0c;企业对数据的依赖程度越来越高。然而&#xff0c;随着业务的不断发展和技术的快速迭代&#xff0c;大数据平台的集群迁移已成为企业数据中台发展途中无法回避的需求。在大数据平台发展初期&#xff0c;国内数据中台市场主要以国外开源 CDH、商业化 CDP…

JVM(十二)细谈JVM类加载的各个过程以及如何修改Java原生API

本文深入探讨了Java虚拟机&#xff08;JVM&#xff09;的类加载机制&#xff0c;包括类的加载、验证、准备、解析和初始化等过程。文章首先通过几个高级面试问题引入主题&#xff0c;然后详细解释了JVM类加载的五个阶段及其重要性。接着&#xff0c;介绍了Java的三个主要类加载…

普通话测试前如何抱佛脚拿高分

全国普通话水平测试对很多大学生而言是最好拿证的考试&#xff0c;当然了对于某些专业的考生也会有更高的拿证要求&#xff0c;例如对于需要考教师资格证的同学而言。希望这篇文章可以帮助到各位考生在普通话水平测试中取得高分。 首先我们需要知道考试考什么 一、测试内容 …

M.2接口

接口分类 key-a key-b key-e key-m接口图片

图吧工具箱:硬件检测的一站式解决方案,好用到让同行都点赞!

前言 嘿&#xff0c;各位硬件迷们&#xff0c;小江湖又来啦&#xff01;今天&#xff0c;我手里可是攥着个宝贝&#xff0c;一个能让你们眼前一亮的神秘工具箱&#xff1b;别急着问是啥&#xff0c;我先卖个关子&#xff0c;就说这工具箱啊&#xff0c;简直是硬件界的“八卦炉”…

8.C基础_指针基础

指针概述 指针存放的都是首地址。 1、定义与初始化 形式&#xff1a;<数据类型>* <变量名> <地址>; int a 10; int *p &a; 指针的类型不同&#xff0c;p时的偏移地址量不同&#xff0c;偏移地址 sizeof(类型)Byte 注意点&#xff1a; 指针的…

LMS4124R-13000S01激光测距仪使用方法【sick LMS4124R-13000S01】

1、下载SOPAS&#xff1a; 点击下载SOPAS 1 SOPAS 自动搜索设备 正常上电及网络连接&#xff0c;打开 SOPAS 自动搜索到 LMS41XXX&#xff0c;并且可以看到其版本号&#xff0c; SN,IP 信息&#xff0c;产品默认 IP 为 192.168.0.1. 2 搜索设备 鼠标双击“LMS41XXX(SN 18460…

15.DMDIS 工具优化

文章目录 前言一、安装部署安装数据源转换作业监控 二、性能优化问题 1 &#xff1a;DMETL 卡顿问题问题 2 &#xff1a;DM -> HIVE 的迁移速度慢问题 3 &#xff1a;ORACLE -> DM 的迁移速度慢问题 4 &#xff1a;GP -> DM 的迁移速度慢问题 5 &#xff1a;DM -> …

AI芯片成本压力影响利润

Supermicro&#xff08;SMCI&#xff09;近日公布的季度业绩低于预期&#xff0c;主要因其生产的最新人工智能&#xff08;AI&#xff09;芯片服务器成本高企&#xff0c;导致经调整后的毛利率未能达到分析师的预期水平。这一消息使得其股价在盘后交易中急剧下跌14%&#xff0c…

江科大/江协科技 STM32学习笔记P19

文章目录 TIM编码器接口编码器接口简介正交编码器编码器接口电路、基本结构工作模式 TIM编码器接口 改写旋转编码器计次程序&#xff0c;通过定时器的编码器接口自动计次&#xff0c;与之前触发外部中断手动计次相比&#xff0c;节约软件资源&#xff0c;当有电机高速旋转时&a…

邮件推送接口如何集成以提升用户通知效率?

邮件推送接口的优化策略有哪些&#xff1f;如何设计邮件API接口&#xff1f; 邮件推送接口的集成在这一过程中发挥了重要作用&#xff0c;能够显著提升用户通知效率。AokSend将探讨如何通过集成邮件推送接口来优化用户通知机制&#xff0c;从而为企业和用户带来更高的价值。 …

Java并发—ReetrantLock详解

目录 一、ReetrantLock的特性 1、非阻塞获取锁 2、带超时的锁获取: 3、锁的公平性 4、锁的可中断性 5、Condition条件变量 6、锁的可重入性 可重入锁 不可重入锁 7、性能优化 二、ReentrantLock和Synchronized的区别 1、语法和使用方式 2、锁的获取和释放 3、高级…

量化方法介绍

一、定义 分类模型量化接口进阶量化支持的模式/流/硬件 二、实现 分类 模型量化接口进阶 https://pytorch.org/docs/stable/quantization-support.html 2.1 算子融合 定义&#xff1a; 将多个算子融合到一起&#xff0c;运算时可以加快运行速度。 import torch # define a…

三星和Nvidia在HBM3E芯片领域的竞争与合作

引言 近期&#xff0c;全球半导体市场的焦点逐渐聚焦在了高带宽内存&#xff08;HBM&#xff09;芯片领域&#xff0c;尤其是三星电子和Nvidia之间的竞争与合作。这两家科技巨头正在为下一代人工智能&#xff08;AI&#xff09;处理器的高性能需求而竞相研发先进的HBM3E存储解决…

模拟面试题1

目录 一、JVM的内存结构&#xff1f; 二、类加载器分为哪几类&#xff1f; 三、讲一下双亲委派机制 为什么要有双亲委派机制&#xff1f; 那你知道有违反双亲委派的例子吗&#xff1f; 四、IO 有哪些类型&#xff1f; 五、Spring Boot启动机制 六、Spring Boot的可执行…

基于MindFormers实现GPT2模型的推理

前言 针对MindFormers的安装&#xff0c;可参考本专栏里的另一篇博客 安装MindFormers&#xff08;昇腾910&#xff09;-CSDN博客 pipeline方式 from mindformers import pipeline from mindformers import GPT2LMHeadModel, GPT2Config, GPT2Tokenizer tok GPT2Tokenizer…

Kafka安装部署+go整合

1、Kafka的安装 1、下载与安装Kafka Kafka官网https://Kafka.apache.org/downloads 所以这里推荐的版本是 : https://archive.apache.org/dist/kafka/2.7.2/kafka_2.12-2.7.2.tgz 将下载下来的安装包直接解压到一个路径下即可完成Kafka的安装&#xff0c;这里统一将Kafka安装…

4种防止模态框弹出时页面滚动的方法

1. Overflow:hidden — 经典方法 overflow:hidden CSS 属性是一种久经考验的防止滚动的方法。只需将一个类&#xff08;例如&#xff0c;no-scroll&#xff09;添加到 <body> 标签&#xff0c;并将其链接到带有 overflow:hidden 的 CSS 规则。 .no-scroll {overflow: h…