ComfyUI 完全入门:Refiner精炼器

news2024/11/8 6:01:56

在 SDXL基础模型1.0版本发布时,Stability AI 公司同时发布了一个名为SDXL Refiner的模型。这个Refiner模型是专门设计用来对基础模型生成的图像进行进一步优化和细化的,所以大家也经常称之为精炼器或者精修器。

Refiner模型的主要目的是提升图像的质量,使其在细节和整体视觉效果上更加出色。它可以对生成的图像进行额外的处理,修正一些可能存在的瑕疵,增强图像的锐度和清晰度,以及改进颜色和纹理的表现。

通过结合基础模型和Refiner模型,用户能够生成高质量、细节丰富的图像,适用于各种应用场景,如艺术创作、设计、广告等。这种两阶段的生成过程有助于克服单一模型可能存在的局限性,提供更为精细和高质量的图像输出。

这篇文章我们就来看下如何在ComfyUI中使用Refiner模型。

ComfyUI的安装部署

工欲善其事,必先利其器。要在ComfyUI中学习使用Refiner,大家至少也要有个ComfyUI环境吧。

我这里给大家提供两种使用方式:

一是本地部署,不过这需要你手里有一块牛X的Nvidia显卡,能访问外网,还要懂点技术能执行命令。

二是使用云环境镜像,我在AutoDL和京东云上创建了两个镜像,可以一键开启,直接使用内置的若干常见工作流,618期间各个平台都有优惠活动,喜欢的同学不要错过了。

使用Refiner模型

我们先来大概看下使用Refiner模型的工作流张什么样子(工作流下载见文末),如下图所示:

这个例子中的节点并不多,下边我给大家逐块分析下。

首先看左边这几个节点,这里边主要是Stable Diffusion基础模型的加载和提示词的编码。

Checkpoint加载器(简易) :这里使用了两个加载器,因为我们先要使用base模型生成一张差不多的图片,然后再使用refiner模型将这张照片细化。

Primitive元节点:这里我们使用两个元节点来承载正向提示词和反向提示词,之前我们都是在“CLIP文本编码器”中输入提示词,为什么现在要使用“Primitive元节点”呢?因为要使用两个模型来生成图片,而且是为了生成同一张图片,那提示词就得用相同的才对;同时为了避免重复编写提示词,我们就需要一种共享节点,这类节点可以输出字符串,我们可以把这类节点的输出连接到多个不同的“CLIP文本编码器”,从而实现提示词的共享。

Primitive元节点怎么创建的? 有些同学可能还不理解Primitive元节点,这里做个简单介绍。Primitive元节点即可以承载字符串,也可以承载数字,我们可以在工作区域中空白的地方,使用鼠标左键双击,搜索“元节点”进行创建;或者点击鼠标右键,在“新建节点”->“实用工具”中找到它。

新创建的Primitive元节点比较寒酸,只有一个输出点,我们只要把它连接到其它节点的输入点,Primitive元节点就会华丽变身,根据连接点的数据类型,Primitive元节点会生成不同类型的输入框,如下图所示:

CLIP文本编码器:CLIP文本编码器是将提示词编码为Stable Diffusion模型生成图片时可以理解的数字格式的条件,默认情况下,这些节点是可以直接输入提示词的,我这里对它们进行了一个小的改造,将文本框变成了输入点,以便于共享提示词。因为不同SD模型中的CLIP编码方式存在差别,要实现精确的控制,我们就需要为提示词在每个模型下使用各自的文本编码器,所以这里有四个文本编码器,分别对应到两个模型的正、负提示词。

输入框转换为输入点:有些同学可能还不会,这里啰嗦一下。过程很简单,大家只需要在对应的节点上点击右键,在弹出菜单中找到“转换为输入”,然后继续选择要转换为输入点的输入框即可。所有带输入框的节点都可以通过这种方式进行转换。

我们再来看下右边这几个节点,包括:Latent空间、采样器、解码器等。

空Latent:Stable Diffusion能够使用较小的资源(显存和计算量)生成图片,其中的功臣之一就是Latent。Latent是潜空间的意思,比如为了生成一张宽高为512_512的图片,Stable Diffusion在内部会使用一个较小的空间来生成,比如64_64,然后再解码到512*512,直接减小了64倍的空间使用。为了从文本生成图片,我们需要定义这样一个空的Latent,宽度和高度设置为最终的图片宽高,真正生成时程序内部会选择合适的潜空间大小。

K采样器:这里用了两个,并且把它们连接了起来。前边我们说过,使用Refiner模型时,先使用基础模型生成大部分,然后再使用Refiner模型精修。Stable Diffusion所谓的生成,就是采样,最开始是一张随机噪音的图片(就像电视没有信号时的雪花图像),然后通过不断的采样,保留需要的内容,去除不要的内容,最终产生一张清晰的图片。

注意两个地方:

  • 两个采样器中的开始降噪步数和结束降噪步数的值的设置,总共30步,前边24步使用基础模型,后边6步使用Refiner模型。
  • 前边采样器的“返回噪波”设置为enable,这样采样器就不会完全去噪,输出的Latent就保留了部分噪音,把它连接到后一个采样器的Latent输入,继续去噪(采样)。不过后边的采样器采样时也可以继续添加噪音,大家可以试试“返回噪波”设置为disable。

VAE解码: 前边已经提过,Stable Diffusion是在潜空间中去噪采样的,最终输出像素图片时还需要解码,一般SD基础模型都自带解码器,看这里模型加载器会输出一个VAE。

我们也可以手动设置一个解码器,注意解码器需要和SD基础模型匹配。

解码之后,我们就可以把图片保存和展示出来了。


以上就是本文的主要内容。

用好 ComfyUI:

  • 首先需要对 Stable Diffusion 的基本概念有清晰的理解,熟悉 ComfyUI 的基本使用方式;
  • 然后需要在实践过程中不断尝试、不断加深理解,逐步掌握各类节点的能力和使用方法,提升综合运用各类节点进行创作的能力。

如何系统的去学习大模型LLM ?

作为一名热心肠的互联网老兵,我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来

😝有需要的小伙伴,可以V扫描下方二维码免费领取🆓

一、全套AGI大模型学习路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

img

二、640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

在这里插入图片描述

四、AI大模型商业化落地方案

img

阶段1:AI大模型时代的基础理解

  • 目标:了解AI大模型的基本概念、发展历程和核心原理。
  • 内容
    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2:AI大模型API应用开发工程

  • 目标:掌握AI大模型API的使用和开发,以及相关的编程技能。
  • 内容
    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.2.1 什么是Prompt
    • L2.2.2 Prompt框架应用现状
    • L2.2.3 基于GPTAS的Prompt框架
    • L2.2.4 Prompt框架与Thought
    • L2.2.5 Prompt框架与提示词
    • L2.3 流水线工程
    • L2.3.1 流水线工程的概念
    • L2.3.2 流水线工程的优点
    • L2.3.3 流水线工程的应用
    • L2.4 总结与展望

阶段3:AI大模型应用架构实践

  • 目标:深入理解AI大模型的应用架构,并能够进行私有化部署。
  • 内容
    • L3.1 Agent模型框架
    • L3.1.1 Agent模型框架的设计理念
    • L3.1.2 Agent模型框架的核心组件
    • L3.1.3 Agent模型框架的实现细节
    • L3.2 MetaGPT
    • L3.2.1 MetaGPT的基本概念
    • L3.2.2 MetaGPT的工作原理
    • L3.2.3 MetaGPT的应用场景
    • L3.3 ChatGLM
    • L3.3.1 ChatGLM的特点
    • L3.3.2 ChatGLM的开发环境
    • L3.3.3 ChatGLM的使用示例
    • L3.4 LLAMA
    • L3.4.1 LLAMA的特点
    • L3.4.2 LLAMA的开发环境
    • L3.4.3 LLAMA的使用示例
    • L3.5 其他大模型介绍

阶段4:AI大模型私有化部署

  • 目标:掌握多种AI大模型的私有化部署,包括多模态和特定领域模型。
  • 内容
    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

学习计划:

  • 阶段1:1-2个月,建立AI大模型的基础知识体系。
  • 阶段2:2-3个月,专注于API应用开发能力的提升。
  • 阶段3:3-4个月,深入实践AI大模型的应用架构和私有化部署。
  • 阶段4:4-5个月,专注于高级模型的应用和部署。
这份完整版的大模型 LLM 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

😝有需要的小伙伴,可以Vx扫描下方二维码免费领取🆓

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1819328.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Linux进程间通信---使用【共享内存+信号量+消息队列】的组合来实现服务器进程与客户进程间的通信

IPC结合实现进程间通信实例 下面将使用【共享内存信号量消息队列】的组合来实现服务器进程与客户进程间的通信。 共享内存用来传递数据;信号量用来同步;消息队列用来 在客户端修改了共享内存后通知服务器读取。 server.c:服务端接收信息 …

【机器学习】新网络环境docker实战:AI智能体平台DIFY部署与升级

目录 一、引言 二、Dify在dockerhub被禁用后,如何部署、升级 2.1 网络及硬件条件 2.2 docker部署、升级方案 三、总结 一、引言 关于dify,之前力推过,大家可以跳转 AI智能体研发之路-工程篇(二):Dify…

Spring Boot整合hibernate-validator实现数据校验

文章目录 概念基本概念常用校验注解 前置内容整合Hibernate Validator快速入门优雅处理参数校验异常其余注解校验自定义校验注解 参考来源 概念 基本概念 Hibernate Validator 是一个参数校验框架,可以非常方便地帮助我们校验应用程序的入参,实现了参数…

App UI 风格展现非凡创意

App UI 风格展现非凡创意

基于 Python 解析 XML 文件并将数据存储到 MongoDB 数据库

1. 问题背景 在软件开发中,我们经常需要处理各种格式的数据。XML 是一种常用的数据交换格式,它可以存储和传输结构化数据。很多网站会提供 XML 格式的数据接口,以便其他系统可以方便地获取数据。 我们有这样一个需求:我们需要从…

Maven认识与学习

1. Maven介绍 1.2 初识Maven 1.2.1 什么是Maven Maven是Apache旗下的一个开源项目,是一款用于管理和构建java项目的工具。 官网:Maven – Welcome to Apache Maven Apache 软件基金会,成立于1999年7月,是目前世界上最大的最受…

13600KF+3060Ti,虚拟机安装macOS 14,2024年6月

距离上次装macOS虚拟机已经有一段时间了,macOS系统现在大版本升级的速度也是越来越快了,由于Office只支持最新三个版本的macOS,所以现在保底也得安装macOS 12了,我这次是用macOS 14做实验,13和12的安装方式和macOS 14一…

“人事助理转产品经理”历险记

​好久没写就业喜报了 去年太忙,年后了,必须给大家把同学们就业的情况梳理一下分享出来。希望对大家有所帮助。 同学档案 原岗位:HR 地点:西安 工作年限:2年 转岗级别:中级产品经理 转岗工资&#xff1…

【Android】Android系统性学习——Android系统架构

前言 部分内容参考《Android进阶解密》 – 刘望舒 1. Android版本 官方链接:https://developer.android.com/studio/releases/platforms 里面有各个版本的官方文档,有些新功能的用法在这里面。 现在做安卓11,有时候需要向下兼容 2. AOSP …

做了2年前端,盘点前端技术栈!大佬轻喷~

前言 自己写了快两年前端,但是大致总结一下哈哈哈哈我觉得这个话题蛮有意思的,可以看看大家的技术广度,可以进行分享和学习以及讨论所以这里说一下我对我的前端技术,做一下盘点和总结因为我的开发年限有限,所以我觉得…

CSS 字体颜色渐变

CSS 字体颜色渐变 css 代码: 注意:background: linear-gradient(属性),属性可以调整方向 例如:to bottom 上下结构,to right 左右结构font-family: DIN, DIN;font-weight: normal;font-size: 22px;color:…

openlayers 绘图功能,编辑多边形,select,snap组件的使用(六)

本篇介绍一下vue3-openlayers的select,snap的使用 1 需求 点击开始绘制按钮开始绘制多边形,可以连续绘制多个多边形点击撤销上步按钮,撤销上一步绘制点绘制多个多边形(或编辑多边形时),鼠标靠近之前的已绘…

Vue3【二十二】Vue 路由模式的嵌套路由和用query给组件的RouterLink传参

Vue3【二十二】Vue 路由模式的嵌套路由和用query给组件传参 Vue3【二十二】Vue 路由模式的嵌套路由和用query给组件传参 RouterLink 的两种传参方法 RouterView 案例截图 目录结构 代码 index.ts // 创建一个路由器,并暴漏出去// 第一步:引入createRou…

0613#111. 构造二阶行列式

时间限制&#xff1a;1.000S 空间限制&#xff1a;256MB 题目描述 小欧希望你构造一个二阶行列式&#xff0c;满足行列式中每个数均为不超过 20 的正整数&#xff0c;且行列式的值恰好等于x。你能帮帮她吗? 输入描述 一个正整数x。-1000 < x < 1000 输出描述 如果…

商家转账到零钱最全面攻略:申请、使用、注意事项等详解

一、微信商家转账到零钱功能概述 微信支付作为国内最大社交软件的增值服务&#xff0c;在商业活动中广泛使用。其开发的营销功能“商家转账到零钱”则允许商家直接将资金转入用户的微信钱包&#xff0c;操作简便快捷。本文将详细探讨此功能的使用条件、操作步骤以及解答一些常…

如何通过 6 种方法从 iPhone 恢复已删除的文件

想知道如何从 iPhone 恢复已删除的文件吗&#xff1f;本文将指导您如何从 iPhone 恢复数据&#xff0c;无论您是否有 iTunes/iCloud 备份。 iPhone 上已删除的文件去哪儿了&#xff1f; 许多 iPhone 用户抱怨他们经常丢失 iPhone 上的一些重要文件。由于意外删除、iOS 更新失败…

遇到JSON文件就头大?掌握Python这几种方法,让你轻松应对

目录 1、标准库json模块 📄 1.1 json.load()函数介绍 1.2 json.loads()处理字符串 1.3 使用json.dump()写入JSON 1.4 json.dumps()美化输出 1.4 错误处理与编码问题 1.5 高效读取大文件技巧 2、第三方库simplejson加持 🔧 2.1 安装与导入simplejson 2.2 性能优势与…

韩国版AlphaFold?深度学习模型AlphaPPIMd:用于蛋白质-蛋白质复合物构象集合探索

在生命的舞台上&#xff0c;蛋白质扮演着不可或缺的角色。它们是生物体中最为活跃的分子&#xff0c;参与细胞的构建、修复、能量转换、信号传递以及无数关键的生物学功能。同时&#xff0c;蛋白质的结构与其功能密切相关&#xff0c;而它们的功能又通过与蛋白质、多肽、核苷酸…

node调试

vscode安装插件&#xff1a;JavaScript Debugger (Nightly) 点击后生成一个launch.json文件 打断点&#xff0c;并发送一个请求来执行代码到断点处 按右上的向下箭头&#xff0c;进入源码&#xff0c;进行查看&#xff0c;左边查看变量等值

护眼台灯攻略:护眼台灯真的有用吗?

当前&#xff0c;近视问题在人群中愈发普遍&#xff0c;据2024年的统计数据显示&#xff0c;我国儿童青少年的总体近视率已高达52.7%。近视的人越来越多&#xff0c;近视背后还潜藏着视网膜脱离、白内障、开角型青光眼等眼部疾病&#xff0c;严重的情况甚至可能引发失明。长时间…