AIGC-文生图与图生图

news2025/4/15 19:01:08

在之前的文章中,我们知道了如何通过Web UI和Confy UI两种SD工具来进行图片生成,今天进一步地讲解其中的参数用处及如何调节。

文生图

参数详解

所谓文生图,就是通过文字描述我们想要图片包含的内容。初学的话,还是以Web UI为例来看看,在整个过程中,涉及到了哪些参数,以及我们可以做哪些事情来调整最后的效果。
请添加图片描述
我们先来看看上面标记的5个位置:
1、Stable Diffusion模型:这是生成图片的基石,目前该模型也有很多版本,比如SD1.0、SD1.5、SD2.0、SDXL、SD3.0、SD3.5等,可以根据我们自己的需要选择。不过目前基本不会用最原始的版本,而是使用在该模型上经过微调后的模型,图中的anything-v5模型就是在SD1.5原始模型上微调过。
2、外挂VAE模型:可以将原始图片空间映射到低维空间,减少显存占用率。使用VAE模型,可以让生成的图像颜色更鲜艳、细节更锐利,在一定程度上改善局部细节的生成质量。目前很多大模型已经自带VAE了,不需要我们手动选择,除非作者在模型发布页面着重提到需要外挂的VAE模型。
3、文生图:这是核心功能区域,可以看到其后面还有各种各样的功能模块,比如图生图、后期处理等,我们需要用到哪一部分,就点击该选项即可。
4、正向提示词:用来描述我们想要生成的图像呈现的效果,提示词框下面是已经内置的一些提示词,方便我们快速设置。
5、负向提示词:用来描述我们不想要图像呈现的效果,和正向提示词一样,也有一些内置的提示词。
请添加图片描述

然后再看看剩下标记的10个位置(均处于生成选项栏,其余的后续会介绍):
1、采样方法:决定如何从噪声图像估计无噪声的图像,直接影响生成图像的速度、质量及风格,目前内置了数十种采样方法,需要依据我们想要实现的效果进行选择。
2、调度类型:控制扩散模型中去噪的时间步和噪声的分布,和采样方法共同决定了最后呈现的图像效果。
3、迭代步数:步数越少,生成速度越快,但是细节可能不足,步数越多,细节更丰富,但是计算量更大。
4、高分辨率修复:默认不开启,开启后会在文生图之后,先对生成的图像放大相应的倍数,然后对放大后的图像重绘以添加更多的细节。
5、Refiner:默认不开启,开启后会在文生图之后,借助refiner模型提升分辨率,进一步优化和改进生成的图像质量。
6、宽度和高度:控制最后生成的图像大小。
7、总批次数:控制同参数下进行文生图的批次数。
8、单批数量:控制同参数下单批次生成的图像数目。
9、提示词引导系数:控制我们的正向、负向提示词对于图像的影响程度,数值越大越会限制模型的创意。
10、随机数种子:决定了生成图像时的随机性,默认为-1,表示每次生成图像都是随机状态,也可以直接填写一个数值,那么后续生成图像时都会参考这个种子,以便最大限度地保证结果一致。
了解了基本功能后,我们再着重讲讲模型选择、提示词书写、采样方法与调度类型的选择这三个方面,其他设置大家可以多尝试一下。

如何选择模型

目前大家用的比较多的模型可以分为三类:

  • 二次元类模型:Anything V5、Counterfeit V2.5、Dreamlike Diffusion。
  • 真实性模型:Deliberate、Realistic Vision、LOFI。
  • 2.5D模型:Never Ending Dream、Protogen、国风3。

假如我们的正向提示词为:a girl, cute,负向提示词不写,生成的选项如下所示:
请添加图片描述

分别采用Anything V5、Deliberate、国风3模型得到的效果如下。
Anything V5效果图
Deliberate效果图
国风3模型

如何书写提示词

模型选择好之后,我们再来看看如何书写好的提示词(参考了B站Nenly同学教学),在实际使用中,可以将其分为两大类:

  • 内容型提示词
  • 标准化提示词

所谓内容型提示词,就是指我们想要呈现的画面内容,可以从四个角度书写:

  • 人物及主体特征:服饰穿搭(white dress)、发型发色(long hair)、五官特点(small eyes)、面部表情(smilling)、肢体动作(stretchinig arms)。
  • 场景特征:室内室外(indoor、outdoor)、大场景(forest、city、street)、小细节(tree、bush、white flower)。
  • 环境光照:白天黑夜(day、night)、特定时段(morning、sunset)、光环境(sunlight、bright)、天空(blue sky)。
  • 画幅视角:距离(close-up)、人物比例(full body、upper body)、观察视角(from above)、镜头类型(wide angle)。
    而标准化提示词,则可从两个角度书写:
  • 画质提示词:通用高画质(best quality、masterpiece、8k)、特定高分辨率类型(unreel engine rendered)。
  • 画风提示词:插画风(illustration、painting)、二次元(anime、comic)、写实系(realistic)。

另外提示词还有一些特殊的写法:

  • 权重分配
    • 括号加数字: ( w h i t e f l o w e r : 1.5 ) (white flower:1.5) (whiteflower:1.5)代表权重调整为以前的1.5倍。
    • 套括号
      • 圆括号:每套一层,权重调整为之前的1.1倍, ( ( ( w h i t e f l o w e r ) ) ) (((white flower))) (((whiteflower)))为以前的1.331倍。
      • 大括号:每套一层,权重调整为之前的1.05倍, w h i t e f l o w e r {{{white flower}}} whiteflower为以前的1.15倍。
      • 方括号:每套一层,权重调整为之前的0.9倍, [ [ [ w h i t e f l o w e r ] ] ] [[[white flower]]] [[[whiteflower]]]为以前的0.729倍。
  • 混合:混合两个描述同一对象的提示词要素, w h i t e ∣ y e l l o w f l o w e r white | yellow flower whiteyellowflower生成黄白相混合的花。
  • 迁移:连续生成具有多个不同特征的对象, [ w h i t e ∣ r e d ∣ y e l l o w ] f l o w e r [white|red|yellow] flower [whiteredyellow]flower先生成白花,再生成红花,最后生成黄花。
  • 迭代:与采样过程关联,一定阶段以后再生成特定对象, ( w h i t e f l o w e r : b u s h : 0.8 ) (white flower:bush:0.8) (whiteflower:bush:0.8)进程达到80%以前生成黄色的花,之后再生成灌木。

如何选择采样方法和调度类型

除了模型和提示词之外,采样方法和调度类型也极大地影响了生成图像的质量,SD提供了多种采样器,不同采样器生成图像的细节、风格和速度各有特点。以下是常见的采样器及其特点:
请添加图片描述

当我们选择采样方法的时候,可以先依据下面的技巧:

  • 快速测试:选择 DDIMEuler,可以快速生成图像,便于调整参数。
  • 写实风格图像:选择 LMSDPM++ 2M Karras,能生成细节丰富、清晰的图像。
  • 艺术风格图像:选择 Euler aPLMS,可以生成带有艺术风格的多样化图像。
  • 高分辨率图像:选择 DPM++ 系列UniPC,可以更好地处理细节和边缘。

同样地,不同的调度类型也有自己的特点,下面是几种常见的调度器对比:
请添加图片描述
当我们选择调度器的时候,也可以先依据下面的技巧:

  • 高分辨率图像生成:选择 Karras 调度器,能更好地优化细节。
  • 快速生成任务:选择 Linear 调度器,简单高效。
  • 平滑细腻图像:选择 Cosine 调度器,能提升艺术风格图像的质量。

不过大多数情况下,我们将调度类型设置为Automatic即可。

图生图

上面已经介绍完了文生图,我们再看看图生图,实际上它俩最大的区别有两个地方:

  • 图生图需要事先上传一个图片,作为后续生成的参照。
  • 除了提示词引导系数外,还有个重绘幅度,用于控制参照图片的影响程度。
    请添加图片描述
    请添加图片描述
    我们使用Anything V5模型,正向提示词和之前保持不变,仍然是a girl, cute,生成选项也与之前保持不变,上传一张照片:

请添加图片描述

然后点击生成,可以看到与原图相比,保留的元素不多,更多是模型自由发挥:
请添加图片描述

但如果我们把重绘幅度调到0.5,生成出来的图则保持了原图更多的元素:
请添加图片描述

总结

本篇文章介绍了SD中文生图和图生图的基本用法,相信阅读后大家对于SD都有个基本的了解,剩下的就是多去实操,在这个去中心化时代,每个人都可以成为不可忽略的重要节点。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2334472.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

量化交易 - 聚宽joinquant - 多因子入门研究 - 源码开源

先看一下我们的收益: JoinQuant直达这里看看 下面讲解原理和代码。 目录 一、是否为st 二、是否停牌 三、市值小、roe大 四、编写回测代码 今天来研究一下多因子回测模型,这里以‘市值’、‘roe’作为例子。 几个标准:沪深300里选股&am…

FPGA 37 ,FPGA千兆以太网设计实战:RGMII接口时序实现全解析( RGMII接口时序设计,RGMII~GMII,GMII~RGMII 接口转换 )

目录 前言 一、设计流程 1.1 需求理解 1.2 模块划分 1.3 测试验证 二、模块分工 2.1 RGMII→GMII(接收方向,rgmii_rx 模块) 2.2 GMII→RGMII(发送方向,rgmii_tx 模块) 三、代码实现 3.1 顶层模块 …

上篇:《排序算法的奇妙世界:如何让数据井然有序?》

个人主页:strive-debug 排序算法精讲:从理论到实践 一、排序概念及应用 1.1 基本概念 **排序**:将一组记录按照特定关键字(如数值大小)进行递增或递减排列的操作。 1.2 常见排序算法分类 - **简单低效型**&#xff…

红宝书第三十四讲:零基础学会单元测试框架:Jest、Mocha、QUnit

红宝书第三十四讲:零基础学会单元测试框架:Jest、Mocha、QUnit 资料取自《JavaScript高级程序设计(第5版)》。 查看总目录:红宝书学习大纲 一、单元测试是什么? 就像给代码做“体检”,帮你检查…

CST1019.基于Spring Boot+Vue智能洗车管理系统

计算机/JAVA毕业设计 【CST1019.基于Spring BootVue智能洗车管理系统】 【项目介绍】 智能洗车管理系统,基于 Spring Boot Vue 实现,功能丰富、界面精美 【业务模块】 系统共有三类用户,分别是:管理员用户、普通用户、工人用户&…

HTTP:五.WEB服务器

web服务器 定义:实现提供资源或应答的提供者都可以谓之为服务器!web服务器工作内容 接受建立连接请求 接受请求 处理请求 访问报文中指定的资源 构建响应 发送响应 记录事务处理过程 Web应用开发用到的一般技术元素 静态元素:html, img,js,Css,SWF,MP4 动态元素:PHP,…

0基础 | 硬件滤波 C、RC、LC、π型

一、滤波概念 (一)滤波定义 滤波是将信号中特定波段频率滤除的操作,是抑制和防止干扰的重要措施。通过滤波器实现对特定频率成分的筛选,确保目标信号的纯净度,提升系统稳定性。 (二)滤波器分…

图论基础理论

在我看来,想要掌握图的基础应用,仅需要三步走。 什么是图(基本概念)、图的构造(打地基)、图的遍历方式(应用的基础) 只要能OK的掌握这三步、就算图论入门了!&#xff0…

企业级低代码平台的架构范式转型研究

在快速迭代的数字时代,低代码平台如同一股清流,悄然成为开发者们的新宠。 它利用直观易用的拖拽式界面和丰富的预制组件,将应用程序的开发过程简化到了前所未有的程度。通过封装复杂的编程逻辑和提供强大的集成能力,低代码平台让…

怎么免费下载GLTF/GLB格式模型文件,还可以在线编辑修改

​ 现在非常流行glb格式模型,和gltf格式文件,可是之类模型网站非常非常少 1,咱们先直接打开http://glbxz.com 官方glb下载网站 glbxz.com 2 可以搜索,自己想要的模型关键词 3,到自己想下载素材页面 4,…

大模型到底是怎么产生的?一文揭秘大模型诞生全过程

前言 大模型到底是怎么产生的呢? 本文将从最基础的概念开始,逐步深入,用通俗易懂的语言为大家揭开大模型的神秘面纱。 大家好,我是大 F,深耕AI算法十余年,互联网大厂核心技术岗。 知行合一,不写水文,喜欢可关注,分享AI算法干货、技术心得。 【专栏介绍】: 欢迎关注《…

2025年3月 Scratch图形化三级 真题解析 中国电子学会全国青少年软件编程等级考试

2025年3月Scratch图形化编程等级考试三级真题试卷 一、选择题 第 1 题 默认小猫角色,scratch运行程序后,下列说法正确的是?( ) A.小猫的颜色、位置在一直变化 B.小猫在舞台中的位置在一直变化,颜色…

【贪心之摆动序列】

题目: 分析: 这里我们使用题目中给的第二个实例来进行分析 题目中要求我们序列当中有多少个摆动序列,摆动序列满足一上一下,一下一上,这样是摆动序列,并且要输出摆动序列的最长长度 通过上面的图我们可以…

0x25广度优先搜索+0x26广搜变形

1.一般bfs AcWing 172. 立体推箱子 #include<bits/stdc.h> using namespace std; int n,m; char s[505][505]; int vis[3][505][505]; int df[3][4]{{1,1, 2,2},{0,0,1,1}, {0,0,2,2}}; int dx[3][4]{{0,0,1,-2},{0,0,1,-1},{2,-1,0,0}}; int dy[3][4]{{1,-2,0,0},{2,…

java面向对象02:回顾方法

回顾方法及加深 定义方法 修饰符 返回类型 break&#xff1a;跳出switch和return的区别 方法名 参数列表 package com.oop.demo01;//Demo01类 public class Demo01 {//main方法public static void main(String[] args) {}/*修饰符 返回值类型 方法名(...){//方法体return…

数据结构day05

一 栈的应用&#xff08;括号匹配&#xff09; 各位同学大家好&#xff0c;在之前的小结中&#xff0c;我们学习了栈和队列这两种数据结构&#xff0c;那从这个小节开始&#xff0c;我们要学习几种栈和队列的典型应用。这个小节中&#xff0c;我们来看一下括号匹配问题&#xf…

windows中搭建Ubuntu子系统

windows中搭建虚拟环境 1.配置2.windows中搭建Ubuntu子系统2.1windows配置2.1.1 确认启用私有化2.1.2 将wsl2设置为默认版本2.1.3 确认开启相关配置2.1.4重启windows以加载更改配置 2.2 搭建Ubuntu子系统2.2.1 下载Ubuntu2.2.2 迁移位置 3.Ubuntu子系统搭建docker环境3.1安装do…

ImgTool_0.8.0:图片漂白去底处理优化工具

ImgTool_0.8.0 是一款专为Windows设计的‌免费、绿色便携式图片处理工具‌&#xff0c;支持 Windows 7/8/10/11 系统‌。其核心功能为‌漂白去底‌&#xff0c;可高效去除扫描件或手机拍摄图片中的泛黄、灰底及阴影&#xff0c;同时提供智能纠偏、透视校正等辅助功能&#xff0…

BGP路由协议之对等体

IGP 可以通过组播报文发现直连链路上的邻居&#xff0c;而 BGP 是通过 TCP&#xff1a;179 来实现的。BGP 需要手工的方式去配置邻居。不需要直连&#xff0c;只要路由能通就可以建立邻居 IBGP 与 EBGP IBGP :(Internal BGP) :位于相同自治系统的 BGP 路由器之间的 BGP 邻接关…

esp32cam远程图传:AI Thinker ESP32-CAM -》 服务器公网 | 服务器 -》 电脑显示

用AI Thinker ESP32-CAM板子访问公网ip的5112端口并上传你的摄像头拍摄的图像视频数据&#xff0c;并写一段python程序打开弹窗接受图像实现超远程图像传输教程免费 1. 首先你要有一个公网ip也就是去买一台拥有公网的服务器电脑&#xff0c;我买的是腾讯云1年38元的服务器还可…