【Stable Diffusion】ControlNet基本教程(三)

news2024/11/16 23:50:44

接上篇【Stable Diffusion】ControlNet基本教程(二),本篇再介绍两个ControlNet常见的基本用法,更多用法欢迎关注博主,博主还会更新更多有趣的内容。
3.3更换物体皮肤
有时,我们不想改变物体的轮廓,只想改变物体表面的皮肤,例如,同一种鞋型,我们让它生成不同的鞋子表面的样式
(1)在“图生图(img2img)”中上传(Drop Image Here or Click to Upload)需要更换“皮肤”的 物体图片
在这里插入图片描述
(2)在ControlNet中上传同一张需要处理的图像(Drop Image Here or Click to Upload)
(3)启用ControlNet,在“预处理(Preprocessor)”中选择“canny”或“hed”或“pidinet”,在“模型(Model)”中选择对应的“control_canny”或“control_hed”,值得注意的是在“预处理(Preprocessor)”选择“pidinet”,在“模型(Model)”对应的也是“control_hed”,这三种处理方式,都是对图像的边缘进行检测,根据自己的需求进行选择,可以在下方的“预处理分辨率(Annotator Resolution)”如果选择“hed”,就是“HED Resolution”,作用都是一样的,调节边缘线条,可以点击下方的“预览预处理结果(Preview Annotator Result)”对预处理后的效果进行观察,判断是否做进一步调整,调节参数的位置如图:
在这里插入图片描述
调节后效果实例:
在这里插入图片描述

(4)选择大模型,不同的大模型显示的图像效果不同,可以多试验几个,这里我使用“chilloutmix_NiPrunedFp32Fix”来试验
(5)输入Prompt和Negative prompt词,根据你的需要来输入,比如,你想要“一双蓝色的潮流鞋子”,就可以输入“blue fashionable shoes”,当然,你也可以根据你的需求输入其他的描述词,鞋带的颜色,鞋面有没有涂鸦等等。
(6)如果有其他需要,还可以配合lora等使用
效果如下:
在这里插入图片描述
(大模型:chilloutmix_NiPrunedFp32Fix
描述词:masterpiece, best quality, design sense, blue fashionable shoes)
在这里插入图片描述
(大模型:chilloutmix_NiPrunedFp32Fix
描述词:masterpiece, best quality, design sense, green fashionable shoes)
效果还是蛮不错的!设计师的灵感库、淘宝商家的福音!
3.5室外风景生成
我们想要用特定的颜色随便涂抹几笔就能生成一张好看的风景图片,使用ControlNet的语义分割模型就能实现
(1)使用特定的颜色进行涂抹创作,因为ControlNet使用的模型为ADE20K,颜色所代表的元素对应如下:在这里插入图片描述
或者使用一张真实的风景图片,先进行语义分割,再做进一步处理,值得注意的是,在ControlNet中使用预处理选择segmentation,模型选择control_seg也可以将进行语义分割,但速度相对较慢,效果也不是太好,这里推荐使用:https://huggingface.co/spaces/shi-labs/OneFormer。打开之后:
在这里插入图片描述

如果有兴趣对语义分割以及其他计算机视觉的内容感兴趣,博主将会专门出博文讲一下
这里得到一张语义分割图像:
在这里插入图片描述

(2)在ControlNet中点击启用,上传语义分割图像,在预处理中选择None,在模型中选择control_seg,在Prompt和Negative prompt中加入一些描述词,再选择大模型,有兴趣还可以加入lora,以及其他一些模型、参数,就可以生成室外风景图像了。
图像示例:
在这里插入图片描述
(大模型:realisticVisionV13_v13
描述词:masterpiece, best quality, landscape,morden house, ,scenery, photorealistic, realistic)
在这里插入图片描述
(大模型:chilloutmix_NiPrunedFp32Fix
描述词:masterpiece, best quality, landscape,morden house, ,scenery, photorealistic, realistic)
怎么样,是不是很神奇!下一节,我们将使用ControlNet对人物的动作进行指导,让人物摆出特定的动作,这是ControlNet最神级的操作!这意味着可以自定义姿势,这意味着AI绘图正式进入自主可控的世代!另外,博主还将使用ControlNet展示对建筑/室内图像生成的基本用法。欢迎点赞、关注、收藏支持一波,更多AI绘画教程敬请期待!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/497808.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

毫米波雷达系列 | 传统CFAR检测(均值类)

毫米波雷达系列 | 传统CFAR检测(均值类) 文章目录 毫米波雷达系列 | 传统CFAR检测(均值类)1.CA-CFAR算法2.SO-CFRA算法3.GO-CFAR算法4.仿真对比 CFAR检测器主要用于检测背景杂波环境中的雷达目标,常见的均值类CFAR检测…

数据结构之队列的详解

文章目录 一.什么是队列二.队列的使用2.1 队列的基本操作2.2 队列的基本使用 三.队列的模拟实现3.1 数组实现队列3.2 链表实现队列 四.队列的应用4.1 设计循环队列4.2 设计双端队列4.3 队列实现栈4.4 栈实现队列 五.总结 一.什么是队列 队列是一种先入先出(FIFO)的线性表数据结…

点评项目导入

文章目录 开篇导读项目地址导入SQL项目架构介绍后端项目导入前端项目导入 开篇导读 实战篇我们要学习以下内容 短信登录 这一块我们会使用redis共享session来实现 商户查询缓存 通过本章节,我们会理解缓存击穿,缓存穿透,缓存雪崩等问题&…

力扣刷题Day12

239. 滑动窗口最大值 (此题逻辑真心牛皮) 做此题之前,首先明确此题的目的。我最开始没搞明白此题目的,看代码的时候卡死。 copy他人代码: from collections import dequeclass MyQueue: #单调队列(从大到小def __ini…

6.S081——陷阱部分(一文读懂Xv6系统调用)——xv6源码完全解析系列(5)

0.briefly speaking 这篇博客将要开始尝试阅读和研究与Xv6陷阱机制相关的代码,主要有以下文件,最重要的是结合Xv6 book将Xv6处理陷阱的相关逻辑和流程弄透。在Xv6的语境中所谓陷阱的触发有以下三种情况: 系统调用严重错误(比如除…

windows守护进程工具--nssm使用

一、nssm简介 nssm是一个服务封装程序,它可以将普通exe程序封装成服务,实现开机自启动,同类型的工具还有微软自己的srvany,不过nssm更加简单易用,并且功能强大。 它的特点如下: 支持普通exe程序(控制台程序…

每天看一个fortran文件(7)之寻找cesm边界层高度计算代码

自从我把我的代码移到了单独的F90 中,从tphysac.F90中调用后。我发现有很多的变量我没办法调用了,特别是边界层中原先已经算好的变量,比如说我想调用原来模式中的pblh,但是那是在vertical diffusion.F90中计算的,在tphysac中根本调…

基于springcloud实现的医院信息系统

访问【WRITE-BUG数字空间】_[内附完整源码和文档] 医疗信息就诊系统,系统主要功能按照数据流量、流向及处理过程分为临床诊疗、药品管理、财务管理、患者管理。诊疗活动由各工作站配合完成,并将临床信息进行整理、处理、汇总、统计、分析等。本系统包括以…

以前以为去流量大的部门是好事,能学技术,现在才知道,流量大的部门狗都不去!晚上9点才下班,一天到晚都是监控告警!...

流量大的部门好,还是流量小的部门好? 一位网友说,工作以前以为去流量大的部门是好事,能学技术;工作后才知道,流量大的部门和组,狗都不去!待在流量大的组,晚上9点起步才下…

p71 内网安全-域横向网络传输应用层隧道技术

数据来源 必备知识点: 1、代理和隧道技术区别? 代理:只是解决网络的访问问题(如:有些内网访问不到,可以用代理实现) 隧道:隧道不仅是解决网络的通信问题,更大的作用是绕过过滤&…

菜刀、蚁剑以及冰蝎三款Webshell管理工具简介

今天继续给大家介绍渗透测试相关知识,本文主要内容是菜刀、蚁剑以及冰蝎三款Webshell管理工具简介。 免责声明: 本文所介绍的内容仅做学习交流使用,严禁利用文中技术进行非法行为,否则造成一切严重后果自负! 再次强调&…

YOLO(你只需看一眼)技术通讲(基于论文与开源代码)

YOLO通讲 前言YOLO v1论文及项目地址介绍模型架构统一检测边界框的置信度类置信度 网络设计训练 模型局限总结 YOLO v2模型改进正则化批处理使用高分辨率分类器卷积化锚盒维度聚类 前言 YOLO作为现在目标检测技术中较为基础且流行的技术之一。本文将以开源者的论文与模型为基础…

UE5实现物体高亮描边效果(含UE相关源码浅析)

文章目录 1.实现目标2.实现过程2.1 UE Editor中相关源码2.2 深度值描边2.3 半透明材质处理2.4 遮挡处理2.5 视口边缘处理3.参考资料1.实现目标 在UE5中实现物体边缘高亮效果,且在被遮挡时在边缘显示不同的颜色,当到达视口边缘时,也会将该物体与视口边缘相交的部分高亮。 2.…

纯比例控制为什么会存在稳态误差,用纯增益系统举例

warning: 本文仅为个人思考,非常不严谨甚至可能会出现严重错误,请读者仔细甄别,若本文真的存在严重错误,恳请评论区纠正,我看到将会考虑修改或者删除文章 纯比例控制存在稳态误差是由其本质(控制逻辑&#…

从FPGA说起的深度学习(九)- 优化最终章

这是新的系列教程,在本教程中,我们将介绍使用 FPGA 实现深度学习的技术,深度学习是近年来人工智能领域的热门话题。 在本教程中,旨在加深对深度学习和 FPGA 的理解。 用 C/C 编写深度学习推理代码高级综合 (HLS) 将 C/C 代码转换为…

【在线OJ项目】核心技术之用户提交代码的编译运行

目录 一、认识Java进程编程 二、在线OJ核心思路 三、封装进程的执行 四、封装文件读写 五、封装用户提交代码的编译运行 一、认识Java进程编程 在之前的文章里提到了Java进程编程的相关API【JavaEE】Java中进程编程_1373i的博客-CSDN博客https://blog.csdn.net/qq_6190341…

【代码随想录】刷题Day17

1.AVLTree判断 110. 平衡二叉树 后序遍历的强化理解: 所谓后续遍历,不仅仅是一种遍历,其实它是完成了所有左右子树的递归。后续遍历能将自己所求的值返回给上层节点。这在比较中很关键,举个例子,我们能得到下边节点返…

Makefile教程(Makefile的结构)

文章目录 前言一、Makefile的结构二、深入案例三、Makefile中的一些技巧总结 前言 一、Makefile的结构 Makefile 通常由一系列规则组成,每条规则定义了如何从源文件生成目标文件。每个规则又由目标、依赖和命令三部分组成。 下面是 Makefile 规则的基本结构&…

Matlab官方的两个配色colormap补充包

目录 一、othercolor 1、使用方法 2、图示 二、slanCM 1、使用方法 2、图示 三、从matlab上下的函数如何使用 一、othercolor 下载地址:matlab_othercolor.zip 1、使用方法 不指定获取颜色个数会默认256色,举例获取[163]号彩虹色(rainbow)&…

Java阶段二Day15

Java阶段二Day15 文章目录 Java阶段二Day15复习前日知识点对象数据类型注入数组类型注入集合类型的注入p命名空间引入外部属性文件 基于XML管理beanbean的作用域bean的生命周期代码演示生命周期后置处理器处理展示基于XML的自动装配 基于注解管理bean开启组件扫描使用注解定义B…