‌ComfyUI 高级实战:实现华为手机的AI消除功能

news2024/11/22 16:41:13

大家好,我是每天分享AI应用的萤火君!

不知道大家是否还记得华为 Pura 70的「AI消除」事件,当时使用 华为Pura 70 系列手机的智能消除功能时,该功能可以被用来消除照片中女性胸口处的衣物,这一功能曾引发广泛的关注和伦理担忧‌,后来华为迅速修复了这一问题。

这篇文章就来介绍如何通过 ComfyUI 来实现类似的涂抹消除功能,当然我们也会避免出现之前的争议问题。在之前的文章中,我曾经介绍过普通的局部重绘方式(见:告别人山人海,AI绘画让你的照片更美!),但是经常出现画面融合不太好的问题,需要不断抽卡,本文使用的方法相较之前的普通处理方式会有很大的改善。

效果展示

话不多说,先看几张效果图。

第一张是原图,后边两张是涂抹掉胸口前小熊的图。

使用这个能力,我们还可以用来解决景点拍照时人多过于拥挤的问题,把多余的人P掉就行了。

运行环境

很多同学本地都没有高性能的Nvidia显卡,安装模型插件也经常遇到问题,为了方便大家测试,我在云平台上创建了一个ComfyUI的镜像,已经内置好了常用的插件和模型,可以直接运行本文介绍的工作流,欢迎大家使用:

https://www.haoee.com/applicationMarket/applicationDetails?appId=27&IC=XLZLpI7Q

新用户会赠送一定的额度,可免费使用若干小时,如没有收到,请留言或私信给我。

使用方法

先来整体的看看这个工作流,有个基本的认识。

从左到右,依次介绍下:

重绘区域加遮罩:首先上传一张要重绘的图片,然后在图片上右键,选择“在遮罩编辑器中打开”,用鼠标涂抹需要重绘的区域即可。

加载模型:根据图片风格选择合适的SD基础模型,也可以搭配LoRA。比如照片就选择真实风格的模型,动漫就选择动漫风格的模型。

遮罩预处理:这里最主要的是提取遮罩和Lama内补。提取遮罩是用来告诉模型需要重绘哪些部分;Lama内补是用来对遮罩部分先进行一个简单的抹除重绘,让遮罩部分和周围的图片区域融合的更自然一些,然后我们再把Lama处理后的图片送入下一步SD重绘,得到更好的重绘效果。

Fooocus Inpaint:这块是增强模型的局部重绘能力,有了它,就不需要专门的Inpainting模型了。

遮罩Latent:使用局部重绘时,我们需要把原图和遮罩一起送入潜空间Latent,注意为了更好的涂抹消除,这里的原图是Lama处理之后的图片。

线稿ControlNet:这里使用ControlNet是为了让新生成的部分更好的约束在原有图片的构图中,起到增强控制的效果。

采样和VAE解码:这就是基本的通用操作了。

资源下载

发消息“工作流”到G众\号“萤火遛AI”即可领取这个涂抹消除工作流,另外还包括其它几十个免费的ComfyUI 工作流。

本文用到的模型及存放位置包括:

models/checkpoints/Juggernaut-XL_v9_RunDiffusionPhoto_v2.safetensors

models/inpaint/inpaint_v26.fooocus.patch

models/inpaint/fooocus_inpaint_head.pth

models/lama/big-lama.pt

这些模型都可以通过 Github 和 Huggingface 下载到,如果你下载不方便也可以通过我整理的网盘资源获取,另外还包括 Stable Diffusion WebUI 和 ComfyUI 的全面实战教程,还有更多的高级工作流可以下载,有兴趣的可以点击链接看看:

https://xiaobot.net/post/03340243-9df6-4ea0-bad6-9911a5034bd6

后记

用好 ComfyUI:

  • 首先需要对 Stable Diffusion 的基本概念有清晰的理解,熟悉 ComfyUI 的各种基础操作;
  • 然后需要在实践过程中不断尝试、不断加深理解,提升综合运用各类节点进行创作的能力。

我将在后续文章中持续输出 ComfyUI 的相关知识和热门作品的工作流,帮助大家更快的掌握 ComfyUI,创作出满足自己需求的高质量作品。


以上就是本文的主要内容,如有问题,欢迎留言交流。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2212922.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

OpenAI Canvas最新发布,编程和写作迎来全新史诗级加强!

文章目录 零、前言一、GPT-40 with canvas操作指导写作领域加强建议编辑调整长度阅读水平添加最后的润色添加表情 编程领域加强选中代码问问题添加评论(添加注释)添加日志转换语言代码审查 二、感受 零、前言 最新消息,国庆期间OpenAI有大动…

使用管理员删除垃圾文件

1、先设置为管理员权限 2、执行删除文件命令 使用:del /f /s /q “文件夹位置”例如:del /f /s /q "C:\Program Files (x86)\my_code\.git"

2024深圳秋季糖酒会参会攻略!建议收藏

10月29日-31日,第111届全国糖酒商品交易会将在深圳国际会展中心(宝安)举办。本届糖酒会将邀请来自超四十个国家和地区的超4200家行业厂商和20万国内外专业观众到会交易交流,为食品酒类行业搭建一个集展示、交易、交流、合作于一体…

IP- guard产品版本升级指引详解

一、IP-guard服务器升级步骤 1、下载升级包(IPgUpgrade版本号.zip) 到IP-guard服务器 2、解压升级包,右键以管理员身份运行 (1)“升级包”解压 (2)右键以管理员身份运行“升级包” ࿰

报表工具如何助力企业报表开发?如何选择最适合的报表工具?一篇文章统统解答!

在当今瞬息万变的商业格局中,企业信息化建设已成为驱动业务飞跃与增强核心竞争力的核心引擎。然而,伴随业务数据的井喷式增长,企业在数据治理与价值挖掘方面遭遇了前所未有的挑战。数据孤岛、处理流程冗长、对业务动态调整反应迟缓&#xff0…

Leetcode 分割等和子集

这段代码的目的是解决 LeetCode 416 问题:分割等和子集,即判断一个只包含正整数的数组,是否能够将其分割成两个子集,使得这两个子集的元素和相等。 算法思想(动态规划 - 背包问题) 该问题本质上是一个经典…

Facebook减肥产品广告投放攻略

有不少刚开始投放facebook广告的小伙伴会感到疑惑,为什么别人的减肥产品跑的风生水起,销量羡煞旁人,自己的广告要不就是被拒要不就是没有流量,甚至还可能被封号,如果你也有这样的困扰,那一定要看完这篇文章…

组合式API有什么好处

什么是组合式API? 组合式 API (Composition API) 是一系列 API (响应式API、生命周期钩子、依赖注入)的集合。它不是函数式编程,组合式 API 是以 Vue 中数据可变的、细粒度的响应性系统为基础的,而函数式编程通常强调…

使用Python进行Web开发的15个框架指南

引言 在Python Web开发领域,有许多不同类型的框架可供选择,从轻量级到全功能型,再到专注于异步处理的框架。本文将介绍多个Python Web框架,帮助开发者根据具体需求选择合适的工具。 1.Flask:轻量级Web框架 Flask是一…

【C语言】深入理解指针(三)(下)

本篇文章将讲解以下知识: 1、二维数组传参的本质 2、函数指针变量 3、函数指针数组 1、二维数组传参的本质 有了数组指针的理解,我们就能弄清楚二维数组传参的本质了 例如: 在一维数组中,数组名是数字首元素的地址。但有两个例外…

【进阶OpenCV】 (10)--光流估计--->描绘运动物体轨迹

文章目录 光流估计一、基本原理二、计算步骤三、实现步骤1. 处理第一帧2. 寻找特征点3. 创建全零掩膜4. 流光估计函数介绍5. 主循环处理视频的每一帧5.1 流光估计5.2 绘制轨迹5.3 生成最终图像5.4 更新旧灰度图和旧特征点 6. 释放资源 总结 光流估计 光流估计是计算机视觉中的…

操作系统——磁盘管理

目录 前言基础实例1.1读取磁盘数据计算时间1.2磁盘调度算法1.3单双缓冲区1.4磁盘基础知识 前言 本文简述操作系统中有关磁盘的相关知识点,作为软件设计师考试资料复习 基础 磁盘管理是指对计算机中的磁盘进行有效地管理和使用的过程。磁盘管理包括以下方面&#…

软件测试工程师面试整理 —— 操作系统与网络基础!

在软件测试中,了解操作系统和网络基础知识对于有效地进行测试工作至关重要。无论是在配置测试环境、调试网络问题,还是在进行性能测试和安全测试时,这些知识都是不可或缺的。 1. 操作系统基础 操作系统(Operating System, OS&am…

【Redis】网络模型(day10)

在本篇文章中,主要是对五种网络模型进行一个简单的介绍,然后对Redis4.0和6.0的网络模型进行一个概述。 用户空间和内核空间 在Linux系统上,分为用户空间、内核空间和硬件设备。硬件设备主要包括CPU、内存、网卡等物体,内核应用去…

垃圾回收器和垃圾回收机制(简单介绍,用于回忆总结)

文章目录 垃圾回收机制1. 分代收集2. 标记复制3. 标记清除4. 标记压缩(整理) 垃圾回收器1. Serial / Serial Old2. Parallel Scavenge3. ParNew收集器4. CMS收集器5. G1收集器 参考链接 垃圾回收机制 1. 分代收集 分代收集(Generational Co…

吉时利KEITHLEY 2657A源表keithley2651A数字源表

Keithley 2657A 源表是一款高电压、高功率、低电流源测量单元 (SMU) 仪器,可提供前所未有的功率、精度、速度、灵活性和易用性,以提高研发、生产测试和可靠性环境中的生产力。 Keithley 2657A SourceMeter 仪器专门设计用于表征和测试高压电子器件和功率…

【隐私计算篇】一种批量匿踪查询友好算法PIRANA的原理分析

1. 背景分析 前段时间开展了批量匿踪查询算法迭代优化的工作,取得了一些进展。不得不说,甲方爸爸永远会提出非常有挑战性的目标,push你去想各种解决方案。在实际的算法研发落地上,我们会结合算法本身的机制改进以及工程优化这两方…

力扣hot100--二叉树

目录 二叉树 1. 94. 二叉树的中序遍历 2. 98. 验证二叉搜索树 3. 101. 对称二叉树 二叉树 1. 94. 二叉树的中序遍历 给定一个二叉树的根节点 root ,返回 它的 中序 遍历 。 示例 1: 输入:root [1,null,2,3] 输出:[1,3,2]示…

[ComfyUI]最好用的图像提示词反推工具发布 2.0 版本啦!更好用了!

图像提示词反推工具我也介绍了好一些了,但是架不住技术一直在迭代啊!过一段时间就出一个新的,或者是升级版,所以我们的分享也不能停! 前段时间 joy_caption 蛮火的,不过后来也陆陆续续出了一些比较好用的反…

JMeter性能测试时,如何做CSV参数化

在现代软件开发中,性能测试是保证应用程序在高负载条件下稳定运行的重要环节。为了实现真实场景的测试,参数化技术应运而生。其中,CSV参数化是一种高效且灵活的方法,可以让测试人员通过外部数据文件驱动测试脚本,从而模…