PowerPaint：强大扩图编辑工具，兼具上下文感知和文本引导对象修复，ComfyUI体验指南

news2024/7/4 4:40:51

大家好我是极客菌！

ComfyUI扩图编辑工具，是一款功能强大的图像编辑软件，集成了多种先进的图像处理技术和创意工具。无论你是想要放大图像、修复图像中的缺陷，还是想要实现上下文感知和文本引导对象修复，ComfyUI都能轻松应对。这一工具的出现，为图像编辑和创作带来了极大的便利。

PowerPaint 是一款由清华大学和上海人工智能实验室共同合作的首个多功能图像修复模型，能够在各种修复任务中取得了先进的结果，如文本引导的对象修复、上下文感知图像修复、可控形状拟合的形状引导对象修复和外部绘制。

为了克服实现高质量的多功能图像修复（根据用户意图用合理内容填充用户指定的区域）这一挑战，研究团队引入了 PowerPaint方法，这是首个在同时处理上下文感知图像修复和文本引导对象修复两个任务重都表现出色的高质量多功能修复模型。

• 首先，引入了可学习的任务提示以及定制的微调策略，明确引导模型关注不同的修复目标。这使得 PowerPaint 能够通过使用不同的任务提示完成各种修复任务，从而实现优秀的性能。
• 其次，通过展示任务提示在 PowerPaint 中的有效性，作为对象移除的负面提示，展示了任务提示的多功能性。此外，研究团队还利用提示插值技术实现可控的形状引导对象修复。
• 最后，在各种修复基准上广泛评估 PowerPaint，证明模型能够在多功能图像修复中的优越性能。

在这里插入图片描述

PowerPaint架构方法

PowerPaint 是对一个文本到图像的模型进行了微调，使用了两个任务提示，即 Pobj 和 Pctxt，分别用于文本引导的对象修复和上下文感知图像修复。具体来说，Pobj 可以用作负面提示，通过无分类器引导采样进行有效的对象移除。研究团队还进一步引入了 Pshape 进行形状引导的对象修复，这可以通过与 Pctxt 的提示插值进一步扩展，以控制生成的对象与遮罩形状的对齐程度。

ComfyUI PowerPaint体验

之前文章中已经介绍过ComfyUI-BrushNet的安装方法，如果已安装同学自行跳过。（插件文末扫描可自行获取）

• 首先通过ComfyUI插件管理器搜索ComfyUI-BrushNet，并安装该插件。
• 下载对应模型，并放置在ComfyUI/models/inpaint目录下。模型和工作流可在文末中获取。
• 如使用PowerPaint，还需要获取 SD1.5 文本编码器模型 model.fp16.safetensors。它应该放置在本地的 models/clip 文件夹中。
• 导入工作流，并重启ComfyUI。

插件安装界面

模型目录

在使用PowerPaint功能时候，PowerPaint作者建议在提示中添加以下短语：

• 对象移除：empty scene blur
• 上下文感知：empty scene
• 外部绘制：empty scene

PowerPaint扩图体验

工作流界面

这里采用的是横向扩图设置。

01. 蛋糕

原图

效果图

02. 人物-肖像写真

原图

效果图

03. 室内-客厅

原图

效果图

04. 室内-沙发

原图

效果图

PowerPaint对象移除体验

工作流界面

关于这款对象移除功能，并不是完美，对于便于物体移除效果显著，如下面演示的植物叶，但是对于中心物体如蛋糕移除，总会产生新替代物。因此不在这里推荐该功能，只作简单演示。

01. 边缘主体移除（干净移除）

移除提示词为：leafage。能够清晰看见移除叶子。

原图

效果图

02. 中心主体移除（不完美，移除并新增物体）

移除提示词为：cake。蛋糕虽然移除了，但是新增了其他物体。

原图

效果图

感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。

在这里插入图片描述

AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
在这里插入图片描述