图像中高频信息、低频信息与ComfyUI中图像细节保留的简单研究

🧵背景

在做AI绘图的时候，经常有一些图像的细节需要保留原始图像内容，比如说衣服的细节，商品的文字标签等等，如果这些地方发生了变化，就会导致生成的结果无法直接商用，而让生成的图像完全保留原图中的某些细节，基于diffusion的算法，不太可能直接实现，而基于图像蒙版，又容易让图像本身的接缝或者光影产生很多问题。

最近了解到一种基于图像高频信息保留的方式，可以比较好的保留图像中的细节。

呈现出来大概是这样：

这种方式可以很好的保留图像中的细节，那么这几个节点是怎么实现保留图像细节的呢？

🎄算法来源

如果大家做过设计或者摄影修图，应该都了解过利用高反差保留来实现人像摄影中，皮肤磨皮的前提下实现毛孔等细节的保留，后来也有一些磨皮方法是将图像中高频信息和低频信息分离后，对低频信息的图层进行修正而保留图像的细节。

网络上内容很多，可以搜索“photoshop 高频信息修图”，这里贴一篇案例，有兴趣的可以在ps中尝试手动实现：

https://www.cnblogs.com/caihongmin/p/17629109.html

那么，这个过程到底做了什么呢，简单来说就是高频信息和低频信息的分离。

高频信息是什么？

在图像处理中，高频信息通常指的是图像中变化剧烈的区域，比如边缘、纹理和细节。这些高频信息对于图像的清晰度和细节表现至关重要。以下是一些关于高频信息的要点：

定义：高频信息是图像中局部变化快速的部分，与低频信息（图像中的平滑区域）相对。
重要性：高频信息对于图像的清晰度、边缘的锐度和纹理的细节至关重要。
应用：
- 图像锐化：通过增强图像的高频部分来提高图像的清晰度。
- 边缘检测：高频信息有助于识别图像中的边缘。
- 纹理分析：高频信息有助于识别和分析图像中的纹理特征。
影响因素：
- 噪声：噪声通常表现为图像中的高频随机变化，可能会影响图像质量。
- 模糊：图像模糊通常与高频信息的丢失有关。
处理技术：
- 高通滤波器：用于提取图像中的高频信息，如拉普拉斯滤波器、高通Sobel滤波器等。
- 频域分析：在频域中，高频信息可以通过对图像进行傅里叶变换来分析。
图像质量：高频信息的保留对于保持图像的视觉质量非常重要，但过多的高频噪声可能会导致图像看起来粗糙或模糊。
压缩：在图像压缩中，高频信息通常被压缩得更多，因为人眼对高频细节的敏感度较低。
计算机视觉：在计算机视觉中，高频信息对于物体识别、场景理解等任务至关重要。

那低频信息又是什么？

图像中的低频信息指的是图像中变化较慢或较为平滑的区域，通常包括大面积的均匀颜色或渐变色。低频信息在图像处理和分析中扮演着重要角色，以下是一些关于低频信息的关键点：

定义：低频信息是指图像中变化不大或相对平滑的区域，与高频信息（快速变化的区域）相对。
重要性：低频信息有助于理解图像的整体结构和布局，对于图像的平滑度和背景有重要影响。
应用：
- 图像平滑：通过减少或去除高频信息来平滑图像，常用于去除噪声。
- 图像缩放：在图像缩放过程中，低频信息有助于保持图像的整体结构。
影响因素：
- 模糊：图像模糊可能由低频信息的增强和高频信息的减少造成。
- 光照变化：光照的不均匀性可能在图像中表现为低频信息的变化。
处理技术：
- 低通滤波器：用于提取图像中的低频信息，如高斯滤波器、平均滤波器等。
- 频域分析：在频域中，低频信息可以通过对图像进行傅里叶变换来分析。
图像质量：低频信息有助于保持图像的整体视觉效果，但过度强调低频信息可能会导致图像细节的丢失。
压缩：在图像压缩中，低频信息通常被保留得更多，因为人眼对低频信息的敏感度较高。
计算机视觉：在计算机视觉中，低频信息有助于场景的总体理解，但可能不足以进行精确的物体识别。
图像分割：在图像分割任务中，低频信息有助于识别图像中的大块区域。
艺术效果：在艺术和设计中，低频信息的调整可以创造出不同的视觉效果，如梦幻效果或抽象画。