图像增强是一种图像处理技术，旨在改善图像的视觉质量，使其更适合显示或进一步分析。这种技术可以应用于多种场景，包括医学成像、卫星图像、视频处理以及文本到图像生成模型等领域。图像增强的目标通常是提高图像的某些视觉特征，如对比度、亮度、清晰度、纹理细节等，以便更清楚地显示图像内容或提高图像分析的准确性。

技术和概念：

1. 扩散模型：扩散模型是一种深度学习模型，它通过逐步向图像添加噪声并再逐步去除这些噪声，来生成或增强图像。这种模型通常被用于生成图像、恢复图像质量、超分辨率等任务。

2. FreeEnhance框架：这是一个特定的图像增强方法，它利用扩散模型来实现内容一致的图像增强。该方法分为两个阶段：

   • 添加随机噪声：在这一阶段，系统会特别注意到图像的高频区域（例如边缘和角落），并向这些区域添加较轻的噪声。这样做可以在不过度失真的情况下，为后续的去噪阶段准备图像。
   • 去噪和细节增强：利用预训练的扩散模型来去除噪声并增强图像细节。在这一阶段，提出了三个目标属性作为约束，以确保生成的图像具有高锐度和优良的视觉质量。

图像增强技术对于改善自动视觉系统的性能至关重要，尤其是在质量受限的图像上。例如，在医学成像中，增强后的图像可以帮助医生更准确地诊断疾病；在安全监控领域，可以更清晰地识别和追踪目标；在消费电子产品中，可以提升用户体验等。通过改善图像的视觉质量，图像增强技术可以帮助提高决策的准确性和效率。

论文作者：Yang Luo,Yiheng Zhang,Zhaofan Qiu,Ting Yao,Zhineng Chen,Yu-Gang Jiang,Tao Mei

作者单位：Fudan University;HiDream.ai Inc.

论文链接：http://arxiv.org/abs/2409.07451v1

内容简介：

1）方向：图像增强

2）应用：文本到图像生成模型

3）背景：随着文本到图像生成模型的出现，人们意识到作为后处理的图像增强可以显著提高生成图像的视觉质量。然而，探索扩散模型以增强生成的图像并不容易，需要精心丰富丰富细节，同时保留原始图像中关键内容的视觉外观。

4）方法：本文提出一种名为FreeEnhance的新框架，用于使用现成的图像扩散模型进行内容一致的图像增强。FreeEnhance是一个两阶段过程，首先向输入图像添加随机噪声，然后利用预训练的图像扩散模型（即潜在扩散模型）对图像进行去噪和增强细节。在添加噪声阶段，FreeEnhance被设计为向频率较高的区域添加轻噪声，以保留原始图像中的高频模式（例如边缘、角落）。在去噪阶段，提出了三个目标属性作为约束，规范预测的噪声，增强具有高锐度和高视觉质量的图像。

5）结果：在HPDv2数据集上进行的大量实验表明，FreeEnhance在定量指标和人类偏好方面优于最先进的图像增强模型。更值得注意的是，与商业图像增强解决方案Magnific AI相比，FreeEnhance还展现出更高的人类偏好。