Restormer: Efficient Transformer for High-Resolution Image Restoration

1. Introduction

摘要部分简要总结了一下当前transformer的广泛使用和图像恢复中存在的问题，本文提出的 Restoration Transformer (Restormer) 在多头注意力和前馈网络两处进行设计，这样，它可以捕捉长时间的像素交互，同时仍然适用于大型图像。

图像恢复是通过去除退化输入的退化(如噪声、模糊、雨滴)来重建高质量图像的任务。

自注意(SA)机制，通过对所有其他位置的加权和计算给定像素处的响应。自我注意是Transformer模型中的核心组件，但有一个独特的实现，即为并行化和有效表示学习而优化的多头SA。

在本文中，我们提出了一种高效的图像恢复变压器，它能够建模全局连通性，并仍然适用于大图像。

图一，我们的恢复器在图像恢复任务上实现了最先进的性能，同时具有计算效率。

3. Method

我们的主要目标是开发一个高效的Transformer模型，该模型可以处理高分辨率的图像，用于恢复任务。

图2，用于高分辨率图像恢复的恢复器的架构。我们的恢复器由多尺度分层设计和高效的变压器块组成。transformer模块的核心模块有:(a) multi-Dconv head transposed attention (MDTA)，实现跨通道(而非空间维度)的(空间丰富的)查询键特征交互;(b) gate - dconv前馈网络(GDFN)，实现受控的特征转换，即允许有用信息进一步传播。

4. 实验与分析

我们在基准数据集和四个图像处理任务的实验设置上评估了所提出的Restormer: (a)图像去噪，(b)单图像运动去模糊，©离焦去模糊(单图像和双像素数据)，以及(d)图像去噪(合成和真实数据)。

表1。图像解析结果。当平均所有5个数据集，我们的恢复器先进的艺术- 1.05 dB。

图3。图像解析示例。我们的恢复器生成无雨图像，结构保真度高，没有人工制品。

5. 结论

我们提出了一个图像恢复变压器模型，恢复器，它是计算效率处理高分辨率的图像。我们介绍了Transformer模块核心组件的关键设计，以改进特征聚合和转换。具体来说，我们的multiDconv head transposed attention (MDTA)模块通过跨通道而不是空间维度应用自我注意来隐式模拟全局上下文，因此具有线性复杂性而不是二次复杂性。此外，所提出的门控- dconv前馈网络(GDFN)引入了一种门控机制来进行受控的特征转换。为了将cnn的强大功能整合到Transformer模型中，MDTA和GDFN模块都包含用于编码空间局部上下文的深度卷积。在16个基准数据集上的大量实验表明，Restormer在许多图像恢复任务中都达到了最先进的性能。