HAT:Activating More Pixels in Image Super-Resolution Transformer
图像恢复(Image restoration)是计算机视觉中的一个经典问题,它的目的是从给定的低质量(LQ)输入重建高质量(HQ)图像。
在SwinIR基础上进行改进并提出HAT。
通过 LAM,我们可以判断哪些输入像素对所选区域贡献最大
- 信息利用范围可视化对比
- 窗口分区机制对比
伪影是由窗口分区机制引起的
论文贡献: - 设计了一种新的混合注意力变换器(HAT),它结合了自注意力、通道注意力和新的重叠交叉注意力,以激活更多像素以实现高质量图像恢复。
- 提出了一种有效的同任务预训练策略,以进一步挖掘 SR Transformer 的潜力,并展示大规模数据预训练对于 SR 任务的重要性。
- 方法在 SR 任务上明显优于现有的最先进方法。通过进一步扩展 HAT 来构建大模型,我们极大地扩展了 SR 任务的性能上限。
- 方法还在图像去噪和压缩伪影减少方面实现了最先进的性能,显示了我们的方法在各种图像恢复任务上的优越性。