Representative Color Transform for Image Enhancement

作者：Hanul Kim1, Su-Min Choi2, Chang-Su Kim3, Yeong Jun Koh
单位：Seoul National University of Science and Technology 2Chungnam National University 3Korea University

Abstract

前人方法都是encode-decode方式，丢失细节；密集转化也限制颜色空间的迁移效果；
本文使用颜色迁移表征（RCT）表征颜色变化，根据输入和表征颜色相似性增强颜色，得到更好效果；
RCT determines different representative colors specialized in in- put images and estimates transformed colors for the repre- sentative colors. It then determines enhanced colors us- ing these transformed colors based on the similarity be- tween input and representative colors.

Introduction

• 问题
  First, details of the input im- age are not preserved in the up-sampling process of the de- coder, even though they employ skip-connections. Second, these approaches train networks with fixed input size, which makes it difficult to enhance images of arbitrary spatial res- olutions in the inference phase.

1.使用上采样无法保证解码器还原细节特征；
2.固定尺寸输入让输入图片有限制；

还有一种方法：全局参数估计，不需要上采样，使用RGB, CIELab，LUTS等方式，但不同通道之间无法分开训练颜色迁移；

• 本文使用方法
  RCT学习大规模色彩迁移，encode+特征表征=大规模色彩迁移能力

Related work

1. 数据集MIT-Adobe 5K，深度学习开始的方法直接学习像素级，端到端，但效果不行；
2. 逐渐出现encoder-decoder方法，从GAN到预测光流网络，到频率分解方法；
3. 全局参数估计：使用密集迁移方程、通道密集迁移、强化学习、3D LUTS，预定义无法有效迁移；

Method

得到模型结构，代码如下

MagicGeorge/RCTNet

实验

在四个实验数据集上测试，达到不错结果；

Conclusion

使用表征和颜色转换特征，利用全局和局部特征融合，得到对应颜色矩阵，提高色彩强化效果。