文章标题：Searching for Fast Demosaicking Algorithms
1. Abstract
本文提出了一种方法，用于在给定损失函数和训练数据的情况下，自动合成高效且高质量的去马赛克算法，涵盖各种计算开销。该方法执行多目标的离散-连续优化，同时解决程序结构和参数问题，以在目标计算开销范围内找到计算成本和图像质量之间的最佳权衡。我们设计了该方法，利用特定领域的结构提高搜索效率。我们将该方法应用于多个任务，包括对拜耳和富士X-Trans色彩滤镜图案的去马赛克，以及去马赛克和超分辨率的联合任务。在8个GPU上运行几天后，该方法生成了一系列算法，显著提高了图像质量，相对于之前的最先进方法，在每像素10到1000次操作的范围内（在相同的成本下提高1dB到3dB的质量，或在相同或更好的质量下提高8.5到200倍的吞吐量）。生成的程序结合了经典和基于深度学习的去马赛克和超分辨率算法的特征，形成了更高效的混合组合，这些组合具有带宽效率高且可向量化的特点。最后，我们的方法自动规划并编译所有生成的程序，生成针对现代处理器优化的SIMD代码。
2. Introduction
去马赛克（demosaicking）是图像处理中最普遍且性能关键的任务之一。作为整个相机成像管道的关键第一步，它可能会决定最终图像的成败：去马赛克过程中丢失的任何细节都无法恢复，而引入的任何错误细节则几乎不可能在后续处理中去除。在去马赛克过程中平衡这两个问题非常困难，因为该问题本质上是病态的（ill-posed），所以没有正确的答案。同时，去马赛克通常必须在极高的计算开销下进行：例如，4K 60 FPS 视频流需要每秒处理 0.5 千兆像素。即使我们仅使用高端移动处理器（CPU、GPU 或 DSP）中的一个核心专门用于去马赛克任务，并且 SIMD 利用率达到完美，这也仅留下时间对每个像素进行最多几百次的操作。
面对这一挑战，当前的去马赛克算法通常针对两个极端之一（图 1）。从手机到 Adobe Camera Raw 的大多数广泛部署的实现都限制在最多每像素几百次的优化计算，这些计算是手工精心设计的，用于反转特定的颜色滤波阵列 [Hirakawa 和 Parks 2006; Zhang 和 Wu 2005]。通过这种方式，它们可以提供合理的图像质量，但在具有挑战性的情况下，很难避免出现莫尔纹和错误细节等伪影。与此同时，基于深度学习和优化的方法已经出现，它们显著提高了质量，并且更容易推广到不同的颜色滤波阵列和其他问题变体，但计算开销要高 2-3 个数量级（每像素几十万到几百万次操作），这使得它们在大多数实际应用案例中难以使用 [Gharbi 等人 2016; Heide 等人 2014]。根据所选的实现，去马赛克可能占 Adobe Camera Raw ISP 运行时间的 25% 到 85%。
我们开发了新的高效且基于学习的去马赛克算法，这些算法显著提高了从每像素 10 次操作到 1000 次操作的整个范围内的图像质量。除了常见的拜耳（Bayer）模式外，我们还为富士 X-Trans 模式开发了去马赛克算法，并且为拜耳模式解决了去马赛克和超分辨率的联合问题。
我们的程序是帕累托优势（Pareto-dominant）的：它们在与任何先前算法相同的计算开销下提供显著更高的质量（1 dB–3 dB），并且可以在显著降低的计算开销下（8.5–220 倍或更高）提供相当或更好的图像质量。它们旨在高效地实现流式 SIMD 实现，并且可以自动编译为现代处理器的高性能内核。
我们通过开发一种多目标的离散-连续搜索自动生成这一系列新算法，该搜索同时解决程序结构和参数问题，以在目标计算开销范围内找到计算成本和图像质量之间的最佳权衡。搜索由最近的去马赛克和超分辨率神经网络所使用的相同损失函数和训练数据驱动 [Anwar 和 Barnes 2020; Chu 等人 2021b; Dong 等人 2014; Gharbi 等人 2016; Henz 等人 2018; Shi 等人 2016; Wang 等人 2018]。然而，我们发现标准的神经网络架构搜索（NAS）技术对我们的任务来说是不够的：这些方法通常针对高度规则且极其过度参数化的模型。我们专注于低成本模型，这需要精心设计以采用域自适应架构。我们的搜索在8块GeForce Titan Xp GPU上运行了4到5天之后产生了sota结果，成本开销等同于训练一个单独的神经网络至收敛。生成的程序将经典和基于深度学习的去马赛克和超分辨率算法的特征组合成更高效的混合组合，将构建块组合成具有带宽效率高且高度可向量化特点的算法。最后，我们的方法自动安排并编译搜索产生的任何程序，生成针对现代处理器优化的 SIMD 代码。
我们相信我们的方法为自动优化图像处理管道以实现性能和质量奠定了基础，结合了经典算法和深度学习的优势，产生了比现有算法更好且更高效的算法。例如，除了去马赛克问题的三个变体外，我们还展示了我们的搜索方法还可以为高性能超分辨率任务产生帕累托优势程序。
总之，本文的贡献包括：
- 新的、最先进的拜耳和 X-Trans 去马赛克、联合去马赛克与超分辨率以及独立超分辨率算法，在最具商业相关的计算开销范围内显著优于先前的工作。
- 一种自动生成这些算法的方法，涵盖广泛的计算开销范围。
- 本文展示了一个事实，即，低成本开销下，在图像处理任务上的进行可微程序搜索的同时，添加领域特定的原语和搜索结构可以显著改善结果性能。
- 本文定义了一个搜索空间，在该空间下，本文生成了SIMD和局部友好型算法，以及一个采用这种架构自动生成高度优化的流水线实现的编译器。
3. Related Work
本文的方法结合了遗传程序搜索和可微分程序的梯度优化，应用了机器学习和经典算法的见解，以自动搜索覆盖质量（好不好？）和性能（快不快？）权衡空间的高效去马赛克程序。
3.1 Image Demosaicking
从颜色滤波阵列中重建全彩图像是一个研究广泛但本质上病态的问题，其解决方案必须在质量和效率之间进行权衡 [Li et al. 2008]。去马赛克错误通常发生在边缘，产生虚假的“拉链”图案或“迷宫”伪影，但也可能影响大面积空间区域，导致颜色渗漏、虚假颜色莫尔纹或过度平滑。
经典算法的两个关键设计元素是：使用边缘自适应的方向滤波器以避免在边缘处平滑 [Hamilton Jr and Adams Jr 1997; Hibbard 1995]，以及利用跨通道相关性来指导缺失的红色和蓝色值的插值，使用更密集采样的绿色通道的估计值。例如，平滑色调先验 [Cok 1987] 预测颜色差异或比率的平滑变化。许多提出的方法改进了边缘和颜色相关性检测，有时还联合解决去噪问题 [Alleysson et al. 2005; Buades et al. 2009; Dubois 2005; Duran and Buades 2014; Hirakawa and Parks 2005, 2006; Kiku et al. 2013; Menon and Calvagno 2009; Niu et al. 2018; Zhang et al. 2009, 2011]。
另一类算法将去马赛克视为一个逆问题，并通过优化求解全彩图像 [Chang et al. 2015; Condat and Mosaddegh 2012; Getreuer 2011; Heide et al. 2014; Kokkinos and Lefkimmiatis 2018; Tan et al. 2017a]。尽管这些方法能够实现高质量的去马赛克，但优化的高计算成本限制了它们的应用。
数据驱动技术使用真实图像优化去马赛克算法的参数 [Go et al. 2000; Kapah and Hel-Or 2000; Khashabi et al. 2014; Kwan and Wu 2004; Li et al. 2018]。最近的方法使用卷积神经网络 [Gharbi et al. 2016; Henz et al. 2018; Klatzer et al. 2016; Kokkinos and Lefkimmiatis 2018, 2019; Liu et al. 2020; Ratnasingam 2019; Tan et al. 2018, 2017b]。深度学习方法实现了最先进的质量，但仍然计算成本高昂。
