最近因为工作原因，接触到了超分以及AMD家出的FSR算法，特意记录了解一下~

前言

超分辨率是通过硬件或软件方法提高原有图像分辨率的方法，通过一幅或者多幅低分辨率的图像来得到一幅高分辨率的图像。

FSR是AMD提出的一种超分辨率方法，这种方法不借助深度学习，采用数学推导的方式实现，目前已经更新到3.0版本，本篇博客记录FSR1.0的学习记录。

FSR分为两个阶段，第一阶段为EASU上采样，第二阶段为RCAS锐化。

EASU上采样

首先，解释一下什么是上采样，什么是下采样。

上采样：原先有一张小尺寸的纹理，然后我们将这个纹理放大到大尺寸中（像素变多），然后使用采样方法（例如线性插值）进行填充。

下采样：原先有一张大尺寸的纹理，然后我们将这个纹理缩小到小尺寸中（像素变少），然后使用采样方法填充。

边缘与非边缘的上采样

对图像进行放大时，放大后的像素有两种情况：

• 非边缘：如果是非边缘，则对于放大后的像素点P，在原图对应像素点Q，则Q附近的像素灰度值应该非常接近，此时只需要对Q周围的像素进行加权平均即可，此时权重均为正值。
• 边缘：如果像素点P为边缘，此时应该采用锐化的方式进行处理，对Q附近的像素灰度值采用高频滤波器类似的加权方法进行加权。与上述非边缘的像素不同的是，对边缘像素进行加权计算的权重有负值。

因此，可以将边缘跟非边缘的计算方法统一成一个表达式：
$$\begin{array}{r}f(P)=\frac{{\sum }_{i}f(Q_i)H(Q_i)}{{\sum }_{i}H(Q_i)}\end{array}$$

$H(Q_i)$：权重计算公式，其应当满足当Q点为非边缘时，权重全为正数，Q点为边缘时，权重会包含负值，用来计算高频滤波器。因此接下来就是要找到满足这样条件的权重计算公式。

Lanczos2 函数

EASU引入了Lanczos函数：
$$\begin{array}{r}L(x)=\frac{asin(\pi x)sin(\frac{\pi x}{a})}{{\pi }^2{x}^2},x\in [-a,a]\end{array}$$

当$a=2$时，通常将其称为Lanczos2函数，EASU就是基于Lanczos2函数作为基础处理的，它的图像如下图所示。

Lanczos2函数的值在$x\in [0,1]$时函数值大于0，$x\in [1,2]$时函数值小于0，符合我们要找的权重函数的要求。但是函数中包含了三角函数，在shader中效率不高，因此EASU用多项式来拟合公式(2)。
$$\begin{array}{r}L(x)=\left[\frac{25}{16}{\left(\frac{2}{5}{x}^2-1\right)}^2-\left(\frac{25}{16}-1\right)\right](\omega x^2-1{)}^2\end{array}$$
其中$\omega$参数可以用来控制函数在$x\in [1,2]$部分的值，下面是$\omega$从0变化到0.5过程中的函数图像

边缘特征

图像中的边缘，一般有如下几种情况：

EASU主要解决的是阶梯状边缘，因此特征越接近阶梯状边缘，对应的$\omega$应该越小，此时当$x\in [1,2]$时，$L(x)$返回的权重也越小。

Feature的定义与变量$\omega$

我们为像素T定义Feature的计算公式，只计算像素点T上下左右方向的像素点，该Feature可以与变量$\omega$一一对应。记EASU的边缘特征的中间值为$F$，它的计算公式为：
$$\begin{array}{r}F=(F{X}^2+F{Y}^2)\end{array}$$$$\begin{gathered} FX=\frac{|f(T_{x-1,y}-f(T_{x+1,y})|}{max(|f(T_{x-1,y})-f(T_{x,y})|,|f(T_{x+1,y})-f(T_{x,y})|)} \\ FY=\frac{|f(T_{x,y-1}-f(T_{x,y+1})|}{max(|f(T_{x,y-1})-f(T_{x,y})|,|f(T_{x,y+1})-f(T_{x,y})|)} \end{gathered}$$

其中，这里的$f(x)$是$x$点做过灰度化处理后的颜色值，通过表达式 $f=b\ast 0.5+r\ast 0.5+g$ 计算。

在公式(4)中，$FX,FY\in [0,1]$，因此$F\in [0,2]$，为了归一，EASU提出将其映射到$[0,1]$：
$$\begin{array}{r}Feature=(F/2{)}^2\end{array}$$
我们已经找到了区分边缘的特征值Feature，以及可以通过$\omega$调整区间$[1,2]$取值范围的拟合曲线了，接下来就是要建立Feature跟$\omega$之间的关系。

公式(3)中的函数$L(x),x\in [-2,2]$是关于$y$轴对称的，因此这里只分析正半轴（EASU里也只用到了正半轴），在正半轴上$L(x)$有三个根：$x=1;x=2;x=\frac{1}{\sqrt{\omega }},(\omega >0)$，如下图所示。

当$\frac{1}{\sqrt{\omega }}\in [1,2]$时，$(\omega \in [\frac{1}{4},1])$，区间$[1,\frac{1}{\sqrt{\omega }}]$中有一个极小值$m$。

• $\frac{1}{\sqrt{\omega }}\to 1:m\to 0$
• $\frac{1}{\sqrt{\omega }}\to 2:m\to -\frac{2187}{16483}$

注意到当$\frac{1}{\sqrt{\omega }}\in [1,2]$时，$x\in [\frac{1}{\sqrt{\omega }},2]$区间出现了一个负的Lobe部分，为了解决这个问题，EASU进行了截断，只取$x\in [0,\frac{1}{\sqrt{\omega }}]$区间。

因此可以通过改变$\frac{1}{\sqrt{\omega }}$的值来控制$[1,\frac{1}{\sqrt{\omega }}]$区间里负值的大小（用来作公式(1)中的负权重）。
$$\begin{array}{r}\omega =1-\frac{3}{4}Feature\end{array}$$
但是由于$\frac{1}{\sqrt{\omega }}$在趋近于1时，负权重不够，会导致边缘信息识别不足，因此EASU将$\frac{1}{\sqrt{\omega }}$的范围限定在$[\sqrt{2},2]$，因此$\omega \in [\frac{1}{4},\frac{1}{2}]$，得出新的线性关系：
$$\begin{array}{r}\omega =\frac{1}{2}-\frac{1}{4}Feature\end{array}$$

EASU同时限定了$x$的范围为$x\in [0,\frac{1}{\sqrt{\omega }}]$，即$x=min(x,\frac{1}{\sqrt{\omega }})$。

Feature获得

EASU计算$Q$点特征时，采用的是采样像素点$Q$周围12个像素的值来计算。EASU首先会进行批量采样，从而获取$Q$周围像素的像素值，待采样的像素如下图所示（标识为z的像素点为多余的像素，在计算时不会用到）：

每次使用Gather4指令批量采样4个像素点中的一个通道，例如浅绿色框采样的顺序是ijfe，因为像素有三个通道RGB，因此每次批量采样 4 * 3 次。

然后，计算特征时，分四组分别计算出4个Feature。

使用双线性插值得到最终的Feature。如下图所示，$O=floor(Q)$，$u、v$则是$Q$到$O$的偏移。

$$\begin{array}{r}Feature=(1-u)(1-v)f_1+u(1-v)f_2+uv{f}_3+(1-u)v{f}_4\end{array}$$
结合公式(7)和公式(8)，便可计算出$\omega$的值。

梯度

计算Feature的同时，EASU还计算了$Q$点的像素灰度变化的梯度，同样也是分四组计算梯度，最后用双线性插值得出最终的梯度向量。每组梯度计算的方式如下：

$$\begin{gathered} D_x=g-e=f(Q_{x+1,y})-f(Q_{x-1,y}) \\ {D}_y=j-b=f(Q_{x,y+1})-f(Q_{x,y-1}) \end{gathered}$$$$\begin{array}{r}\vec{D}=(cos\theta ,sin\theta )=(\frac{D_x}{\sqrt{D_x^2+D_y^2}},\frac{D_y}{\sqrt{D_x^2+D_y^2}})\end{array}$$

采样颜色值

到这里，我们得到了$Q$的梯度，以及Feature，之后，EASU分别对$Q$周围的12个像素，按照梯度角度进行旋转，并进行缩放，最终利用像素点左上角到$Q$点的欧式距离作为$x$，带入权重公式，即公式(3)，得到周围像素的权重。

如上图，像素b跟$Q$之间的向量$\overrightarrow{QB}$按照梯度旋转：
$$\begin{array}{rl}{x}_r& =x_{QB}\ast cos\theta +y_{QB}\ast sin\theta \\ y_r& =-x_{QB}\ast sin\theta +y_{QB}\ast cos\theta \end{array}$$
旋转完毕后，EASU定义了一个将旋转向量根据梯度和边缘特征进行缩放的公式（注意，这里是直接定义的公式，并没有数学逻辑）：
$$\begin{array}{rl}Stretch& =\frac{1}{max(|sin\theta |,|cos\theta |)}\\ S_x& =1+(Stretch-1)\ast Feature\\ S_y& =1-0.5\ast Feature\end{array}$$
然后得出$\overrightarrow{QB}$旋转缩放后的向量坐标：
$$\begin{array}{r}{S}_{xb}=x_r\ast S_x,S_{yb}=y_r\ast S_y\end{array}$$
最后求出向量的模：
$$\begin{array}{r}{d}_b=min(\sqrt{S_{xb}^2+S_{yb}^2},\frac{1}{\sqrt{\omega }})\end{array}$$
将得出的$d_b$带入到公式(3)，即可求出b像素点的权重值。其他像素点一次按照这样的方式求出对应像素的权重值，最后利用公式(1)，即可求出上采样$P$点的像素值。

EASU里最后会对求出的颜色做限制，限制颜色的最大最小值只能在这12个采样点颜色之间，据说可以减少ringing效果。

RCAS锐化

上采样结束后，FSR最后对上采样得到的图像进行一次RCAS（Robust Contrast Adaptive Sharpening在CAS基础上进行改进）的锐化处理，将边缘信息进一步加强，RCAS其实是拉普拉斯算子的变种：

最后像素$P$按照上面的算子进行加权计算即可：
$$\begin{array}{r}F(P)=\frac{f(P)+\omega \ast (f(P_{x-1,y})+f(P_{x+1,y})+f(P_{x,y-1})+f(P_{x,y+1}))}{4\omega +1}\end{array}$$
对于$\omega$权重，RCAS计算方法是获取像素$P$点周围的四个像素，然后根据包括$P$在内五个像素点的最大最小值来计算。

于是有
$$\begin{array}{r}\omega =max(-\frac{Min}{4Max},\frac{1-Max}{4Min-4})\ast Scale\end{array}$$

Scale为采样之后分辨率跟原分辨率的比值。

RCAS中为了确保$\omega$为负数，最后对$\omega$做了限制：
$$\begin{array}{r}\omega =max(-(\frac{1}{4}-\frac{1}{16}),min(\omega ,0))\end{array}$$

对于RGB每个通道，都计算一次对应的${\omega }_R、{\omega }_G、{\omega }_B$。

总结

参考这份github上用python实现的FSR，可以实现超分效果，如下图所示：

总结一下，FSR一共包含两个阶段，第一阶段为EASU上采样，第二阶段为RCAS锐化，其中EASU上采样是重点。

EASU的基本思想是根据像素点周围颜色变化的梯度，计算出一个可变的权重函数，将周围点加权得出当前像素点的颜色。其中，当该点处于边缘时，权重函数会出现负值，起到一个类似锐化的效果，用于突出边缘像素；当该点处于非边缘时，权重函数全为正值，起到一个类似平均池化的效果。

参考

https://www.xianlongok.site/post/30ae96f7/

https://zhuanlan.zhihu.com/p/401030221