重要说明：本文从网上资料整理而来，仅记录博主学习相关知识点的过程，侵删。

一、参考资料

github代码：WaveCNet

小波变换和曲波变换用于池化层

通俗易懂理解小波变换(Wavelet Transform)

二、相关介绍

关于小波变换的详细介绍，请参考另一篇博客：通俗易懂理解小波变换(Wavelet Transform)

1. DWT和IDWT原理

小波变换是可逆的，小波变换可以通过小波分解和重构，恢复原始图像详细。

对于输入图像$I$，进行两级小波变换，可以得到：
$$LL2,(LH2,HL2,HH2),(LH1,HL1,HH1)=DWT(DWT(I))$$
舍弃最高频的子带LH1, HL1和HH1，保留相对低频的LL2, (LH2, HL2, HH2)。最后对保留的二级小波系数进行逆变换，重构图像：
$$I^{\prime }=IDWT(LL2,LH2,HL2,HH2)$$

三、小波池化

Wavelet Pooling小波池化的思考
小波变换和曲波变换用于池化层

以文献[1-2]为例，详细介绍小波池化。

1. 引言

池化是舍弃信息来实现正则化的效果。传统的 Max Pooling，Average Pooling都有一些局限性。Max pooling 是一个有效的池化方法，但可能过于简单；Average Pooling会产生模糊。当主要的特征幅度值低于不重要的特征时，重要的特征在max pooling中就丢失了。而Average Pooling接收了幅值大的特征和幅值小的特征，会稀释幅值大的特征。具体如下图所示：

并且，Average Pooling或Max Pooling是不可逆的。一旦进行平均池化或者最大池化，新的特征空间无法保留原先特征空间的所有信息。而小波池化是可逆的，能恢复所有的原始特征。

2. DWT与IDWT网络层

对于DWT和IDWT网络层的关键在于数据的前向传播(forward propagations)和后向传播(backward propagations)。本章节以1D正交小波和1D数据为例，分析DWT和IDWT。同理，可以推广到其他小波和2D/3D数据，只有细微的变化。

2.1 前向传播(Forward propagation)

对于1D数据 x = { s j } j ∈ Z \mathbf{x}=\{s_{j}\}_{j\in\mathbb{Z}} x={sj​}j∈Z​，通过DWT的低通滤波(low-pass filters)分解为低频成分 x l o w = { x k ( l o w ) } k ∈ Z \mathbf{x}_\mathrm{low}=\{\mathbf x_{k}^{(\mathrm{low})}\}_{k\in\mathbb{Z}} xlow​={xk(low)​}k∈Z​，通过DWT的高通滤波(high-pass filters)分解为高频成分 x h i g h = { x k ( h i g h ) } k ∈ Z \mathbf{x}_\mathrm{high}=\{\mathbf x_{k}^{(\mathrm{high})}\}_{k\in\mathbb{Z}} xhigh​={xk(high)​}k∈Z​。
$$\{\begin{array}{c}{\mathbf{x}}_k^{(\mathrm{low})}={\sum }_j{l}_{j-2k}{x}_j,\\ {\mathbf{x}}_k^{(\mathrm{high})}={\sum }_j{h}_{j-2k}{x}_j,\end{array}(1)$$
其中， l = { l k } k ∈ Z \boldsymbol{l}=\{l_{k}\}_{k\in\mathbb{Z}} l={lk​}k∈Z​ ， h = { h k } k ∈ Z \boldsymbol{h}=\{h_{k}\}_{k\in\mathbb{Z}} h={hk​}k∈Z​ 分别表示正交小波(orthogonal wavelet)的低通滤波(low-pass filters)和高通滤波(high-pass filters)。由$公式(1)$ 可知，DWT包含两个过程：过滤和下采样。

IDWT使用 ${\mathbf{s}}_{\mathrm{low}},{\mathbf{s}}_{\mathrm{high}}$ 重构 $\mathbf{s}$，公式表达如下：
$$x_j=\sum _k\left(l_{j-2k}{\mathbf{x}}_k^{(\mathrm{low})}+h_{j-2k}{\mathbf{x}}_k^{(\mathrm{high})}\right).(2)$$
用矩阵和向量表示，$公式(1)$ 和 $公式(2)$ 可以重写为：
$$\begin{array}{rlr}{\mathbf{x}}_{\mathrm{low}}& =\mathbf{Lx},{\mathbf{x}}_{\mathrm{high}}=\mathbf{Hx},& (3)\\ \mathbf{x}& ={\mathbf{L}}^T{\mathbf{x}}_{\mathrm{low}}+{\mathbf{H}}^T{\mathbf{x}}_{\mathrm{high}},& (4)\end{array}$$
其中
$$\mathbf{L}=(\begin{array}{ccccccc}\cdots & \cdots & \cdots & & & & \\ \cdots & l_{-1}& l_0& l_1& \cdots & & \\ & \cdots & l_{-1}& l_0& l_1& \cdots & \\ & & & & \cdots & \cdots & \end{array}),(5)$$

$$\mathbf{H}=(\begin{array}{ccccccc}\cdots & \cdots & \cdots & & & & \\ \cdots & h_{-1}& h_0& h_1& \cdots & & \\ & & \cdots & h_{-1}& h_0& h_1& \cdots \\ & & & & \cdots & \cdots & \end{array}).(6)$$

对于2D数据$\mathbf{X}$，2D DWT通常对其每一行(row) 和每一列(column)进行1D DWT操作，也就是：
$$\begin{array}{c}{\mathbf{X}}_{ll}=\mathbf{LX}{\mathbf{L}}^T,\left(7\right)\\ {\mathbf{X}}_{lh}={\mathbf{HXL}}^T,\left(8\right)\\ {\mathbf{X}}_{hl}={\mathbf{LXH}}^T,\left(9\right)\\ {\mathbf{X}}_{hh}={\mathbf{HXH}}^T,\left(10\right)\end{array}$$
对于2D IDWT操作，公式表达如下：
$$\mathbf{X}={\mathbf{L}}^T{\mathbf{X}}_{ll}\mathbf{L}+{\mathbf{H}}^T{\mathbf{X}}_{lh}\mathbf{L}+{\mathbf{L}}^T{\mathbf{X}}_{hl}\mathbf{H}+{\mathbf{H}}^T{\mathbf{X}}_{hh}\mathbf{H}.(11)$$

在 2D DWT的输出中，${\mathbf{X}}_{ll}$ 是输入$\mathbf{X}$的低频成分，代表主要的信息，包括目标的基本结构；对应的 ${\mathbf{X}}_{lh},{\mathbf{X}}_{hl},{\mathbf{X}}_{hh}$ 是三个高频成分，其保存了输入$\mathbf{X}$水平(horizontal)、垂直(vertical)、对角线(diagonal)的细节信息。

2.2 反向传播(Backward propagation)

公式 $(3)-(4)$ 表示1D DWT和IDWT的前向传播。1D DWT的反向传播与梯度$\frac{\partial {\mathbf{x}}_{\mathrm{low}}}{\partial \mathbf{x}}$和$\frac{\partial {\mathbf{x}}_{\mathrm{high}}}{\partial \mathbf{x}}$密切相关，可以从公式(3) 中推导出：

$$\frac{\partial {\mathbf{x}}_{\mathrm{low}}}{\partial \mathbf{x}}={\mathbf{L}}^T,\frac{\partial {\mathbf{x}}_{\mathrm{high}}}{\partial \mathbf{x}}={\mathbf{H}}^T.(12)$$

类似的，1D IDWT的反向传播与梯度$\frac{\partial {\mathbf{x}}_{\mathrm{low}}}{\partial \mathbf{x}}$和$\frac{\partial {\mathbf{x}}_{\mathrm{high}}}{\partial \mathbf{x}}$密切相关，可以从公式(4) 中推导出：

$$\frac{\partial \mathbf{x}}{\partial {\mathbf{x}}_{\mathrm{low}}}=\mathbf{L},\frac{\partial \mathbf{x}}{\partial {\mathbf{x}}_{\mathrm{high}}}=\mathbf{H}.(13)$$

对于2D DWT的反向传播可以通过梯度$\frac{\partial X_{ll}}{\partial X}(G)$，$\frac{\partial X_{lh}}{\partial X}(G)$，$\frac{\partial X_{hl}}{\partial X}(G)$，$\frac{\partial X_{hh}}{\partial X}(G)$实现，公式表达如下：
$$\begin{array}{c}\frac{\partial X_{ll}}{\partial X}(G)=L^{T}GL,(14)\\ \frac{\partial {\mathbf{X}}_{lh}}{\partial \mathbf{X}}(G)=H^{T}GL,(15)\\ \frac{\partial {\mathbf{X}}_{hl}}{\partial \mathbf{X}}(G)=L^{T}GH,(16)\\ \frac{\partial X_{hh}}{\partial X}(G)=H^{T}GH,(17)\end{array}$$
其中，$G$ 是2D DWT之后的层的反向传播输出。

类似的，对于2D IDWT的反向传播可以通过$\frac{\partial X}{\partial X_{ll}}(G)$，$\frac{\partial X}{\partial X_{lh}}(G)$，$\frac{\partial X}{\partial X_{hl}}(G)$，$\frac{\partial X}{\partial X_{hh}}(G)$实现，公式表达如下：
$$\begin{array}{c}\frac{\partial \mathbf{X}}{\partial {\mathbf{X}}_{ll}}(G)=LG{L}^T,(18)\\ \frac{\partial \mathbf{X}}{\partial {\mathbf{X}}_{lh}}(G)=HG{L}^T,(19)\\ \frac{\partial \mathbf{X}}{\partial {\mathbf{X}}_{hl}}(G)=LG{H}^T,(20)\\ \frac{\partial \mathbf{X}}{\partial {\mathbf{X}}_{hh}}(G)=HG{H}^T,(21)\end{array}$$
其中，$G$ 是2D IDWT之后的层的反向传播输出。

3D DWT和IDWT的反向传播过程稍微复杂一点，但与1D/2D DWT和IDWT类似。本文使用有限滤波器，例如Haar小波，它的低通滤波和高通滤波可以表示为： l = 1 2 { 1 , 1 } \mathbf{l}=\frac{1}{\sqrt{2}}\{1,1\} l=2 ​1​{1,1}， h = 1 2 { 1 , − 1 } \mathbf{h}=\frac{1}{\sqrt{2}}\{1,-1\} h=2 ​1​{1,−1}。

在网络层中，对于多通道数据进行逐通道的DWT和IDWT操作。

3. WaveCNets网络模型

3.1 基于小波的通用去噪方法

给定一个2D的噪声数据 $\mathbf{X}$，随机噪声主要表现在其高频成分中。如下图所示，基于小波的通用去噪方法[3]，包括三个步骤：

1. 使用DWT将带噪声的数据分解为低频成分 ${\mathbf{X}}_{ll}$ 和高频成分 ${\mathbf{X}}_{lh},{\mathbf{X}}_{hl},{\mathbf{X}}_{hh}$；
2. 使用滤波器对高频成分进行过滤；
3. 使用IDWT对处理后的高频和低频成分进行重构。

3.2 最简单的基于去噪方法的小波

本文选择最简单的基于去噪方法的小波，也就是丢弃高频成分，如下图所示：

其中，${\mathrm{DWT}}_{ll}$ 表示将特征图映射到低频成分的转换。

3.3 基于小波的下采样方法

本文通过用 ${\mathrm{DWT}}_{ll}$ 替换传统的下采样，设计出WaveCNets网络模型。如下图所示，(a) 表示传统的下采样方法，(b) 表示基于小波的下采样方法。

在WaveCNets网络中，将max-pooling 和 average-pooling 直接替换为 ${\mathrm{DWT}}_{ll}$ 。同时，将 strided-convolution卷积替换为步长为1的卷积，也就是：
$$\begin{array}{rlr}{\text{MaxPool}}_{s=2}& \to {\text{DWT}}_{ll},& (14)\\ {\text{Conv}}_{s=2}& \to {\text{DWT}}_{ll}\circ {\text{Conv}}_{s=1},& (15)\\ {\text{AvgPool}}_{s=2}& \to {\text{DWT}}_{ll},& (16)\end{array}$$
其中 $\mathrm{Maxpoo}{\mathrm{l}}_{\mathrm{s}}$、$\mathrm{Con}{\mathrm{v}}_{\mathrm{s}}$、$\mathrm{AvgPoo}{\mathrm{l}}_{\mathrm{s}}$ 分别表示 max-pooling，strided-convolution和average-pooling，s表示步长(stride)。

3.4 WaveCNets模型的优势

${\mathrm{DWT}}_{ll}$ 对特征图进行去噪，移除高频成分，特征图尺寸减半。${\mathrm{DWT}}_{ll}$ 输出的低频成分，保存了特征图的主要信息，并提取出可识别的特征。在WaveCNets下采样过程中，${\mathrm{DWT}}_{ll}$ 可以抵抗噪声的传播，有利于维持特征图中目标的基本结构。因此，${\mathrm{DWT}}_{ll}$ 可以加快深度网络的训练，有利于更好的噪声鲁棒性和提高分类模型的精度。

四、相关经验

1. (TensorFlow)代码实现

Tensorflow实现小波池化层

五、参考文献

[1] Li Q, Shen L, Guo S, et al. Wavelet integrated CNNs for noise-robust image classification[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 7245-7254.

[2] Li Q, Shen L, Guo S, et al. Wavecnet: Wavelet integrated cnns to suppress aliasing effect for noise-robust image classification[J]. IEEE Transactions on Image Processing, 2021, 30: 7074-7089.

[3] Donoho D L. De-noising by soft-thresholding[J]. IEEE transactions on information theory, 1995, 41(3): 613-627.