个人博客！无广告观看，因为这节内容太多了，有点放不下，分了三节

多分辨率展开(Multi-resolution Expansions)

前面介绍了三种图像处理技术：图像金字塔、子带编码、哈尔变换。这在多分辨率分析(Multi-resolution Analysis, MRA)中会用到。

在多分辨率分析中，尺度函数被用于建立某一函数或是图像的一系列近似值，小波函数对相邻近似值之间的差异进行编码。

Q: 尺度函数、小波函数？

A: 尺度函数类似于低通滤波器的作用、小波函数描述高通滤波器的作用。

序列展开(Series Expansions)

一个信号或函数$f(x)$通常被分解为一系列展开函数的线性组合，即:
$$f(x)=\sum _k{\alpha }_k{\phi }_k(x)$$
如果扩展是唯一的，即对于任何给定的$f(x)$只有一组${\alpha }_k$，则${\phi }_k(x)$称为基函数，扩展集 { φ k ( x ) } \{\varphi_{k}(x)\} {φk​(x)}称为可如此表示的函数类的基。

可表示的函数形成一个函数(张成)空间，称为扩展集的闭包（closed span），记为：
V = S p a n k { φ k ( x ) } ‾ V = \overline{Span_k\{\varphi_{k}(x)\}} V=Spank​{φk​(x)}​
对于任意张成空间$V$和相应的扩展集 { φ k ( x ) } \{\varphi_{k}(x)\} {φk​(x)}，存在一组对偶函数 { φ ~ k ( x ) } \{\tilde{\varphi}_{k}(x)\} {φ~​k​(x)}，可用于通过取对偶${\tilde{\phi }}_k(x)$和$f(x)$的积分内积来计算系数 { α k } \{\alpha_{k}\} {αk​}，即：
$${\alpha }_k=⟨{\tilde{\phi }}_k(x),f(x)⟩=\int {\tilde{\phi }}_k^{\ast }(x)f(x)dx$$

计算系数${\alpha }_k$涉及三种情况、但基本都是正交小波、只用情况1.

情况I：如果扩展函数形成$V$的正交基，即：
$$⟨{\phi }_j(x),{\phi }_k(x)⟩={\delta }_{jk}=\{\begin{array}{ll}0& j\ne k\\ 1& j=k\end{array}$$
则基及其对偶是等价的。因此${\alpha }_k=⟨{\phi }_k(x),f(x)⟩$。

尺度函数(Scaling Function)

现在考虑由实数、平方可积函数$\phi (x)$的整数平移和二进制尺度组成的扩展函数集${\phi }_{j,k}(x)$，${\phi }_{j,k}(x)$称为尺度函数。
$${\phi }_{j,k}(x)=2^{j/2}\phi (2^{j}x-k)$$
对于所有$j,k\in Z$且${\phi }_{j,k}(x)\in L^2(R)$都成立；此时$k$确定${\phi }_{j,k}(x)$沿$x$轴的位置，$j$确定${\phi }_{j,k}(x)$的宽度，$2^{j/2}$控制其高度或幅度。

当 $j$ 增大时，$2^j$ 变大，意味着$\phi (2^{j}x-k)$中的$x$被压缩，即函数在$x$ 轴上的变化变得更快，宽度减小。

通过适当选择基函数$\phi (x)$， { φ j , k ( x ) } \{\varphi_{j,k}(x)\} {φj,k​(x)}可以张成$L^2(R)$，即所有可度量的平方可积函数的集合。

对于特定值$j=j_0$，扩展集 { φ j 0 , k ( x ) } \{\varphi_{j_{0},k}(x)\} {φj0​,k​(x)}是 { φ j , k ( x ) } \{\varphi_{j,k}(x)\} {φj,k​(x)}的子集。可以将该子空间定义为：
V j 0 = S p a n { φ j 0 , k ( x ) } ‾ V_{j_{0}}=\overline{Span\{\varphi_{j_{0},k}(x)\}} Vj0​​=Span{φj0​,k​(x)}​
由于$V_{j_0}$是${\phi }_{j_0,k}(x)$在$k$上的张成，如果$f(x)\in V_{j_0}$，它可以写成：
$$f(x)=\sum _k{\alpha }_k{\phi }_{j_0,k}(x)$$
一般地，对于任何$j$，我们将在$k$上张成的子空间记为:
V j = S p a n { φ j , k ( x ) } ‾ V_{j}=\overline{Span\{\varphi_{j,k}(x)\}} Vj​=Span{φj,k​(x)}​

例：哈尔尺度函数(Haar scaling func)

哈尔尺度函数是高度为1、宽度为1的尺度函数。
$$\phi (x)=\{\begin{array}{ll}1,& 0\le x\le 1\\ 0,& otherwise\end{array}$$
来自Haar基函数。尺度=1时的宽度是尺度=0时的一半；对于x上已知间隔，尺度=1的尺度函数时尺度=0的2倍(纵坐标的值)。(f):$f(x)=\frac{1}{2}{\phi }_{1,0}(x)+{\phi }_{1,1}(x)-\frac{1}{4}{\phi }_{1,4}(x)$

上图例子说明：

1. 增加 $j$的值（$j\uparrow$）：意味着函数被缩小，即 ${\phi }_{j,k}(x)$的宽度变窄，能够捕捉到更细微的细节。同时，$V_j$的容量增大，能够包含更多具有小尺度变化的函数。
2. 减少 $j$的值（$j\downarrow$）：意味着函数被放大，即 ${\phi }_{j,k}(x)$的宽度变宽，主要捕捉到整体的、低频的信息。

多分辨率分析的四项基本要求

在上面的例子中，简单的尺度函数遵循多分辨率分析的如下4个基本要求：

1.尺度函数与其积分变换正交。	2.由尺度函数在低尺度上张成的子空间嵌套在高尺度上张成的子空间中。	3.唯一在所有$V_i$中都存在的函数是$f(x)=0$	4.任何函数都可以以任意精度表示
Haar尺度函数是紧支撑的，即在一个有限区间(支撑)外函数值为0。	$\dots \subset V_{-1}\subset V_0 \subset V_1 \subset V_2\subset \cdots $, 每个子空间 $V_j$都包含了比前一个子空间 $V_{j-1}$更多的细节信息。这就像是从模糊到清晰，一步步深入地观察信号或图像。	$V_{-\infty }=0$	$V_{\infty }=L^2(R)$

在这些条件下，子空间$V_j$的展开函数可以表示为子空间$V_{j+1}$的展开函数的加权和，即：
$${\phi }_{j,k}(x)=\sum _n{\alpha }_n{\phi }_{j+1,n}(x)$$
将变量${\alpha }_n$变换为$h_{\phi }(n)$，进一步得到：
$${\phi }_{j,k}(x)=\sum _n{h}_{\phi }(n)2^{(j+1)/2}\phi (2^{(j+1)}x-n)$$
对于$\phi (x)={\phi }_{0,0}(x)$，得到更简单的表达式：
$$\phi (x)=\sum _n{h}_{\phi }(n)\sqrt{2}\phi (2x-n)$$
$h_{\phi }(n)$被称为尺度函数系数，$h_{\phi }$被称为尺度向量。该MRA方程表明任何子空间的扩展函数都可以由自身的双分辨率副本构建。

Haar函数的尺度函数系数是$h_{\phi }(0)=h_{\phi }(1)=\frac{1}{\sqrt{2}}$，所以MRA方程是:
$$\begin{array}{rl}\phi (x)& =\frac{1}{\sqrt{2}}[\sqrt{2}\phi (2x)]+\frac{1}{\sqrt{2}}[\sqrt{2}\phi (2x-1)]\\ \phi (x)& =\phi (2x)+\phi (2x-1)\end{array}$$

小波函数(Wavelet Function)

给定一个满足上述MRA要求的尺度函数（scaling function），我们可以定义一个小波函数 $\psi (x)$，它与它的整数平移和二进制尺度一起，跨越了任意两个相邻尺度子空间 $V_j$ 和 $V_{j+1}$ 之间的差异。

定义小波函数集：
$${\psi }_{j,k}(x)=2^{j/2}\psi (2^{j}x-k)$$
可以看见这个形式与尺度函数很相似，定义小波子空间：
W j = S p a n k { ψ j , k ( x ) } ‾ W_j=\overline{Span_k\{\psi_{j,k}(x)\}} Wj​=Spank​{ψj,k​(x)}​
注意: 如果 $f(x)\in W_j$，则有$f$可以被该空间的基唯一的线性表示。
$$f(x)=\sum _k{\alpha }_k{\psi }_{j,k}(x)$$

尺度和小波子空间之间的关系

尺度和小波函数子空间的关系是：
$$V_{j+1}=V_j\oplus W_j$$
其中 $\oplus$表示空间的直和（类似于集合的并集）。

$V_j$ 在 $V_{j+1}$ 中的正交补是 $W_j$，并且 $V_j$ 的所有元素与 $W_j$ 的元素正交，即 $⟨{\phi }_{j,k}(x),{\psi }_{j,l}(x)⟩=0$，对于所有合适的 $j,k,l\in Z$。

所有可度量、平方可积函数的空间为:
$$\begin{array}{rl}{L}^2(R)& =V_0\oplus W_0\oplus W_1\oplus \cdots \\ \text{or}{L}^2(R)& =V_1\oplus W_1\oplus W_2\oplus \cdots \\ \text{or}{L}^2(R)& =\cdots \oplus W_{-2}\oplus W_{-1}\oplus V_0\oplus W_0\oplus W_1\oplus W_2\oplus \cdots \end{array}$$
有一个通用结果, 其中 $j_0$ 是任意起始尺度。
$$L^2(R)=V_{j_0}\oplus W_{j_0}\oplus W_{j_0+1}\oplus \cdots$$
由于小波空间存在于由下一个更高分辨率尺度函数张成的空间内，任何小波函数也可以表示为移位的、双分辨率尺度函数的加权和，即:
$$\psi (x)=\sum _n{h}_{\psi }(n)\sqrt{2}\phi (2x-n)$$
其中 $h_{\psi }(n)$ 被称为小波函数系数，$h_{\psi }$ 是小波向量。

利用小波张成正交补空间且整数小波平移是正交的条件，可以证明由Burrus、Gopinath和Guo [1998]提出的：
$$h_{\psi }(n)=(-1{)}^n{h}_{\phi }(1-n)$$

Haar小波函数

对于Haar小波，相应的小波向量和小波函数是：
$$\begin{array}{rl}{h}_{\psi }(0)& =(-1{)}^0{h}_{\phi }(1-0)=\frac{1}{\sqrt{2}}\\ h_{\psi }(1)& =(-1{)}^1{h}_{\phi }(1-1)=-\frac{1}{\sqrt{2}}\\ & \\ \psi (x)& =\sum _n{h}_{\psi }(n)\sqrt{2}\phi (2x-n)\\ & =\phi (2x)-\phi (2x-1)\\ & =\{\begin{array}{ll}1,& 0\le x<0.5\\ -1,& 0.5\le x<1\\ 0,& otherwise\end{array}\end{array}$$

例：

• (a)原小波函数${\psi }_{0,0}(x)$、(b)${\psi }_{0,2}(x)$、©${\psi }_{1,0}(x)$：对于空间$W_1$, $小波{\psi }_{1,0}(x)$比针对$W_0$的小波${\psi }_{0,2}(x)$窄，这说明它能表示更加细微的细节。

• (d)显示了在子空间$V_1$而不在子空间$V_0$中的函数。该函数在前述例子中曾考虑过[见上图Haar尺度函数(f)]。虽然该函数不能在$V_0$中精确表示，但它可以用$V_0$和$W_0$的展开函数进行展开。展开结果如下：
  $$\begin{gathered} f(x)=f_a(x)+f_d(x) \\ {f}_a(x)=\frac{3\sqrt{2}}{4}{\phi }_{0,0}(x)-\frac{\sqrt{2}}{8}{\phi }_{0,2}(x) \\ {f}_d(x)=\frac{-\sqrt{2}}{4}{\psi }_{0,0}(x)-\frac{\sqrt{2}}{8}{\psi }_{0,2}(x) \end{gathered}$$
  $f_a(x)$是$f(x)$使用$V_0$尺度函数的近似，而$f_d(x)$为$f(x)-f_a(x)$的差，用$W_0$小波和表示。这两个展开式，如(e)和(f)所示，将$f(x)$用类似高通和低通滤波器的方法分成两部分。$f_a(x)$的低频部分在$f_a(x)$中得到，$f_a(x)$给出了$f(x)$在每个积分区间上的平均值，而高频细节则在$f_d(x)$中编码。

一维小波变换(Wavelet Transforms in One Dimension)

小波函数作为一系列的函数族，需要满足以下两个约束条件：

1. 均值为0：(容许条件，小波函数不应该含有0频分量=函数的平均值)
   $${\int }_{-\infty }^{\infty }\Psi (t)dt=0$$
   在傅里叶变换中，我们使用正弦函数展开。可以看到正弦函数也满足这个条件。BUT，正弦函数不满足下面这个条件。

2. 平方可积(有限能量)：
   $${\int }_{-\infty }^{\infty }|\Psi (t){|}^{2}dt<\infty$$

文中提及的可度量、平方可积，意思是要满足上面的两个条件。

小波序列展开(Wavelet series expansion)

我们定义函数$f(x)\in L^2(R)$相对于小波函数$\psi (x)$和尺度函数$\phi (x)$的小波级数展开为：
$$f(x)=\sum _k{c}_{j_0}(k){\phi }_{j_0,k}(x)+\sum _{j=j_0}^{\infty }\sum _k{d}_j(k){\psi }_{j,k}(x)$$
其中$j_0$是任意起始尺度，$c_{j_0}(k)$通常被称为近似系数，$d_j(k)$被称为细节系数。

这说明：任何可度量的、平方可积的一维函数都可以表示为$j\ge j_0$的$V_{j0}$尺度函数和$W_j$小波的加权和。

如果展开函数形成一个正交基或紧支撑（=尺度函数与其积分变换正交。这是常见情况），展开系数通过以下方式计算：
$$\begin{gathered} c_{j_0}(k)=⟨f(x),{\phi }_{j_0,k}(x)⟩=\int f(x){\phi }_{j_0,k}(x)dx \\ {d}_j(k)=⟨f(x),{\psi }_{j,k}(x)⟩=\int f(x){\psi }_{j,k}(x)dx \end{gathered}$$

例：$y=x^2$的哈尔小波级数展开

考虑如下的简单函数，计算使用Haar小波表示它的展开系数。
$$y=\{\begin{array}{ll}{x}^2,& 0\le x<1\\ 0,& \text{otherwise}\end{array}$$
解：令$j_0=0$：
$$\begin{array}{rl}{c}_0(0)& ={\int }_0^1{x}^2{\phi }_{0,0}(x)dx={\int }_0^1{x}^{2}dx=\frac{x^3}{3}{|}_0^1=\frac{1}{3}\\ d_0(0)& ={\int }_0^1{x}^2{\psi }_{0,0}(x)dx={\int }_0^{0.5}{x}^{2}dx-{\int }_{0.5}^1{x}^{2}dx=-\frac{1}{4}\\ d_1(0)& ={\int }_0^1{x}^2{\psi }_{1,0}(x)dx={\int }_0^{0.25}{x}^2\sqrt{2}dx-{\int }_{0.25}^{0.5}{x}^2\sqrt{2}dx=-\frac{\sqrt{2}}{32}\\ d_1(1)& ={\int }_0^1{x}^2{\psi }_{1,1}(x)dx={\int }_{0.5}^{0.75}{x}^2\sqrt{2}dx-{\int }_{0.75}^1{x}^2\sqrt{2}dx=-\frac{3\sqrt{2}}{32}\end{array}$$
将这些值带入小波级数展开式，有：

离散小波变换(Discrete Wavelet Transforms)

小波级数展开将单个连续变量的函数映射为离散系数序列。如果被展开的函数是离散的，例如连续函数$f(x)$的样本，则展开的系数是函数的离散小波变换( DWT )、展开本身是函数的离散小波反变换。

DWT变换对定义为:
$$\begin{gathered} W_{\phi }(j_0,k)=\frac{1}{\sqrt{M}}\sum _{x}f(x){\phi }_{j_0,k}(x) \\ {W}_{\psi }(j,k)=\frac{1}{\sqrt{M}}\sum _{x}f(x){\psi }_{j,k}(x)\text{for }j\ge j_0 \\ f(x)=\frac{1}{\sqrt{M}}\sum _k{W}_{\phi }(j_0,k){\phi }_{j_0,k}(x)+\frac{1}{\sqrt{M}}\sum _{j=j_0}^{\infty }\sum _k{W}_{\psi }(j,k){\psi }_{j,k}(x) \end{gathered}$$
这里$f(x)$，${\phi }_{j_0,k}(x)$和${\psi }_{j,k}(x)$是离散变量$x=0,1,\cdots ,M-1$的函数; $W_{\phi }(j_0,k)$, $W_{\psi }(j,k)$对应上面小波序列展开中的$c_{j_0}(k)$近似系数(低频部分)，$d_j(k)$细节系数(高频部分)。

第四版：感觉更简单一点点。

与傅里叶级数展开类似，上一节的小波级数展开将单个连续变量的函数映射为一系列离散系数。如果被展开的函数是离散的，那么展开的系数就是它们的离散小波变换（DWT），而展开式本身就是函数的逆离散小波变换。

令$j_0=0$，并将注意力限制在$N$为2的幂次方（即$N=2^J$）的$N$点离散函数上，我们得到：
$$f(x)=\frac{1}{\sqrt{N}}\left[T_{\phi }(0,0)\phi (x)+\sum _{j=0}^{J-1}\sum _{k=0}^{2^j-1}{T}_{\psi }(j,k){\psi }_{j,k}(x)\right]$$
其中：
$$\begin{gathered} T_{\phi }(0,0)=⟨f(x),{\phi }_{0,0}(x)⟩=⟨f(x),\phi (x)⟩=\frac{1}{\sqrt{N}}\sum _{x=0}^{N-1}f(x){\phi }^{\ast }(x) \\ {T}_{\psi }(j,k)=⟨f(x),{\psi }_{j,k}(x)⟩=\frac{1}{\sqrt{N}}\sum _{x=0}^{N-1}f(x){\psi }_{j,k}^{\ast }(x)(7-138) \end{gathered}$$
其中$j=0,1,\cdots ,J-1$且$k=0,1,\cdots ,2^j-1$。由上面公式定义的变换系数分别被称为近似系数和细节系数。

例：计算一维离散小波变换

考虑四点离散函数：$f(0)=1$，$f(1)=4$，$f(2)=-3$，$f(3)=0$。我们将使用Haar尺度和小波函数，并假设$f(x)$的四个样本分布在基函数的支撑集上。

令$j_0=0$，我们可以计算DWT系数为 ：
$$\begin{array}{rl}{W}_{\phi }(0,0)& =\frac{1}{2}\sum _{x=0}^{3}f(x){\phi }_{0,0}(x)=\frac{1}{2}[1+4+(-3)+0]=1\\ W_{\psi }(0,0)& =\frac{1}{2}[1+4+(-3)\cdot (-1)+0\cdot (-1)]=4\\ W_{\psi }(1,0)& =\frac{1}{2}[1\cdot \sqrt{2}+4\cdot (-\sqrt{2})+(-3)\cdot 0+0\cdot 0]=-1.5\sqrt{2}\\ W_{\psi }(1,1)& =\frac{1}{2}[1\cdot 0+4\cdot 0+(-3)\cdot \sqrt{2}+0\cdot (-\sqrt{2})]=-1.5\sqrt{2}\end{array}$$
因此，我们的简单四样本函数相对于Haar缩放和小波函数的离散小波变换是 { 1 , 4 , − 1.5 2 , − 1.5 2 } \{1, 4, - 1.5\sqrt{2}, - 1.5\sqrt{2}\} {1,4,−1.52 ​,−1.52 ​}。由于变换系数是两个变量——尺度$j$和平移$k$的函数，我们将它们组合成一个有序集合。这个集合中的元素与该函数按顺序排列的Haar变换的元素相同：
$$t^H={\mathbf{A}}_{H}f=\frac{1}{2}\left[\begin{array}{cccc}1& 1& 1& 1\\ 1& 1& -1& -1\\ \sqrt{2}& -\sqrt{2}& 0& 0\\ 0& 0& \sqrt{2}& -\sqrt{2}\end{array}\right]\left[\begin{array}{c}1\\ 4\\ -3\\ 0\end{array}\right]=\left[\begin{array}{c}1\\ 4\\ -1.5\sqrt{2}\\ -1.5\sqrt{2}\end{array}\right]$$
回顾上一节，Haar变换是单个变换域变量（记为$u$）的函数。 方程:
$$f(x)=\frac{1}{\sqrt{M}}\left[W_{\phi }(0,0)\phi (x)+\sum _{j=0}^{J-1}\sum _{k=0}^{2^j-1}{W}_{\psi }(j,k){\psi }_{j,k}(x)\right]$$
使得能够从其小波变换系数重建原始函数。展开求和式可以构造原始函数：
$$f(x)=\frac{1}{2}[W_{\phi }(0,0){\phi }_{0,0}(x)+W_{\psi }(0,0){\psi }_{0,0}(x)+W_{\psi }(1,0){\psi }_{1,0}(x)+W_{\psi }(1,1){\psi }_{1,1}(x)]$$
对于$x=0$:
$$f(0)=\frac{1}{2}[1\cdot 1+4\cdot 1+(-1.5\sqrt{2})\cdot \sqrt{2}+(-1.5\sqrt{2})\cdot 0]=1$$
基本的假设是开始尺度$j_0=0$, 此例的4点DWT是$f(x)$的二尺度分解，即 j = { 0 , 1 } j=\{0,1\} j={0,1}.