1 动机与研究内容

最近工作发现深度神经网络对于图像重构的不稳定(instabilities)，以及分类中的对抗攻击，在输入域发生微小改变时就会造成输出非常大的改变。
本篇论文对深度神经网络解决欠定(underdetermined)的逆问题的鲁棒性(robustness)进行了研究。研究内容包括用Guassian measurement的压感(compressed sening)以及通过Founier and Radon measurement的图像恢复，
实验结果表示标准的端到端(end-to-end)的网络结构不仅对噪音有弹性，而且对对抗扰动也有弹性(resilient)。

2 问题背景

通过间接的方法实现信号重构(signal reconstruction)在各种应用中具有重要作用，这样的任务呗称作逆问题

（1）

数据的获取通常costly，所以undetermined regime( $\ll N$ )受到了广泛的研究，这样的重构问题叫做ill-posed inverse problem
compressed sensing已经证明解决重构问题有着准确性以及鲁棒性的优点，该方法有一个映射Rec $\mathbb{R}^{m} \rightarrow \mathbb{R}^{N}$ ，使得（1）满足一个错误边界：

$\left\|\boldsymbol{x}_{0}-\operatorname{Rec}(\boldsymbol{y})\right\|_{2} \leq C \cdot \eta$ （2）
但是在real world，受到计算cost、人工调参、以及测量数据与真实数据的mismatch

现在神经网络的方法来实现重构，利用有监督的样本训练实现重构，需要大量样本训练。由于不能满足（2）的理论保证，其准确性和抗测量噪声的鲁棒性的经验验证是至关重要的
研究robust against noise具有重要意义。

3 本文方法

３.１　Neural Network Architectures

UNet： $\mathbb{R}^{m} \rightarrow \mathbb{R}^{N}, \boldsymbol{y} \mapsto\left[\mathcal{U} \circ \mathcal{A}^{\dagger}\right](\boldsymbol{y})$

$\text { TiraFL: } \mathbb{R}^{m} \rightarrow \mathbb{R}^{N}, \boldsymbol{y} \mapsto[\mathcal{T} \circ \mathcal{L}](\boldsymbol{y})$
$\text { ItNet: } \mathbb{R}^{m} \rightarrow \mathbb{R}^{N}, \boldsymbol{y} \mapsto\left[\left(\bigcirc_{k=1}^{K}\left[\mathcal{D} \mathcal{C}_{\lambda_{k}, \boldsymbol{y}, \mathcal{A}} \circ \mathcal{U}\right]\right) \circ \mathcal{A}^{\dagger}\right](\boldsymbol{y})$

其中， $\mathcal{D} \mathcal{C}_{\lambda_{k}, \boldsymbol{y}, \mathcal{A}}: \mathbb{R}^{N} \rightarrow \mathbb{R}^{N}, \boldsymbol{x} \mapsto \boldsymbol{x}-\lambda_{k} \cdot \mathcal{A}^{*}(\mathcal{A} \boldsymbol{x}-\boldsymbol{y})$

３.２　Total-Variation Minimization

Total variation (TV) minimization是一种求解信号和图像重构任务的方法，解决（１）的以下列的形式：

$\begin{aligned} \mathrm{TV}[\eta]: \mathbb{R}^{m} & \rightarrow \mathbb{R}^{N} \\ \boldsymbol{y} & \mapsto \underset{\boldsymbol{x} \in \mathbb{R}^{N}}{\operatorname{argmin}}\|\nabla \boldsymbol{x}\|_{1} \quad \text { s.t. } \quad\|\mathcal{A} \boldsymbol{x}-\boldsymbol{y}\|_{2} \leq \eta \end{aligned}$

３.３　Adversarial Noise

$\boldsymbol{e}_{\mathrm{adv}}=\underset{\boldsymbol{e} \in \mathbb{R}^{m}}{\operatorname{argmax}}\left\|\operatorname{Rec}\left(\boldsymbol{y}_{0}+\boldsymbol{e}\right)-\boldsymbol{x}_{0}\right\|_{2} \quad \text { s.t. } \quad\|\boldsymbol{e}\|_{2} \leq \eta$