1. 常见问题[0]

L0范数优化问题：1.2.2
$min||x|{|}_0,$
$s.t.Ax=b$
其中，$Ax=b$为一个欠定方程组（方程个数远小于未知数个数）。
问题1.2.2是一个NP难问题，若$A,b$满足一定条件，可将其转化为基追踪问题求解（L1范数优化问题），但不能将其转化为L2范数优化问题。
因为L0与L1范数优化问题的解具有稀疏性，而L2范数优化问题却不具有稀疏性。

基追踪问题：1.2.3
$min||x|{|}_1,$
$s.t.Ax=b$
其中，$Ax=b$为一个欠定方程组（方程个数远小于未知数个数）

LASSO问题（LASSO，least absolute shrinkage and selection operator）：1.2.5
$min\frac{1}{2}||Ax-b|{|}^2+\mu ||x|{|}_1$

矩阵补全问题，低秩矩阵恢复问题：1.3.1
$minrank(X),$
$s.t.X_{ij}=M_{ij},(i,j)\in \Omega$
其中，$\Omega$为指标集
该问题是一个NP难问题。$rank(X)$为矩阵$X$非零奇异值的个数，将该问题替换为使得矩阵的核范数最小（奇异值和最小）：
$min||X|{|}_{\ast },$ 1.3.2
$s.t.X_{ij}=M_{ij},(i,j)\in \Omega$
问题1.3.2的罚函数形式：
$min\mu ||X|{|}_{\ast }+\frac{1}{2}{\Sigma }_{(i,j)\in \Omega }(X_{ij}-M_{ij}{)}^2$ 1.3.3

神经网络优化模型：1.4.3
$min{\Sigma }_{i=1}^m||h(a_i;x)-b_i||+\lambda r(x)$
$r(x)$为正则项，$a_i,b_i$为训练集的输入与输出

求解方程${\varphi }_i(x)=b_i,i=1,...,m$ 3.1.1 （最常见的是$Ax=b$）
最小二乘问题：3.1.2
$min{\Sigma }_{i=1}^m(b_i-{\varphi }_i(x){)}^2$
最小一乘问题：3.1.3
$min{\Sigma }_{i=1}^m|b_i-{\varphi }_i(x)|$
最小最大模型：3.1.4 使最大偏差最小化
$min\underset{i}{\max }|b_i-{\varphi }_i(x)|$
对于很多问题最优解不止一个，或者为了让解具有某些性质，需要加入正则项，即加入关于解的先验知识。
正则项：$\mu ||x|{|}_2^2,\mu ||x|{|}_1$
若$x$本身不稀疏，但其变换域中是稀疏的，则正则项为：$\mu ||W(x)|{|}_2^2,\mu ||W(x)|{|}_1$，图像处理中$W(\cdot )$为全变分或小波变换等。

最大似然估计：
$max{\Pi }_{i=1}^{n}p(a_i,x)$
$a_i$为样本，$x$为未知参数，$p(a_i,x)$为分布律或概率密度函数
一般对数变换后更容易求解

Tikhonov正则化或岭回归问题：3.2.6
$min\frac{1}{2}||Ax-b|{|}_2^2+\mu ||x|{|}_2^2$

矩阵$M$分解为低秩矩阵$X$与稀疏矩阵$S$：
$minrank(X)+\mu ||S|{|}_0,$
$s.t.X+S=M$
其中，$||S|{|}_0$表示$S$的非零元素个数。
为便于求解，替换为：
$min||X|{|}_{\ast }+\mu ||S|{|}_1,$
$s.t.X+S=M$

图像全变分：
$||u|{|}_{TV}={\int }_{\Omega }||\nabla u||dx$
L1范数得到各向异性全变分：
$||\nabla u|{|}_1=|{\partial }_{x}u|+|{\partial }_{y}u|$
L2范数得到各向同性全变分：
$||\nabla u|{|}_2=\sqrt{({\partial }_{x}u{)}^2+({\partial }_{y}u{)}^2}$
Rudin-Osher-FatemiR（ROF）模型：
$min||\mathcal{A}u-b|{|}_{L^2}^2+\lambda ||u|{|}_{TV}$
其中，$\mathcal{A}$为单位算子则模型用于图像去噪，若为模糊算子则模型用于去模糊。第二项保证重构出的图像的阶跃是稀疏的，即重构的图像是一个分片常函数。

2.基础知识[0]

上方图 epigraph

广义实值函数$f:R^n\to \bar{R}$的上方图：
$epif=\{(x,t)\in R^{n+1}|f(x)\le t\}$
其中， R ˉ = R ∪ { ± ∞ } \bar{R} = R \cup \{ \pm \infty\} Rˉ=R∪{±∞}

凸函数

适当函数：若广义实值函数$f(x),x\in \chi$满足 至少有一处取值不为正无穷，以及处处取值不为负无穷，则称$f$关于$\chi$是适当的。

凸集$C$满足：
$\theta x_1+(1-\theta )x_2\in C,\forall \theta \in [0,1]$
其中，$x_1,x_2\in C$
仿射集要求更高：
$\theta x_1+(1-\theta )x_2\in C,\forall \theta \in R$
其中，$x_1,x_2\in C$
所以仿射集都是凸集。

若$f$为适当函数，$domf$是凸集，且
$f(\theta x+(1-\theta )y)\le \theta f(x)+(1-\theta )f(y),$
$x,y\in domf,\theta \in [0,1]$，
则$f$为凸函数。

次梯度

梯度$g$定义：
$\underset{p\to 0}{\lim }\frac{f(x+p)-f(x)-g^{T}p}{||p||}=0$
梯度下降算法：
$x^{k+1}=x^k-{\alpha }_k\nabla f(x^k)$

次梯度$g$的定义：
$f(y)\ge f(x)+g^T(y-x),\forall y\in domf$
$f$为适当凸函数。
次梯度算法：
$x^{k+1}=x^k-{\alpha }_k{g}^k$

LASSO问题1.2.5的次梯度：
$g=A^T(Ax-b)+\mu \cdot sign(x)$

共轭函数

适当函数$f$的共轭函数：
$f^{\ast }(y)=\underset{x\in domf}{\sup }{y}^{T}x-f(x)$
其中，$sup$为上确界，$dom$为定义域

二次函数：
$f(x)=\frac{1}{2}{x}^{T}Ax+b^{T}x+c$
$A$为正定矩阵时，$f(x)$的共轭函数：
$f^{\ast }(y)=\frac{1}{2}(y-b{)}^T{A}^{-1}(y-b)-c$

任一函数$f$的二次共轭函数：
$f^{\ast \ast }(x)=\underset{y\in dom{f}^{\ast }}{\sup }{x}^{T}y-f^{\ast }(y)$
$f$为闭凸函数时，$f^{\ast \ast }(x)=f(x),\forall x$

对偶

既有等式约束又有不等式约束的一般约束最优化问题： 5.4.1
$minf(x),$
$s.t.c_i(x)=0,i\in \mathcal{E},$
$c_i(x)\le 0,i\in \mathcal{I}$

拉格朗日函数：
$L(x,\lambda ,\nu )=f(x)+{\Sigma }_i{\lambda }_i{c}_i(x)+{\Sigma }_j{\mu }_j{c}_j(x),j\in \mathcal{E},i\in \mathcal{I}$

拉格朗日对偶函数：
$g(\lambda ,\nu )=\underset{x\in R^n}{\inf }L(x,\lambda ,\nu )$
其中，$inf$为下确界

拉格朗日对偶问题：
$\underset{\lambda \ge 0,\nu }{\max }g(\lambda ,\nu )$
将原最小化问题，转化为求原函数下确界最大化问题。

3.ADMM算法[0,11]

对偶问题

原问题：$minf(x),s.t.Ax=b$
拉格朗日函数：$L(x,y)=f(x)+y^T(Ax-b)$
对偶函数：$g(y)=\underset{x}{\inf }L(x,y)$
对偶问题：$maxg(y)$
求解对偶问题得到解$y^{\ast }$，代入原问题得到解$x^{\ast }=argmi{n}_{x}L(x,y^{\ast })$

对偶上升

求解对偶问题
梯度法：$y^{k+1}=y^k+{\alpha }^k\nabla g(y^k)$
其中，$\nabla g(y^k)=Ax-b,x=argmi{n}_{x}L(x,y^k)$

对偶上升法：
$x^{k+1}=argmi{n}_{x}L(x,y^k)$
$y^{k+1}=y^k+{\alpha }^k(A{x}^{k+1}-b)$

对偶分解

假定$f$可分离：$f(x)=f_1(x_1)+...+f_N(x_N)$，则$L$也可分离：
$L(x,y)=L_1(x_1,y)+...+L_N(x_N,y)-y^{T}b$
其中，$L_i(x,y)=f_i(x)+y^T{A}_i{x}_i$，
则$x$最小化问题分离为N个最小化问题：
$x_i^{k+1}=argmi{n}_{x_i}{L}_i(x_i,y^k)$

对偶分解：
$x_i^{k+1}=argmi{n}_{x_i}{L}_i(x_i,y^k)$
$y^{k+1}=y^k+{\alpha }^k({\Sigma }_i{A}_i{x}_i^{k+1}-b)$

乘子法

增广拉格朗日函数：$L_{\rho }(x,y)=f(x)+y^T(Ax-b)+(\rho /2)||Ax-b|{|}_2^2$
乘子法：
$x^{k+1}=argmi{n}_x{L}_{\rho }(x,y^k)$
$y^{k+1}=y^k+\rho (A{x}^{k+1}-b)$
步长$\rho$固定

交替方向乘子法

ADMM问题：
$minf(x)+g(z),$
$s.t.Ax+Bz=c$

增广拉格朗日函数：
$L_{\rho }(x,y,z)=f(x)+g(z)+y^T(Ax+Bz-c)+(\rho /2)||Ax+Bz-c|{|}_2^2$

ADMM方法：
$x^{k+1}=argmi{n}_x{L}_{\rho }(x,z^k,y^k)$
$z^{k+1}=argmi{n}_z{L}_{\rho }(x^{k+1},z,y^k)$
$y^{k+1}=y^k+\rho (A{x}^{k+1}+B{z}^{k+1}-c)$ 对偶更新

ADMM问题的对偶问题：
$min{c}^{T}w+f^{\ast }(-A^{T}w)+g^{\ast }(-B^{T}w)$
对ADMM问题使用ADMM求解等价于将DRS算法用于对偶问题上。

[0] 最优化：建模、算法与理论
[1] Markdown 数学符号、公式、花体字母. https://blog.csdn.net/qq_37672864/article/details/127497148
[2] Markdown中添加和使用希腊字母. https://blog.csdn.net/u012028275/article/details/115057245
[3] 范数球、范数锥、多面体，半正定锥. https://blog.csdn.net/Bryant_cqc/article/details/120640939
[4] LR正则化与数据先验分布的关系？ - Charles Xiao的回答 - 知乎
https://www.zhihu.com/question/23536142/answer/90135994
[5] 多维高斯分布是如何由一维发展而来的？ - 信陵君魏无忌的回答 - 知乎
https://www.zhihu.com/question/36339816/answer/385944057
[6] Tikhonov regularization 吉洪诺夫 正则化. https://www.cnblogs.com/shyang09/p/9120007.html
[7] 坐标下降法. https://bohrium.dp.tech/notebooks/1921409690z
[8] 近似点算子 Proximal Mapping. https://blog.csdn.net/weixin_41024483/article/details/105566558
[9] ADMM算法的详细推导过程是什么？ - 覃含章的回答 - 知乎
https://www.zhihu.com/question/309568920/answer/580226096
[10] 凸优化笔记24：ADMM. https://glooow1024.github.io/2020/05/20/optimization/ch24-ADMM/
[11] Alternating Direction Method of Multipliers. https://web.stanford.edu/class/ee364b/lectures/admm_slides.pdf
[12] Douglas–Rachford method and ADMM. https://www.seas.ucla.edu/~vandenbe/236C/lectures/dr.pdf