第五章 最优性理论

在实际中最优化问题的形式多种多样，给定一类具体的优化问题，我们首先需要分析其解的存在性。如果优化问题的解存在，再考虑如何设计算法求出最优解，一般的非凸优化问题可能存在很多局部极小解，但其往往也能够满足实际问题的要求。对于这些局部（全局）极小解的求解，最优性理论是至关重要的。

5.1 最优化问题解的存在性

考虑优化问题
$$\begin{gathered} \underset{x\in R^n}{\min }f(x) \\ s.t.x\in \chi \text{\hspace{1em}(5.1.1)} \end{gathered}$$
其中$\chi \in R^n$为可行域，对于问题5.1.1,首先是要考虑最优解。在数学分析课程中，我们学习过$Weierstrass$定理，即定义在紧集上的连续函数一定存在最大（最小）点。而在许多实际问题中，定义域可能不是紧的，目标函数也不一定连续，因此需要将此定理推广来保证最优化问题解的存在性。

紧集：紧集的定义还比较简洁：若A的任意开覆盖，都存在有限子覆盖，那么A为紧集。
所谓开覆盖S，就是能“盖住”A的一组开集。所谓子覆盖S‘，就是S里挑几个开集出来。
若能挑出有限个开集把A“盖住”，那么称S存在有限开覆盖。
如果A的每一个开覆盖，都像S一样拥有有限开覆盖，那么A为紧集。
说简单点，若一个集合它不仅是闭集还是有界的，则该集合被称作紧集

定理5.1（$Weierstrass$定理）：考虑一个适当且闭的函数$f:\chi \to (-\infty ,+\infty ]$，假设下面三个条件中任意一个成立：
（1） d o m f = { x ∈ χ : f ( x ) < + ∞ } 是有界的 domf=\{x{\in}\chi:f(x)<+\infty\}是有界的 domf={x∈χ:f(x)<+∞}是有界的
（2）存在一个常数$\bar{\gamma }$使得下水平集
C γ ˉ = { x ∈ χ : f ( x ) ≤ γ ˉ } C_{\bar{\gamma}}=\{x{\in}{\chi}:f(x){\le}\bar{\gamma}\} Cγˉ​​={x∈χ:f(x)≤γˉ​}
是非空且有界的
（3）$f$是强制的，即对于任意满足$||x^k||\to +\infty$的点列 { x k } ⊂ χ \{x^k\}{\subset}\chi {xk}⊂χ，都有
$$\underset{k\to \infty }{\lim }f(x^k)=+\infty$$
那么，问题5.1.1的最小值点集 { x ∈ χ ∣ f ( x ) ≤ f ( y ) , ∀ y ∈ χ } \{x{\in}\chi|f(x){\le}f(y),\forall{y}{\in}\chi\} {x∈χ∣f(x)≤f(y),∀y∈χ}是非空且紧的
这三个条件可以相互转换推出

定理5.1的三个条件本质上都是保证$f(x)$的最小值不能在无穷远处取到，因此我们可以仅在一个有界的下水平集中考虑$f(x)$的最小值。同时要求$f(x)$为适当且闭的函数，并不需要考虑$f(x)$的连续性，定理5.1比数学分析中的$Weierstrass$定理应用范围更广。
当定义域不是有界闭集(紧集)时，比如$f(x)=x^2,x\in R$满足条件，其全局最优解存在，但对于适当且闭的函数$f(x)=e^{-x},x\in R$，它不满足5.1三个条件中任意一个，因此我们不能断言其全局极小值存在。

定理5.1给出了最优解的存在性条件，但其对应的解可能不止一个，最优化问题的解的唯一性在理论分析和算法中扮演着重要角色。比如，假设存在唯一解，那么我们可以比较不同算法收敛到最优解的收敛速度来判断算法的好坏，如果存在多个最优值点，不同的算法收敛到的最优值点可能不同，那么这些算法的收敛速度就失去了参考价值。但是如果不同最优值点对应的目标函数值相同，我们可以比较不同算法对应的函数值收敛速度。

关于解的存在唯一性，我们这里考虑$f$是强拟凸的情况
定义(5.1)(强拟凸函数)给定凸集$\chi$和函数$f:\chi \to (-\infty ,+\infty ]$。如果对任意的$x\ne y$和$\lambda \in (0,1)$，都有
f ( λ x + ( 1 − λ ) y ) < m a x { f ( x ) , f ( y ) } f(\lambda{x}+(1-\lambda)y)<max\{f(x),f(y)\} f(λx+(1−λ)y)<max{f(x),f(y)}
那么我们称函数$f$是强拟凸的

强拟凸函数的几何意义是定义域内两点之间的线段上的函数值不会大于两个端点处函数的最大值，一般来说，强拟凸函数不一定是凸函数，但其任意一个下水平集都是凸集。并可以包含一部分性质较好的非凸函数。

定理5.2（唯一性定理）对于问题(5.1.1)，设$\chi$是$R^n$的一个非空、紧且凸的子集，如果$f:\chi \to (-\infty ,+\infty ]$是适当、闭且强拟凸函数，那么存在唯一的$x^{\ast }$满足
$$f(x^{\ast })<f(x),\forall x\in \chi unless{x}^{\ast }$$

这个证明好证，由$Weierstrass$定理可知，问题5.1.1至少存在一个全局极小解$x^{\ast }$，假设还有另外一个全局极小解$y^{\ast }$，那么$f(x^{\ast })=f(y^{\ast })$，根据强拟凸函数的定义，对任意的$\lambda$，有
f ( λ x ∗ + ( 1 − λ ) y ∗ ) < m a x { f ( x ∗ ) , f ( y ∗ ) } = f ( x ∗ ) f(\lambda{x^*}+(1-\lambda)y^*)<max\{f(x^*),f(y^*)\}=f(x^*) f(λx∗+(1−λ)y∗)<max{f(x∗),f(y∗)}=f(x∗)
这与$x^{\ast }$的全局最优性矛盾

从强拟凸函数的定义可知，任意强凸函数均为强拟凸的，但凸函数并不一定是强拟凸的。

5.2 无约束可微问题的最优性利用

无约束可微优化问题通常表示为如下形式
$$\underset{x\in R^n}{\min }f(x)\text{\hspace{1em}(5.2.1)}$$
其中假设$f$是连续可微函数。给定一个点$\bar{x}$，我们想要知道这个点是否是函数$f$的一个局部极小解或者全局极小解。如果从定义出发，需要对其领域内的所有点进行判断，这是不可行的。因此，需要一个更简单的方式来验证一个点是否为极小值点。我们称其为最优性条件，它主要包含一阶最优性条件和二阶最优性条件。

5.2.1 一阶最优性条件

一阶最优性条件是利用梯度（一阶）信息来判断给定点的最优性。这里是考虑目标函数可微的情形，并给出下降方向的定义
定义5.2（下降方向）对于可微函数$f$和点$x\in R^n$，如果存在向量$d$满足
$$\nabla f(x{)}^{T}d<0$$
那么称$d$为$f$在$x$处的一个下降方向
由下降方向的定义，容易验证：如果$f$在点$x$处存在一个下降方向$d$，那么对于任意的$T>0$，存在$t\in (0,T]$，使得
$$f(x+td)<f(x)$$
因此，在局部最优点处不能有下降方向，我们有如下一阶必要条件

定理5.3（一阶必要条件）假设$f$在全空间$R^n$可微，如果$x^{\ast }$是一个局部极小点，那么
$$\nabla f(x^{\ast })=0$$

注意，这只是一个必要条件，满足$\nabla f(x)=0$的点为$f$的稳定点，除了一阶必要条件，还需要对函数加一些额外的限制条件，才能保证最优解的充分性。

5.2.2 二阶最优性条件

在没有额外假设时，如果一阶必要条件满足，我们仍不能确定当前点是否是一个局部极小点，这里考虑使用二阶信息来进一步判断给定点的最优性。
假设$f$在点$x$的一个开邻域是二阶连接可微的，类似于一阶必要条件的推导（刚刚证明没写），可以借助当前点处的二阶泰勒展开来逼近该函数在该点附近的取值情况，从而来判断最优性，具体地，在点$x$处我们考虑泰勒展开
$$f(x+d)=f(x)+\nabla {f(x)}^{T}d+\frac{1}{2}{d}^T{\nabla }^{2}f(x)d+o(||d|{|}^2)$$
因此，我们有如下二阶最优性条件
定理5.4：假设$f$在点$x^{\ast }$的一个开邻域内是二阶连续可微的，则以下最优性条件成立
二阶必要条件如果$x^{\ast }$是$f$的一个局部极小点，那么
$$\nabla f(x^{\ast })=0,{\nabla }^{2}f(x^{\ast })⪰0$$
二阶充分条件如果在点$x^{\ast }$处有
$$\nabla f(x^{\ast })=0,{\nabla }^{2}f(x^{\ast })\succ 0$$
成立，那么$x^{\ast }$为$f$的一个局部极小点

由定理5.4有如下结论，设点$\bar{x}$满足一阶最优性条件，且该点处的海瑟矩阵$${\nabla }^{2}f(\bar{x})$$不是半正定的，那么$\bar{x}$不是一个局部极小点。进一步的，如果海瑟矩阵${\nabla }^{2}f(\bar{x})$既有正特征值也有负特征值，我们称稳定点$\bar{x}$为一个鞍点。
注意，给出的是关于局部最优性的判断，全局最优性还需要额外加条件。

5.3 无约束不可微问题的最优性

本节仍考虑问题5.2.1
$$\underset{x\in R^n}{\min }f(x)$$
其中$f(x)$为不可微函数，很多实际问题的目标函数不是光滑的，例如$f(x)=||x|{|}_1$，对于此类问题，由于目标函数可能不存在梯度和海瑟矩阵，此时我们必须用其他最优性条件来判断不可微问题的最优点。

5.3.1 凸优化问题一阶充要条件

对于目标函数是凸函数的情形，我们已经引入了次梯度的概念并给出了其计算法则。一个自然的问题是：可以利用次梯度代替梯度来构造最优性条件吗，答案是肯定是，实际上有如下定理：
定理5.5 假设$f$是适当且凸的函数，则$x^{\ast }$为问题5.2.1的一个全局极小点当且仅当
$$0\in \partial f(x^{\ast })$$
这个结论比5.3要强，原因是凸问题有非常好的性质（5.3只考虑了可微，没有考虑凸），它的稳定点不存在鞍点，因此，可以通过计算凸函数的次梯度集合来求解其对应的全局极小点。

5.3.2 复合优化问题的一阶必要条件

在实际问题中，目标函数不一定是凸函数，但它可以写成一个光滑函数和非光滑凸函数的和。例如4.3节介绍的复合优化问题就具有这样的形式。其中目标函数的光滑项可能是凸的。比如LASSO问题，图像去噪问题和盲反卷积问题；也可能是非凸的，例如字典学习问题和神经网络的损失函数。因此研究此类问题的最优性条件十分必要。这里，我们考虑一般复合优化问题
$$\underset{x\in R^n}{\min }\psi (x)=f(x)+h(x)\text{\hspace{1em}(5.3.1)}$$
其中$f$为光滑函数（可能非凸），$h$为凸函数（可能非光滑）对于其任何局部最优解，我们给出如下一阶必要条件
定理5.6（复合优化问题一阶必要条件）令$x^{\ast }$为问题5.3.1的一个局部极小点，那么
$$-\nabla f(x^{\ast })\in \partial h(x^{\ast })$$
其中$\partial h(x^{\ast })$为凸函数$h$在$x^{\ast }$处的次梯度集合
$f$一定是光滑的，所以有导数
定理5.6在之后我们推导复合优化问题算法性质的时候非常重要，它给出了当目标函数一部分是非光滑凸函数时的一阶必要条件。
但是要注意，由于目标函数可能是整体非凸的，因此一般没有充分条件。

5.3.3 非光滑非凸问题的最优性条件

当函数$f$不可微且非凸时，其梯度和通常意义的次梯度都可能不存在，所以这本书对次梯度和次微分概念进行了某种推广，对适当下半联系函数依然可以定义次微分。
（中间就说了一些定义，我这里略过）
定理5.7（一阶必要条件）设$f$是适当下半连续函数，若$x^{\ast }$是$f(x)$的一个局部极小点，则有
$$0\in \partial f(x^{\ast })$$

5.3.4 实例

我们以$l_1$范数优化问题为例，给出其最优解的最优性条件，其一般形式可以写成
$$\underset{x\in R^n}{\min }\psi (x)=f(x)+\mu ||x|{|}_1$$
其中$f(x):R^n\to R$为光滑函数，正则系数$\mu >0$调节解的稀疏度，尽管$||x|{|}_1$是不可微的，但我们可以计算其次微分（我怎么感觉跟次梯度一样）
$${\partial }_i||x|{|}_1=\{\begin{array}{c}1,x_i>0\\ [-1,1],x_i=0\\ -1,x_i<0\end{array}$$
因此，如果$x^{\ast }$是问题5.3.2的一个局部最优解，那么其满足
$$-\nabla f(x^{\ast })\in \mu \partial ||x^{\ast }|{|}_1$$
即
$${\nabla }_{i}f(x^{\ast })=\{\begin{array}{c}-\mu ,x_i^{\ast }>0\\ [-\mu ,\mu ],x_i^{\ast }=0\\ \mu ,x_i^{\ast }<0\end{array}$$
进一步的，如果$f(x)$是凸的（比如LASSO问题），那么满足上式的$x^{\ast }$就是问题5.3.2的全局最优解

5.4 对偶理论

这一节以及本章之后的章节考虑一般的约束优化问题
$$\begin{gathered} \underset{x\in R^n}{\min }f(x) \\ s.t.c_i(x)\le 0,i\in \mathcal{I} \\ {c}_i(x)=0,i\in \epsilon \text{\hspace{1em}(5.4.1)} \end{gathered}$$
其中$c_i$为定义在$R^n$或其子集上的实值函数。$\mathcal{I}$和$\epsilon$分别表示不等式约束和等式约束对应的下标集合且各下标互不相同，这个问题的可行域定义为
χ = { x ∈ R n ∣ c i ( x ) ≤ 0 , i ∈ I 且 c i ( x ) = 0 , i ∈ ε } \chi=\{x{\in}R^n|c_i(x){\le}0,i{\in}{\mathcal{I}}且c_i(x)=0,i{\in}\varepsilon\} χ={x∈Rn∣ci​(x)≤0,i∈I且ci​(x)=0,i∈ε}
我们可以通过将$\chi$的示性函数加到目标函数中得到无约束优化问题，但是转化后问题的目标函数是不连续的、不可微的以及不是有限的，这导致我们难以分析其理论性质以及设计有效的算法，对于约束优化问题，可行性问题是应该最先考虑的。

5.4.1 拉格朗日函数与对偶问题

研究问题（5.4.1）的重要工具之一是拉格朗日函数，它的基本思想是给该问题的每一个约束指定一个拉格朗日乘子，以乘子为加权系数将约束增加到目标函数中，令${\lambda }_i$为对应于第$i$个不等式约束的拉格朗日乘子，$v_i$为对应于第$i$个等式约束的拉格朗日乘子，为了构造合适的对偶问题，基本原则是对拉格朗日乘子添加合适的约束条件，使得$f(x)$在问题（5.4.1）的任意可行点$x$处大于或等于相应的拉格朗日函数值，（因为不等式约束我们都转化成$\le$ 0了）。根据这个原则，我们要求$\lambda \ge 0$，记$m=|\mathcal{I}|,p=|\epsilon |$，则拉格朗日函数的具体形式
$$L(x,\lambda ,v)=f(x)+\sum _{i\in \mathcal{I}}{\lambda }_i{c}_i(x)+\sum _{i\in \epsilon }{v}_i{c}_i(x)\text{\hspace{1em}(5.4.2)}$$
5.4.2中的加号也可以修改为减号，同时调整相应乘子的约束条件使得上述下界原则满足即可

对拉格朗日函数$L(x,\lambda ,v)$中的$x$取下确界可定义拉格朗日对偶函数，这一函数将在对偶理论中起关键作用
定义5.4：拉格朗日对偶函数$g:R_{+}^m\times R^p\to [-\infty ,+\infty )$是拉格朗日函数$L(x,\lambda ,v)$对于$\lambda \in R_{+}^m,v\in R^p$关于$x$取的下确界
$$g(\lambda ,v)=\underset{x\in R^n}{\inf }L(x,\lambda ,v)\text{\hspace{1em}(5.4.3)}$$
固定$(\lambda ,v)$，如果拉格朗日函数关于$x$无界，那么对偶函数在$(\lambda ,v)$取值为$-\infty$，因为拉格朗日对偶函数是逐点定义的一族关于$(\lambda ,v)$的仿射函数的下确界，根据定理2.13的（5）可知其为凹函数（这里我没懂他是怎么直接利用定理去证的，在网上找到一个证明的方式）

噢。。好像利用那个，仿射函数是既凸又凹的（仿射函数的定义域是凸集那么仿射函数就是凸的），可以直接利用定理去证。

对每一对满足$\lambda \ge 0$的乘子对$(\lambda ,v)$，拉格朗日函数给原优化问题的最优值$p^{\ast }$提供了下界，且该下界依赖于$\lambda$和$v$的选取

引理5.1（弱对偶原理）对于任意的$\lambda \ge 0$和$v$，拉格朗日对偶函数给出了优化问题（5.4.1）最优值的一个下界，即
$$g(\lambda ,v)\le p^{\ast },\lambda \ge 0\text{\hspace{1em}(5.4.4)}$$

那么一个自然的问题是，从拉格朗日对偶函数获得的下界中，哪个是最优的呢？为了求解该最优的下界，便有如下拉格朗日对偶问题
$$\underset{\lambda \ge 0,v}{\max }g(\lambda ,v)=\underset{\lambda \ge 0,v}{\max }\underset{x\in R^n}{\inf }L(x,\lambda ,v)\text{\hspace{1em}(5.4.8)}$$
向量$\lambda$和$v$也称为问题（5.4.1）的对偶变量或者拉格朗日乘子向量，由于其目标函数的凹性和约束集合的凸性，拉格朗日对偶问题是一个凸优化问题。
当$g(\lambda ,v)=-\infty$时，对偶函数提供的$p^{\ast }$的下界变得没有实际意义。只有当$g(\lambda ,v)>-\infty$时，对偶函数生成的关于原始问题最优解$p^{\ast }$的下界才是非平凡的，因此我们规定拉格朗日对偶函数的定义域
$$domg=\{(\lambda ,v)|\lambda \ge 0,g(\lambda ,v)>-\infty \}$$
当$(\lambda ,v)\in domg$时，称其为对偶可行解。记对偶问题的最优值为$q^{\ast }$，称$p^{\ast }-q^{\ast }$为对偶间隙，如果对偶间隙为0，称强对偶原理成立
假设$({\lambda }^{\ast },v^{\ast })$是使得对偶问题取得最优值的解，称其为对偶最优解或者最优拉格朗日乘子
拉格朗日对偶问题的写法并不唯一，如果问题（5.4.1）中有些约束，则可以不把这些约束松弛到拉格朗日函数里。

5.4.2 带广义不等式约束优化问题的对偶

问题（5.4.1）中的不等式约束$c_i(x),i\in \mathcal{I}$都是实值函数的形式，在许多实际应用中，我们还会遇到大量带广义不等式约束的优化问题，例如自变量$x$可能取值于半正定矩阵空间中，对于这类约束我们不易将其化为$c_i(x)\le 0$的形式，那么此时该如何做呢？

1.适当锥和广义不等式

定义广义不等式需要利用适当锥的概念
定义5.5（适当锥）称满足如下条件的锥K为适当锥
（1）K是凸锥
（2）K是闭集
（3）K是实心的，即$intK\ne \varnothing$
（4）K是尖的，即对任意非零向量$x$，若$x\in K$，则$-x\notin K$，也即K无法容纳直线

2.对偶锥

在构造拉格朗日对偶函数时，针对不等式约束$c_i(x)\le 0$我们引入拉格朗日乘子${\lambda }_i\ge 0$，之后将${\lambda }_i{c}_i(x)(\le 0)$作为拉格朗日函数中的一项，那么对于广义不等式，应该如何对拉格朗日乘子提出限制呢？此时需要借助对偶锥的概念
定义5.6（对偶锥）令$K$为全空间$\Omega$的子集，称集合
$$K^{\ast }=y\in \Omega |<x,y>\ge 0,\forall x\in K$$
为其对偶锥

正如定义所说，对偶锥是一个锥（哪怕K不是锥）$K^{\ast }$中的向量和$K$中所有向量夹角均为锐角或直角

半正定锥的对偶锥仍为半正定锥，此时满足$K=K^{\ast }$的锥K为自对偶锥，因此非负锥和半正定锥都是自对偶锥

直观来说，对偶锥$K^{\ast }$中的向量和原锥K向量的内积恒非负，这一性质可以用来构造拉格朗日对偶函数。

3.广义不等式约束优化问题拉格朗日函数的构造

如果将不等式约束函数换成向量函数，并且推广定义相应的广义不等式约束，我们可以得到如下形式的优化问题
$$\begin{gathered} \underset{x\in R^n}{\min }f(x) \\ s.t.c_i(x){⪯}_K,0,i\in \mathcal{I} \\ {c}_i(x)=0,i\in \epsilon \text{\hspace{1em}(5.4.11)} \end{gathered}$$
其中$f;R^n\to R,c_i:R^n\to R,i\in \epsilon ,为实值函数，c_i:R^n\to R^k,k_i\in N_{+},i\in \mathcal{I}$为向量值函数，$K_i$为某种适当锥且${⪯}_K$表示由锥$K_i$定义的广义不等式，因此，问题5.4.1是问题5.4.11中取$k_i=1，K_i=R_{+},\forall i\in \mathcal{I}$时的特殊情形
根据$K_i,i\in \mathcal{I}$的对偶锥$K_i^{\ast }$，我们对广义不等式约束分别引入乘子${\lambda }_i\in K_i^{\ast },i\in \mathcal{I}$，对等式约束引入乘子$v_i\in R,i\in \epsilon$，构造如下拉格朗日函数
$$L(x,\lambda ,v)=f(x)+\sum _{i\in \mathcal{I}}<c_i(x),{\lambda }_i>+\sum _{i\in \epsilon }{v}_i{c}_i(x),{\lambda }_i\in K_i^{\ast },v_i\in R$$
容易验证$L(x,\lambda ,v)\le f(x),\forall x\in \chi ,{\lambda }_i\in K_i^{\ast },v_i\in R$，我们可以定义拉格朗日对偶函数
$$g(\lambda ,v)=\underset{x\in R^n}{\inf }L(x,\lambda ,v)$$
因此，对偶问题为
$$\underset{{\lambda }_i\in K_i^{\ast },v_i\in R}{\max }g(\lambda ,v)$$

每个优化问题都对应一个对偶问题，相比原始问题，对偶问题总是凸的，其最优值给出了原始问题（极小化问题）一个下界，如果原始问题满足一定的条件，我们可以从理论上证明原始问题和对偶问题的最优值是相等的，当原始问题的约束个数比决策变量维度更小时，对偶问题的决策变量维数会比原始问题小，从而可能在相对较小的决策空间中求解