本文ppt来自深蓝学院《机器人中的数值优化》

目录

1 凸函数的性质

​2 凸函数的性质

---

1 凸函数的性质

凸函数最重要的性质就是Jensen's inequality,也就是琴生不等式。

若能取到等号则是凸函数，若不能取到等号则是强凸函数，若不等号相反，则是凹函数。

上方图就是函数上方的区域，“凸函数”与“上方图是凸集”是充要条件

凸函数的下水平集也是凸集，一维的比较好理解，二维的可以根据上图理解

拟凸函数的和不一定还是拟凸，凸函数的和仍是凸的，可见凸这种性质比较容易保留

凸函数经过仿射变换仍然是凸函数：因为凸函数的上方图经过仿射变换仍然是凸的

point-wise max：逐点取大运算，即通过将运算分别应用于定义域中每个点的函数值来定义函数的取大运算

2 凸函数的性质

 

凸函数一定在线性近似函数的上方

若某点梯度为0，则所有其他函数值都大于等于这一点的函数值，可见凸函数的局部最优解就是全局最优解

可见非凸函数在极小值附近总能找到一个凸函数去近似

 

强凸的函数性质如上，强凸意味着hessian矩阵严格正定。强凸对提高算法收敛速率又很大帮助

  

条件数：存在hessian矩阵的函数，作奇异值分解，最大的奇异值除最小的奇异值就是条件数，可导但没有二阶信息的函数，通过利普希茨常数与强凸函数的常数的比值得到条件数，对于一般的不可微的函数，构造等高线，长轴与短轴之比为条件数

条件数决定了我们需不需要在优化算法中利用函数的高阶信息

次梯度针对非光滑函数

次梯度的反方向不一定是下降方向，次梯度集合中模长最短的次梯度的反方向是最快下降方向

 

次梯度左极限与右极限的凸组合就是次梯度集合

次梯度与梯度的单调性