一，最优化问题

http://faculty.bicmr.pku.edu.cn/~wenzw/optbook/opt1.pdf

最优化问题（也称优化问题）泛指定量决策问题，主要关心如何对有限 资源进行有效分配和控制，并达到某种意义上的最优。

最优化问题一般可以描述为

即求满足约数函数的条件下，目标函数的最小值。 

二，最优化问题分类

1，按照目标函数和约束函数的形式来分

最优化问题可以分为连续和离散优化问题两大类，连续优化问题中，当目标函数和约束函数均为线性函数时，称为线性规划，否则称为非线性规划。

（1）离散优化问题

如：变量只能取整数的问题称为整数规划。

（2）线性规划问题

如：在线性约束下极小化关于半正定矩阵的线性函数的问题称为半定规划，其广义形式为锥规划。

线性规划问题的研究很早便得到了人们的关注．在 1946—1947 年，George Bernard Dantzig 提出了线性规划的一般形式并提出了至今仍非常流行的单 纯形方法．虽然单纯形方法在实际问题中经常表现出快速收敛，但是其复杂 度并不是多项式的．1979 年，Leonid Khachiyan 证明了线性规划问题多项 式时间算法的存在性．1984 年，Narendra Karmarkar 提出了多项式时间的 内点法．后来，内点法也被推广到求解一般的非线性规划问题．目前，求解 线性规划问题最流行的两类方法依然是单纯形法和内点法．

（3）非线性规划问题

如：目标函数是二次函数而约束函数是线性函数则称为二次规划；包含非光滑函数的问题称为非光滑优化；不能直接求导数的问题称为无导数优化。

2，按照最优解的性质来分

最优解只有少量非零元素的问题称为稀疏优化；最优解是低秩矩 阵的问题称为低秩矩阵优化．此外还有几何优化、二次锥规划、张量优化、 鲁棒优化、全局优化、组合优化、网络规划、随机优化、动态规划、带微分方程约束优化、微分流形约束优化、分布式优化等。

3，按照是否有约束来分

很多约束优化问题的求解也是转化为一系列的无约束优化问题来做，常见方式有 增广拉格朗日函数法、罚函数法等．

4，按照随机和确定来分

随机优化问题是指目标或者约束函数中涉及随机变量而带有不确定性 的问题．不像确定性优化问题中目标和约束函数都是确定的，随机优化问题 中总是包含一些未知的参数．

5，凸和非凸优化问题

凸优化问题是指最小化问题 中的目标函数和可行域分别是凸函 数和凸集．如果其中有一个或者两者都不是凸的，那么相应的最小化问题是 非凸优化问题。

因为凸优化问题的任何局部最优解都是全局最优解，其相应 的算法设计以及理论分析相对非凸优化问题简单很多．