问题解决流程

idea - math - optimization - algorithm

引例：回归

question：123456x，预测x值为多少？
idea：$f(x_i)=a^t{x}_i+b,f(x_i)\approx y_i$，使用$f(x)$预测新样本$x$。
optimization：使用L1、L2范数度量$f(x_i)$和$y_i$的差距，即loss function。如何求出参数使得loss function最小？- 偏导数为0。
algorithm：GD、Newton’s method

回归

引例：分类

分类

线性可分

FLD

FLD思想：同类点近，不同点远。

根据这个思想，实际的做法是找一条直线，其方向为$\omega$，对线性可分的点进行投影，在该直线上，同类点的投影点更近，异类点的投影点更远。进而做一条垂直于该直线的分类线。

先找到投影λ与xi的关系，然后利用w与v垂直内积为0，求出投影λ的表达式，

同类相近：要使得C1方差小和C-1的方差小，则将两个优化问题合并为一个优化问题。
异类相远：没有办法计算所有点，所以选择代表性的均值的距离作为两个集合的距离。

再次将两个优化目标合并为一个单优化目标进行优化。

线性不可分

智能计算讨论范围

智能计算讨论的是问题解决流程中的math和optimization。

下降法

为什么要用下降法？- 解析解很难写出公式或很复杂难计算

考虑求极值问题场景，需要找到一个$x^{\ast }$使得$f(x^{\ast })$小于等于邻域内的任意$f(x)$，$x^{\ast }$是极小值问题的解，因为$x^{\ast }$的解析解很难写出公式或者可以写出但是公式很复杂难计算，所以考虑使用下降法。

解析解：指通过严格的公式所求得的解。即包含分式、三角函数、指数、对数甚至无限级数等基本函数的解的形式。给出解的具体函数形式，从解的表达式中就可以算出任何对应值。解析解为一封闭形式的函数，因此对任一独立变量，皆可将其代入解析函数求得正确的相依变量。因此，解析解也称为闭式解。

解析法：用来求得解析解的方法称为解析法，解析法是常见的微积分技巧，如分离变量法等。

下降法亦称极小化方法，是一类重要的迭代法。这类方法将方程组求解问题转化为求泛函极小问题。

使用下降法，找出一系列函数值递减的$f(x)$序列，这个下降过程不是一直持续下去的过程，根据一些停止条件得到一个$x_k$时，这个$x_k$即优化问题的解$x^{\ast }$。

有哪些常用的下降法？- 梯度下降&高斯-牛顿法

梯度下降（Gradient Descent）- 本质：一阶泰勒展开式近似

优化问题：在$x$的邻域内，找到一个$x+\Delta x$，使得$f(x)>f(x+\Delta x)$，且$f(x+\Delta x)$在该邻域最小。

数学问题：如何找到该邻域最小$f(x+\Delta x)$？

问题难点：因为$f(x)$优化问题的解析解不容易求解，因此$f(x+\Delta x)$优化问题的解析解也不容易求解。

解决方法：考虑$f(x+\Delta x)$的线性近似——一阶泰勒展开式。将$\underset{||\Delta x||\le \epsilon }{\min }f(x+\Delta x)$问题转换为$\underset{||\Delta x||\le \epsilon }{\min }(f(x)+a^t\Delta x)$，因为$\underset{||\Delta x||\le \epsilon }{\min }(f(x)+a^t\Delta x)$中$f(x)$是固定的，$\Delta x$是变量，所以问题可再次简化为$\underset{||\Delta x||\le \epsilon }{\min }{a}^t\Delta x$。

如何找到一阶泰勒展开式的最优解（最小值）？- 柯西一施瓦兹不等式

根据柯西一施瓦兹不等式(Cauchy-Schwarz inequality)，$a^t\Delta x$ 的最小值是显而易见的。

由以上不等式可得：$-||a||\cdot ||b||\le <a,b>\le ||a||\cdot ||b||$。
当且仅当a和b共线同向时，a和b线性正相关，$<a,b>\le ||a||\cdot ||b||$成立。
当且仅当a和b共线反向时，a和b线性负相关，$-||a||\cdot ||b||\le <a,b>$成立。

当$\Delta x=-\lambda a$时，表示$\Delta x$与$a$线性负相关，共线反向，$a^t\Delta x=-\epsilon ||a||$成立。

一阶泰勒展开式中，a表示梯度，所以下降最快的方向为梯度的反方向。

结论：下降最快的方向为梯度的反方向，即梯度下降。

$\lambda$即为学习率。

牛顿法 - 本质：二阶泰勒展开式近似

优化问题：在$x$的邻域内，找到一个$x+\Delta x$，使得$f(x)>f(x+\Delta x)$，且$f(x+\Delta x)$在该邻域最小。

数学问题：如何找到该邻域最小$f(x+\Delta x)$？

问题难点：因为$f(x)$优化问题的解析解不容易求解，因此$f(x+\Delta x)$优化问题的解析解也不容易求解。

解决方法：考虑$f(x+\Delta x)$的线性近似——二阶泰勒展开式。将$\underset{||\Delta x||\le \epsilon }{\min }f(x+\Delta x)$问题转换为$\underset{\Delta x}{\min }(f(x)+a^t\Delta x+\frac{1}{2}(\Delta x{)}^{t}P\Delta x)$，其中$f(x)$是固定的，$\Delta x$是变量，$a^t\Delta x$是关于$\Delta x$一次函数，$\frac{1}{2}(\Delta x{)}^{t}P\Delta x)$是$\Delta x$二次函数。

因为使用二阶泰勒展开式近似，$f(x+\Delta x)$可看做一个二次函数，可以找到全局最优值，而不需要在邻域中讨论，所以可以删除$||\Delta x||\le \epsilon$条件。

如何找到二阶泰勒展开式的最优解（最小值）？- 梯度=0

令$g(\Delta x)=\underset{\Delta x}{\min }(f(x)+a^t\Delta x+\frac{1}{2}(\Delta x{)}^{t}P\Delta x)$，对$g(\Delta x)$求关于$\Delta x$的微分，即梯度$\nabla g$，令$\nabla g=0$，求出$\Delta x=-P^{-1}a=-({\nabla }^{2}f(x){)}^{-1}(\nabla f(x))$即为最优解。实际使用时，为了防止$({\nabla }^{2}f(x){)}^{-1}(\nabla f(x))$过大，偏移过远，拟合不准确的问题，需要添加学习率$\lambda$，即$\Delta x=-\lambda ({\nabla }^{2}f(x){)}^{-1}(\nabla f(x))$。

缺点：求解Hessian矩阵的复杂度很高。所以如果Hessian矩阵没有快速计算的方法就会导致迭代过慢，所以牛顿法没有梯度下降法使用频率高。

分类&回归

线性分析

常用不等式

绝对值不等式

$|a_1+\cdot \cdot \cdot +a_n|\le |a_1|+\cdot \cdot \cdot +|a_n|$

柯西不等式

$<a,b>\le ||a||\cdot ||b||$

$({\sum }_{i=1}^n{a}_i{b}_i{)}^2\le ({\sum }_{i=1}^n{a}_i^2)({\sum }_{i=1}^n{b}_i^2)$

数学研究问题，从群（加）到线性空间（加乘），到赋范线性空间（距离）再到hilbert空间（几何（角度））。



内积的概念很重要，因为有了内积就有了几何结构。

算术-几何平均不等式

数列极限

序列极限

上极限

下极限

级数

无穷数列和。

点集拓扑

开集

开集性质

任意个开集之并是开集，有限个开集之交是开集。

闭集

“闭”：包含极限点。

闭集性质

任意个闭集之交是闭集，有限个闭集之并是闭集。

紧集

有界闭集。

Heine-Borel定理

${\mathbb{R}}^n$ 上紧集的任何开覆盖都存在有限子覆盖。

例题：判断${\mathbb{R}}^n$和$\varnothing$是否开闭紧？

${\mathbb{R}}^n$ 不是紧集，因为没有边界。

函数连续性

函数连续定义

Lipshitz函数是连续函数

Lipshitz函数与机器学习

参考：Lipschitz函数与机器学习 - gwave的文章 - 知乎

深度学习对输入很敏感，微小的扰动就可能对结果产生很大的影响，将少量精心选择的长臂猿梯度噪声混人熊猫的照片，算法就把熊猫误认为是长臂猿了，Lipschitz常数是种衡量网络稳定性的测度，bound住了输出变化对输入微扰的上限。

连续函数逼近

拉格朗日插值定理

连续函数性质

最值定理

波尔查诺-维尔斯特拉斯定理，又称为致密性定理。指有界数列必有收敛子列。从极限点的角度来叙述致密性定理，就是：有界数列必有极限点。

介值定理

不连续函数

导数

一元函数导数

定义

意义

性质

极值定理

微分中值定理

洛必达法则

常用公式

$C^{\infty }$

$C^1$：函数一阶导数存在。
$C^2$：函数二阶导数存在。
$C^3$：函数三阶导数存在。
…
$C^{\infty }$：函数任意阶导数都存在。

多元多值函数

可微

梯度存在

什么情况下梯度存在可以推出函数可微？