最小二乘是一大类问题，而不是一个简单的方法

适用于：线性（非线性）方程组问题，如果观测带有噪声，我们需要建立最小二乘模型。如果噪声符合高斯分布，即最小二乘问题的解对应于原问题的最大似然解。

如果方程组是线性的（很好将测量值和待估计值分离），我们称问题为线性最小二乘问题，否则称其为非线性最小二乘问题。

线性最小二乘问题求解方法：
1）非齐次方程组
AX=b

2）齐次方程组
AX=0
SVD分解

非线性最小二乘问题求解方法：

整体能够看的出来，线性的可以直接解公式，非线性的则需要求导，利用迭代求解

例子1：
假设我们要求重力加速度，h=1/2gt^2
我们测了很多组高度和时间，因此这个问题是线性最小二乘问题，可以用正规方程组法

例子2：
假设我们有一个方程有很多未知数，其中未知数有角度，幂指数等，这些未知数我们无法直接拆解出来
这个问题是非线性最小二乘问题，我们用迭代方法，可以选用高斯牛顿法或者LM法
我们需要首先构造观测方程：在观测值和待估参数之间建立的函数关系式。

L为观测值，f（x）为函数值，V（x）为观测残差，x为未知参数组成的向量 最小二乘准测为求x^使得观测残差的平方最小 由于LL是恒定的，因此目标函数为 然后利用高斯牛顿法进行迭代求解（这里有个关键问题，你需要对每个变量进行求导，获得雅可比矩阵，但是你手算求导肯定是很难的，可以借助matlab求导）

设

高斯牛顿