最小二乘法是一种求解线性回归模型的优化方法，其目标是最小化数据点和拟合直线之间的残差平方和。这意味着最小二乘法关注的是找到一个直线，使得所有数据点与该直线的偏差的平方和最小。在数学公式中，如果y是实际值，y'是函数估计值，那么最小二乘法求解的是使sum((y-y')^2)最小的参数。

     

最小二乘法公式

 

设函数模型为 y = ax+b

此时只需要求参数是a 和 b

损失函数为

我们要求它的偏导数为零，从而得到参数的最优解。 

对于上述关于a和b的线性方程组，我们可以用代数的方法或者矩阵的方法来求解它们 。