一、什么是最小二乘法

最小二乘法（Least Squares Method）是一种数学优化技术，常用于拟合数据和估计参数。它的主要目标是找到一个函数，使其预测值与观测值之间的残差平方和最小化。

在最小二乘法中，通常考虑一个具有nn个数据点的数据集，每个数据点包含一个自变量，和一个对应的因变量。假设我们有一个模型函数，其中θ是模型的参数。我们希望通过调整参数θ来使模型的预测值尽可能接近观测值。

最小二乘法通过最小化残差平方和来确定最佳参数θ。残差是观测值与模型预测值之间的差异。通过定义残差，最小二乘法的目标是找到参数θ，使得残差平方和最小化，即：

通过求解这个最小化问题，我们可以得到最佳的参数θ，使得模型的拟合效果最好。最小二乘法适用于许多不同的问题，如线性回归、多项式拟合等，是统计学和机器学习中常用的技术之一。

 二、公式推导

假设数据点为 ，使用如下一次函数去拟合：

                        ​​​​​​​        

对于，采用上述函数计算出的结果记为，即：

                                

定义差距：

        ​​​​​​​        

 

 

三、代码实现

普通代码实现：

向量实现

四、决定系数R²

 代码实现

代码地址：https://gitee.com/feng-cai/LinearFunctionFitting.Demo