最小二乘法处理线性回归

news2024/12/24 13:08:04

最小二乘法是一种数学优化技术，用于查找最适合一组数据点的函数。该方法主要用于线性回归分析，当然，也可用于非线性问题。

开始之前，我们先理解一下什么是回归。

回归：回归是一种监督学习算法，用于建模和分析两个或多个变量之间的关系。具体来说，回归分析旨在了解自变量（输入特征）和因变量（输出或目标）之间的关系。当您有数据点并想要使用一个或多个变量来预测或解释另一个变量时，通常会使用回归分析。

回归有很多中：

线性回归：因变量和自变量之间的关系被建模为线性方程
$y = a x + b$
多元线性回归：允许有两个或多个自变量。
$y = a 1 x 1 + a 2 x 2 + \dots + an x n + b$
多项式回归：因变量和自变量之间的关系被建模为多项式方程。

$y = a 1 x 2 + a 2 x + b$

逻辑回归、岭回归、决策树回归、随机森林回归等等…

由于一些问题，这里我们只从简单的线性回归开始。如果还有其他疑问，或者想了解更多内容，欢迎评论。

简单线性方程公式如下：

$y = a x + b$

其中：

y 是因变量
x 是自变量
a 是斜率
b 是截距

x 和 y 是我们已知的值。当我们找到a和b的值时，我们可以将它们带入公式来解决线性回归问题。

要求斜率和截距的值，可以使用最小二乘法来计算。

最小二乘法求解a、b公式如下：

$\frac{n(\sum xy) - (\sum x)(\sum y)}{n(\sum x^2) - (\sum x)^2} \$

$\frac{\sum y - a \sum x}{n} \$

其中：

$\sum x$ 是 x 值的总和
$\sum y$ 是 y 值的总和
$\sum xy$ 是 x 和 y 的乘积的总和
$\sum x^2$ 是 x 的平方的总和
$n$ 是样本数量

假设我们有一堆数据：

a = [[1, 2], [2, 4], [3, 3], [4, 6], [5, 6]]

在这里插入图片描述

让我们使用这些公式来手动计算 a 和 b 的值：

import numpy as np

a = np.array([[1, 2], [2, 4], [3, 3], [4, 6], [5, 6]])
x = a[:, 0]
y = a[:, 1]

n = len(x)

sum_x = np.sum(x)
sum_y = np.sum(y)
sum_x2 = np.sum(x ** 2)
sum_xy = np.sum(x * y)

slope = (n * sum_xy - sum_x * sum_y) / (n * sum_x2 - sum_x ** 2)
intercept = (sum_y - slope * sum_x) / n

slope, intercept