【机器学习】：线性回归模型学习路线

news2024/11/22 14:55:34

Hi~！这里是奋斗的小羊，很荣幸您能阅读我的文章，诚请评论指点，欢迎欢迎 ~~
💥💥个人主页：奋斗的小羊
💥💥所属专栏：C语言

🚀本系列文章为个人学习笔记，在这里撰写成文一为巩固知识，二为展示我的学习过程及理解。文笔、排版拙劣，望见谅。

- 初识线性回归模型
- 学习必备数学知识
- 掌握数据预处理技巧
- 学习模型训练过程
- 掌握模型评估指标
- 1. 初识线性回归模型
- 2. 学习必备数学知识
- 3. 掌握数据预处理技巧
- 4. 学习模型评估指标
- 5. 深入理解模型训练过程
- 6. 掌握模型调参技巧

初识线性回归模型

线性回归模型是一种用于建立自变量与因变量之间线性关系的模型。例如，在房价预测问题中，我们可以使用线性回归模型来预测房屋价格与房屋面积之间的关系。

import numpy as np
from sklearn.linear_model import LinearRegression

# 创建示例数据
X = np.array([[1], [2], [3], [4]])
y = np.array([2, 4, 6, 8])

# 构建线性回归模型
model = LinearRegression()
model.fit(X, y)

# 预测房屋价格
new_X = np.array([[5]])
predicted_price = model.predict(new_X)
print("预测房屋价格：", predicted_price)

学习必备数学知识

在学习线性回归模型时，深入理解相关数学知识非常重要。例如，我们需要了解线性代数中的矩阵运算，微积分中的梯度下降算法等。

import numpy as np

# 矩阵乘法示例
A = np.array([[1, 2], [3, 4]])
B = np.array([[5], [6]])
result = np.dot(A, B)
print("矩阵相乘结果：", result)

掌握数据预处理技巧

在实际应用中，数据预处理是机器学习的重要一步。例如，在预测学生考试成绩问题中，我们需要对数据进行缺失值处理和特征缩放等预处理操作。

import pandas as pd
from sklearn.preprocessing import StandardScaler

# 读取数据
data = pd.read_csv("student_scores.csv")

# 处理缺失值
data.fillna(data.mean(), inplace=True)

# 特征缩放
scaler = StandardScaler()
data['score'] = scaler.fit_transform(data['score'].values.reshape(-1, 1))

学习模型训练过程

了解线性回归模型的训练过程对于深入理解模型至关重要。我们可以通过简单的例子来展示模型参数的更新过程。

import numpy as np

# 示例数据
X_train = np.array([[1], [2], [3]])
y_train = np.array([2, 4, 6])

# 初始参数
w = 0
b = 0
lr = 0.01

# 模型训练过程
for i in range(100):
    y_pred = w * X_train + b
    error = y_pred - y_train
    w -= lr * np.mean(error * X_train)
    b -= lr * np.mean(error)

print("训练后的参数 w 和 b 分别为：", w, b)

掌握模型评估指标

评估模型性能是优化模型的关键步骤。例如，在线性回归模型中，我们可以使用均方误差（MSE）来评估模型的预测效果。

from sklearn.metrics import mean_squared_error

# 计算均方误差
y_true = [3, -0.5, 2, 7]
y_pred = [2.5, 0.0, 2, 8]
mse = mean_squared_error(y_true, y_pred)
print("均方误差：", mse)