一、算法思想

线性回归方程在神经网络深度学习中线性回归方程是需要掌握的最基础的式子，就是：y=wx+b,其中w,b是未知的。

神经网络就是可以通过收集大量的数据集，然后将这些数据集进行训练后得到几个较为准确的参数，训练数据集后会得到两个参数，当损失率越小，那么测试集得到的数据就越准确。

二、算法原理

在常规的神经网络中，神经网络结构中有多个层，非线性激活函数和每个节点上面的偏差单元。使用一个有一个或者多个权重w的层，在简单线性回归中，权重w和偏差单元一般都写成一个参数向量β，其中偏差单元是y轴上面的截距，w是回归线的斜率。

三、算法分析

（1）数据处理：即得到y和x，不过在这里称为标签和特征，之后当用更加复杂的数据以及模型的时候，则需要对其进行一些预处理来的到更好的结果

（2）构建模型：在这里的模型就是线性回归函数y = k*x+b

（3）训练模型：在这个过程中，会不断调整k和b的值来贴近真实值，具体怎么操作在之后会详细说明

（4）预测：很明显，就是通过新的x值来预测以后的y值

四、源程序代码

import numpy as np
import matplotlib.pyplot as plt
 
# 样本数据
x = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20]
y = [3, 4, 5, 5, 2, 4, 7, 8, 11, 8, 10, 11, 13, 13, 16, 17, 16, 17, 18, 20]
m = 20  # 样本数量
alpha = 0.01  # 学习率
θ_0 = 1  # 初始化θ_0的值
θ_1 = 1  # 初始化θ_1的值
 
 
# 预测目标变量y的值
def predict(θ_0, θ_1, x):
    y_predicted = θ_0 + θ_1 * x
    return y_predicted
 
 
# 遍历整个样本数据，计算偏差，使用批量梯度下降法
def loop(m, θ_0, θ_1, x, y):
    sum1 = 0
    sum2 = 0
    error = 0
    for i in range(m):
        a = predict(θ_0, θ_1, x[i]) - y[i]
        b = (predict(θ_0, θ_1, x[i]) - y[i]) * x[i]
        error1 = a * a
        sum1 = sum1 + a
        sum2 = sum2 + b
        error = error + error1
    return sum1, sum2, error
 
 
# 批量梯度下降法进行更新θ的值
def batch_gradient_descent(x, y, θ_0, θ_1, alpha, m):
    gradient_1 = (loop(m, θ_0, θ_1, x, y)[1] / m)
    while abs(gradient_1) > 0.001:  # 设定一个阀值，当梯度的绝对值小于0.001时即不再更新了
        gradient_0 = (loop(m, θ_0, θ_1, x, y)[0] / m)
        gradient_1 = (loop(m, θ_0, θ_1, x, y)[1] / m)
        error = (loop(m, θ_0, θ_1, x, y)[2] / m)
        θ_0 = θ_0 - alpha * gradient_0
        θ_1 = θ_1 - alpha * gradient_1
    return (θ_0, θ_1, error)
 
 
θ_0 = batch_gradient_descent(x, y, θ_0, θ_1, alpha, m)[0]
θ_1 = batch_gradient_descent(x, y, θ_0, θ_1, alpha, m)[1]
error = batch_gradient_descent(x, y, θ_0, θ_1, alpha, m)[2]
print("The θ_0 is %f, The θ_1 is %f, The The Mean Squared Error is %f " % (θ_0, θ_1, error))
 
plt.figure(figsize=(6, 4))  # 新建一个画布
plt.scatter(x, y, label='y')  # 绘制样本散点图
plt.xlim(0, 21)  # x轴范围
plt.ylim(0, 22)  # y轴范围
plt.xlabel('x', fontsize=20)  # x轴标签
plt.ylabel('y', fontsize=20)  # y轴标签
 
x = np.array(x)
y_predict = np.array(θ_0 + θ_1 * x)
plt.plot(x, y_predict, color='red')  # 绘制拟合的函数图
plt.show()