最简单的线性回归模型-标量

接上篇，由于batchsize为1，因此loss有很大的波动，这篇我们讨论batchsize大于1的情况。若batchsize数量为N，则$y=wx+b$的损失函数为：
$$\begin{array}{rl}L& =\sum _{i=1}^N(w{x}_i^{\ast }+b-y_i^{\ast }{)}^2\\ & =(w{\mathbf{x}}^T+b{\mathbf{e}}^T-{\mathbf{y}}^T)(w\mathbf{x}+b\mathbf{e}-\mathbf{y})\end{array}$$
为了方便计算在对损失函数乘一个数值，不影响其极值，因此将损失函数变为：
$$L=\frac{1}{2}\sum _{i=1}^N(w{x}_i^{\ast }+b-y_i^{\ast }{)}^2$$
求出$w$和$b$的梯度：
$$\begin{array}{rl}\frac{\partial L}{\partial w}& =\sum _{i=1}^N(w{x}_i^{\ast }+b-y_i^{\ast })x_i^{\ast }\\ & =\sum _{i=1}^{N}w{x}_i^{\ast 2}+\sum _{i=1}^{N}b{x}_i^{\ast }-\sum _{i=1}^N{y}_i^{\ast }{x}_i^{\ast }\\ & =w{\mathbf{x}}^T\mathbf{x}+b{\mathbf{e}}^T\mathbf{x}-{\mathbf{y}}^T\mathbf{x}\\ & =(w{\mathbf{x}}^T+b{\mathbf{e}}^T-{\mathbf{y}}^T)\mathbf{x}\end{array}$$
$$\begin{array}{rl}\frac{\partial L}{\partial b}& =\sum _{i=1}^N(w{x}_i^{\ast }+b-y_i^{\ast })\\ & =(w{\mathbf{x}}^T+b{\mathbf{e}}^T-{\mathbf{y}}^T)\mathbf{e}\end{array}$$
其中$\mathbf{x}$为每个batch中所有的$x^{\ast }$组成的N维列向量，$\mathbf{y}$为每个batch中所有的$y^{\ast }$组成的N维列向量，$\mathbf{e}$是长度为N的列向量，**使用向量表示可以让我们轻松使用numpy实现回归过程。**使用python实现结果如下：

import numpy as np
import random
import matplotlib.pyplot as plt

x = np.array([0.1,1.2,2.1,3.8,4.1,5.4,6.2,7.1,8.2,9.3,10.4,11.2,12.3,13.8,14.9,15.5,16.2,17.1,18.5,19.2])
y = np.array([5.7,8.8,10.8,11.4,13.1,16.6,17.3,19.4,21.8,23.1,25.1,29.2,29.9,31.8,32.3,36.5,39.1,38.4,44.2,43.4])
print(x,y)
plt.scatter(x,y)
plt.show()

散点图如下：

回归过程使用numpy中的矩阵计算完全按照上述损失函数和梯度直接计算即可：

# 设定步长
step=0.001
# 存储每轮损失的loss数组
loss_list=[]
# 定义epoch
epoch=500
# 定义batch_size
batch_size=18
# 定义单位列向量e
e=np.ones(batch_size).reshape(batch_size,1)

# 定义参数w和b并初始化
w=0.0
b=0.0

#梯度下降回归
for i in range(epoch) :
    #计算当前输入x和标签y的索引，由于x和y数组长度一致，因此通过i整除x的长度即可获得当前索引
    index = i % int(len(x)/batch_size)
    # 当前轮次的x列向量值为：
    cx=x[index*batch_size:(index+1)*batch_size]
    cx=cx.reshape(len(cx),1)
    # 当前轮次的y列向量值为：
    cy=y[index*batch_size:(index+1)*batch_size]
    cy=cy.reshape(len(cy),1)

    # 计算当前loss
    curloss = (w*cx.T+b*e.T-cy.T).dot((w*cx+b*e-cy))
    loss_list.append(float(curloss))

    # 计算参数w和b的梯度
    grad_w = (w*cx.T+b*e.T-cy.T).dot(cx)
    grad_b = (w*cx.T+b*e.T-cy.T).dot(e)
    # 更新w和b的值
    w -= step*grad_w
    b -= step*grad_b

损失函数和最终拟合结果如下：

print(loss_list)
plt.plot(loss_list)
plt.show()

pred_y = w*x+b
plt.scatter(x,y)
plt.plot(x,pred_y.reshape(len(x)),c='r')
plt.show()

可以看到增大batsize后损失函数比较稳定。