深度学习——线性神经网络（三、线性回归的简洁实现）

news2024/11/25 13:50:50

在上一节中，我们通过张量来自定义式地进行数据存储和线性代数运算，并通过自动微分来计算梯度。实际上，由于数据迭代器、损失函数、优化器和神经网络层很常用，现代深度学习框架已经为我们实现了这些组件，只需要调用即可。

3.1 生成数据集

import numpy as np
import torch
from torch.utils import data
from d2l import torch as d2l

true_w = torch.tensor([2, -3.4])
true_b = 4.2
features, labels = d2l.synthetic_data(true_w, true_b,1000)
# 可以打印出来看一下
print(features,labels)

在这里插入图片描述

3.2 读取数据集

我们可以通过调用框架中现有的API来读取数据，将features和labels作为API的参数传递，并通过数据迭代器指定batch_size，此外，布尔值is_train表示是否希望数据迭代器对象在每轮内打乱数据。

def load_array(data_arrays, batch_size, is_train=True):
    """构造一个Python数据迭代器"""
    dataset = data.TensorDataset(*data_arrays)
    return data.DataLoader(dataset, batch_size, shuffle=is_train)


batch_size = 10
data_iter = load_array((features,labels), batch_size)

提到的data.TensorDataset(*data_arrays)中，*号的用法与函数定义中的类似，它表示TensorDataset可以接受任意数量的参数。这些参数通常是torch.Tensor对象，其中最后一个参数默认被视为标签，其余的参数被视为特征。

使用iter函数构造Python迭代器，并使用next函数从迭代器中获取第一项。

print(next(iter(data_iter)))

我是用pycharm写的代码，和jupyter中有些不一样，jupyter中直接写next(iter(data_iter))就可以打印出来了，pycharm中必须要加上print

在这里插入图片描述

因为布尔值shuffle=is_train表示数据迭代器对象在每轮内打乱数据，所以next函数取出来的第一批量10项数据，并不直接是生成的数据集中的前10项数据。这点大家可以注意一下！

3.3 定义模型

对于标准深度学习模型，我们可以使用框架已经预定义好的层，这使我们只需关注使用哪些层来构造模型，而不必关注层的实现细节。
我们先定义一个模型变量net，它是一个Sequential类的实例。Sequential类将多个层串联在一起，当给定输入数据时，Sequential实例将数据传入第一层，然后将第一层的输出作为第二层的输入，以此类推。
在线性神经网络中，模型只包含一个层，因此实际上不需要Sequential，但是由于以后几乎所有的模型都是多个层的，在这里使用Sequential类更方便理解“标准的流水线”。
在这里插入图片描述
在单层网络架构中，这一单层称为“全连接层”，因为它的每个输入都通过矩阵-向量乘法得到它的每个输出。
在pytorch中，全连接层在Linear类中定义，我们将两个参数传递到nn.Linear中，第一个参数指定输入特征的形状，即2；第二个参数指定输出特征形状，输出特征形状为单个标量，因此为1。

# nn是神经网络的缩写
from torch import nn

net = nn.Sequential(nn.Linear(2,1))

3.4 初始化模型参数

在使用net之前，我们需要初始化模型参数，如在线性回归模型中的权重和偏置。深度学习框架通常由预定义的方法来初始化参数。
在这里，我们指定每个权重系数应该从均值为0，标准差为0.01的正态分布中随机抽样，偏置参数将初始化为0.
我们在构造nn.Linear时指定了输入和输出的尺寸，现在可以直接访问参数以设定它们的初始值。通过net[0]选择网络中的第一层，然后使用weight.data和bias.data方法访问函数。我们还可以使用替换方法normal_和fill_来重写参数值。

# 重写参数值之前的对比
print(net[0].weight.data)
print(net[0].bias.data)

net[0].weight.data.normal_(0,0.01)
net[0].bias.data.fill_(0)
print(net[0].weight.data)
print(net[0].bias.data)

下面是重写参数值之前的对比在这里插入图片描述

3.5 定义损失函数

计算均方误差使用的是MSELoss类，也称为平方 $L_2$ 范数。默认情况下，它返回所有样本损失的平均值

loss = nn.MSELoss()

3.6 定义优化算法

小批量随机梯度下降算法是一种优化神经网络的标准工具，Pytorch在optim模块中实现了该算法的许多变体。当我们实例化一个SGD实例时，我们要指定优化的参数（可以通过net.parameters()从我们的模型中获得）以及优化算法所需的超参数字典。小批量随机梯度下降只需要设置lr的值，这里设置为0.03.

trainer = torch.optim.SGD(net.parameters(), lr=0.03)

3.7 训练

在每轮里，我们将完整遍历一次数据集（train_data），不断地从中获取一个小批量的输入和相应的标签。对于每个小批量，将执行以下步骤：

通过调用net(X)生成预测并计算损失l（前向传播）
通过反向传播来计算梯度
通过调用优化器来更新模型参数

为了更好地度量训练效果，我们计算每轮后的损失，并打印出来监控训练过程。

num_epochs = 3
for epoch in range(num_epochs):
    for X, y in data_iter:
        l = loss(net(X), y)
        trainer.zero_grad()
        l.backward()
        trainer.step()
    l = loss(net(features),labels)
    print(f'epoch{epoch + 1}, loss {l:f}')

在这里插入图片描述

几点注意：
l = loss(net(X), y)
loss函数中已经有了sum()操作，省略了原来实现过程中的 l.sum() 这一步骤
net(X)
net()本身就带了模型中的参数，就不需要把W，b写进去了
trainer.zero_grad()
优化器需要先把梯度清零
trainer.step()
调用step()函数进行模型更新
l = loss(net(features),labels)
模型参数更新完之后，再计算一遍均方误差

下面比较一下生成数据集的真实参数和通过有限数据训练获得的模型参数。要访问参数，我们首先从net访问所需的层，然后读取该层的权重和偏置。如下所示，我们估计得到的参数与生成数据集的真实参数非常接近。

w = net[0].weight.data
print('w的估计误差：', true_w - w.reshape(true_w.shape))
b = net[0].bias.data
print('b的估计误差：', true_b - b)

在这里插入图片描述

小结：

我们可以使用Pytorch中的高级API更简洁地实现模型；
在Pytorch中，data模块提供了数据处理工具，nn 模块定义了大量的神经网络层和常见的损失函数；
我们可以通过以"_"结尾的方法将参数替换，从而自定义初始化参数。

以下是完整代码：

import numpy as np
import torch
from torch.utils import data
from d2l import torch as d2l
# nn是神经网络的缩写
from torch import nn

true_w = torch.tensor([2, -3.4])
true_b = 4.2
features, labels = d2l.synthetic_data(true_w, true_b,1000)
# 可以打印出来看一下
# print(features,labels)


def load_array(data_arrays, batch_size, is_train=True):
    """构造一个Python数据迭代器"""
    dataset = data.TensorDataset(*data_arrays)
    return data.DataLoader(dataset, batch_size, shuffle=is_train)


batch_size = 10
data_iter = load_array((features,labels), batch_size)
# print(next(iter(data_iter)))

net = nn.Sequential(nn.Linear(2,1))

# 重写参数值之前的对比
# print(net[0].weight.data)
# print(net[0].bias.data)

net[0].weight.data.normal_(0,0.01)
net[0].bias.data.fill_(0)
# print(net[0].weight.data)
# print(net[0].bias.data)
loss = nn.MSELoss()

trainer = torch.optim.SGD(net.parameters(), lr=0.03)

num_epochs = 3
for epoch in range(num_epochs):
    for X, y in data_iter:
        l = loss(net(X), y)
        trainer.zero_grad()
        l.backward()
        trainer.step()
    l = loss(net(features),labels)
    # print(f'epoch{epoch + 1}, loss {l:f}')

w = net[0].weight.data
print('w的估计误差：', true_w - w.reshape(true_w.shape))
b = net[0].bias.data
print('b的估计误差：', true_b - b)