Pytorch深度学习笔记（八）处理多维度特征的输入

news2024/11/16 3:16:52

1.概述

2. 处理多维度特征的输入

注：不同的激活函数（sigmoid函数），绘制不同的图表

推荐课程：07.处理多维特征的输入_哔哩哔哩_bilibili

1.概述

一个八维数据集：

数据集，每一行称为一个样本，每一列称为一个特征。

回归模型的更改：n维的输入向量x和n维的权重w的转置作内积 + 广播处理的偏移量b，得到的1维的预测值，再使用logistic函数进行映射。

使用self.linear = torch.nn.Linear(n,m)对输入维度和输出维度进行调整。

如下图所示，self.linear = torch.nn.Linear(8,1)可以使8个维度的输入张量映射到1个维度的输出张量。

可以从n维的输入直接映射到1维的输出，也可以分多层一步一步的进行映射，例如：从8维映射到6维，再从6维映射到4维，再从4维映射到2维，再从2维映射到2维。

一般来说，映射的层数越多，神经元越多，学习能力越强。但是并不是说学习能力越强越好，学习能力过强，可能会把输入样本中噪声的规律也学到，造成模型和数据之间的过拟合。

2. 处理多维度特征的输入

案例：使用神经网络处理8维特征输入：

三层映射：从8维映射到6维，再从6维映射到4维，再从4维映射到1维。

代码实现：

import torch
#用于在大型、多维数组上执行数值运算
import numpy as np
import matplotlib.pyplot as plt

#…1.准备数据………………………………………………………………………………………………………………………………………#
xy = np.loadtxt('dataset/diabetes.csv', delimiter=',', dtype=np.float32)
# 第一个‘：’是指读取所有行，第二个‘：’是指从第一列开始，最后一列不要
x_data = torch.from_numpy(xy[:, :-1])
# [-1] 最后得到的是个矩阵
y_data = torch.from_numpy(xy[:, [-1]])

#…2.设计模型………………………………………………………………………………………………………………………………………#
# 继承torch.nn.Module，定义自己的计算模块,neural network
class Model(torch.nn.Module):
    # 构造函数
    def __init__(self):
        # 调用父类构造
        super(Model, self).__init__()
        # 从8维降到6维再降到4维再降到1维
        self.linear1 = torch.nn.Linear(8, 6)
        self.linear2 = torch.nn.Linear(6, 4)
        self.linear3 = torch.nn.Linear(4, 1)
        self.sigmoid = torch.nn.Sigmoid()

    # 前馈函数
    def forward(self, x):
        # 调用self.sigmoid,并linear
        x = self.sigmoid(self.linear1(x))
        x = self.sigmoid(self.linear2(x))
        x = self.sigmoid(self.linear3(x))
        return x

#……3.构造模型、损失函数和优化器………………………………………………………………………………………………………#
# 实例化自定义模型，返回做logistic变化(也叫sigmoid)的预测值
model = Model()
# 实例化损失函数，返回损失值
criterion = torch.nn.BCELoss(size_average=True)
# 实例化优化器,优化权重w
# model.parameters()，取出模型中的参数，lr为学习率
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)

#……4.训练周期……………………………………………………………………………………………………………………………………………#
for epoch in range(1000):
    # 获得预测值
    y_pred = model(x_data)
    # 获得损失值
    loss = criterion(y_pred, y_data)
    # 不会产生计算图，因为__str()__
    print(epoch, loss.item())
    # 梯度归零
    optimizer.zero_grad()
    # 反向传播
    loss.backward()
    # 更新权重w
    optimizer.step()
    optimizer.step()