实验10 人工神经网络(1)

news2024/12/24 21:54:56

1. 实验目的

①理解并掌握误差反向传播算法；
②能够使用单层和多层神经网络，完成多分类任务；
③了解常用的激活函数。

2. 实验内容

①设计单层和多层神经网络结构，并使用TensorFlow建立模型，完成多分类任务；
②调试程序，通过调整超参数和训练模型参数，使模型在测试集上达到最优性能；
③测试模型，使用MatPlotlib对结果进行可视化呈现。

3. 实验过程

题目一：

  分别使用单层神经网络和多层神经网络，对Iris数据集中的三种鸢尾花分类，并测试模型性能，以恰当的形式展现训练过程和结果。
  要求：
  ⑴编写代码实现上述功能；
  ⑵记录实验过程和结果：
改变隐含层层数、隐含层中节点数等超参数，综合考虑准确率、交叉熵损失、和训练时间等，使模型在测试集达到最优的性能，并以恰当的方式记录和展示实验结果；
  ⑶分析和总结：
这个模型中的超参数有哪些？简要说明你寻找最佳超参数的过程，请分析它们对结果准确性和训练时间的影响，以表格或其他合适的图表形式展示。通过以上结果，可以得到什么结论，或对你有什么启发。
  ① 代码
单层神经网络：

import tensorflow as tf
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
plt.rcParams['font.family'] = "SimHei"

#设置gpu
gpus = tf.config.experimental.list_physical_devices('GPU')
tf.config.experimental.set_memory_growth(gpus[0],True)
for gpu in gpus:
    tf.config.experimental.set_memory_growth(gpu,True)

#下载数据集
TRAIN_URL = "http://download.tensorflow.org/data/iris_training.csv"
train_path = tf.keras.utils.get_file(TRAIN_URL.split('/')[-1],TRAIN_URL)

TEST_URL = "http://download.tensorflow.org/data/iris_test.csv"
test_path = tf.keras.utils.get_file(TEST_URL.split("/")[-1],TEST_URL)

df_iris_train = pd.read_csv(train_path,header=0)
df_iris_test = pd.read_csv(test_path,header=0)

iris_train = np.array(df_iris_train) #(120,5)
iris_test = np.array(df_iris_test) #(30,5)

#拆
x_train = iris_train[:,0:4]#(120,4)
y_train = iris_train[:,4]#(120,)
x_test = iris_test[:,0:4]
y_test = iris_test[:,4]

#中心化
x_train = x_train - np.mean(x_train,axis=0)#(dtype(float64))
x_test = x_test - np.mean(x_test,axis=0)
#独热编码
X_train = tf.cast(x_train,tf.float32)
Y_train = tf.one_hot(tf.constant(y_train,dtype=tf.int32),3)
X_test = tf.cast(x_test,tf.float32)
Y_test = tf.one_hot(tf.constant(y_test,dtype=tf.int32),3)

#超参数
learn_rate = 0.5
iter = 100
display_step = 5
#初始化
np.random.seed(612)
W = tf.Variable(np.random.randn(4,3),dtype=tf.float32)  #权值矩阵
B = tf.Variable(np.zeros([3]),dtype=tf.float32) #偏置值
acc_train = []
acc_test = []
cce_train = []
cce_test = []

for i in range(iter + 1):
    with tf.GradientTape() as tape:
        PRED_train = tf.nn.softmax(tf.matmul(X_train,W) + B)
        Loss_train = tf.reduce_mean(tf.keras.losses.categorical_crossentropy(y_true=Y_train,y_pred=PRED_train))
    PRED_test = tf.nn.softmax(tf.matmul(X_test,W) + B)
    Loss_test = tf.reduce_mean(tf.keras.losses.categorical_crossentropy(y_true=Y_test,y_pred=PRED_test))

    accuracy_train = tf.reduce_mean(tf.cast(tf.equal(tf.argmax(PRED_train.numpy(),axis=1),y_train),tf.float32))
    accuracy_test = tf.reduce_mean(tf.cast(tf.equal(tf.argmax(PRED_test.numpy(),axis=1),y_test),tf.float32))

    acc_train.append(accuracy_train)
    acc_test.append(accuracy_test)
    cce_train.append(Loss_train)
    cce_test.append(Loss_test)

    grads = tape.gradient(Loss_train,[W,B])
    W.assign_sub(learn_rate*grads[0])#dL_dW (4,3)
    B.assign_sub(learn_rate*grads[1])#dL_dW (3,)
    if i % display_step == 0:
        print("i:%d,TrainAcc:%f,TrainLoss:%f,TestAcc:%f,TestLoss:%f" % (
        i, accuracy_train, Loss_train, accuracy_test, Loss_test))

#绘制图像
plt.figure(figsize=(10,3))
plt.suptitle("训练集和测试集的损失曲线和迭代率曲线",fontsize = 20)
plt.subplot(121)
plt.plot(cce_train,color="b",label="train")
plt.plot(cce_test,color="r",label="test")
plt.xlabel("Iteration")
plt.ylabel("Loss")
#plt.title("训练集和测试集的损失曲线",fontsize = 18)
plt.legend()


plt.subplot(122)
plt.plot(acc_train,color="b",label="train")
plt.plot(acc_test,color="r",label="test")
plt.xlabel("Iteration")
plt.ylabel("Accuracy")
#plt.title("训练集和测试集的迭代率曲线",fontsize = 18)
plt.legend()

plt.show()

多层神经网络

import pandas as pd
import numpy as np
import tensorflow as tf
import matplotlib.pyplot as plt
plt.rcParams['font.family'] = "SimHei"

#下载数据集
TRAIN_URL = "http://download.tensorflow.org/data/iris_training.csv"
train_path = tf.keras.utils.get_file(TRAIN_URL.split('/')[-1],TRAIN_URL)

TEST_URL = "http://download.tensorflow.org/data/iris_test.csv"
test_path = tf.keras.utils.get_file(TEST_URL.split("/")[-1],TEST_URL)
#表示第一行数据作为列标题
df_iris_train = pd.read_csv(train_path,header=0)
df_iris_test = pd.read_csv(test_path,header=0)

iris_train = np.array(df_iris_train)#将二维数据表转换为numpy数组，（120，5），训练集有120条样本
iris_test = np.array(df_iris_test)
train_x = iris_train[:,0:4]
train_y = iris_train[:,4]
test_x = iris_test[:,0:4]
test_y = iris_test[:,4]

train_x = train_x - np.mean(train_x,axis=0)
test_x = test_x - np.mean(test_x,axis=0)

X_train = tf.cast(train_x,tf.float32)
Y_train = tf.one_hot(tf.constant(train_y,dtype=tf.int32),3) #将标签值转换为独热编码的形式（120，3）

X_test = tf.cast(test_x,tf.float32)
Y_test = tf.one_hot(tf.constant(test_y,dtype=tf.int32),3)

learn_rate = 0.55
iter = 70
display_step = 13

np.random.seed(612)
#隐含层
W1 = tf.Variable(np.random.randn(4,16),dtype=tf.float32) #W1(4,16)
B1 = tf.Variable(tf.zeros(16),dtype=tf.float32)

#输出层
W2 = tf.Variable(np.random.randn(16,3),dtype=tf.float32) #W2(16,3)
B2 = tf.Variable(np.zeros([3]),dtype=tf.float32)

cross_train = []    #保存每一次迭代的交叉熵损失
acc_train = []      #存放训练集的分类准确率

cross_test = []
acc_test = []

for i in range(iter + 1):
    with tf.GradientTape() as tape:

        # 5.1定义网络结构
        # H= X * W1 + B1
        Hidden_train = tf.nn.relu(tf.matmul(X_train,W1) + B1)
        # Y = H * W2 + B2
        Pred_train = tf.nn.softmax(tf.matmul(Hidden_train,W2) + B2)
        #计算训练集的平均交叉熵损失函数0
        Loss_train = tf.reduce_mean(tf.keras.losses.categorical_crossentropy(y_true=Y_train,y_pred=Pred_train))

        #H = X * W1 + B1
        Hidden_test = tf.nn.relu(tf.matmul(X_test,W1) + B1)
        # Y = H * W2 + B2
        Pred_test = tf.nn.softmax(tf.matmul(Hidden_test,W2) + B2)
        #计算测试集的平均交叉熵损失函数
        Loss_test = tf.reduce_mean(tf.keras.losses.categorical_crossentropy(y_true=Y_test,y_pred=Pred_test))

    Accuarcy_train = tf.reduce_mean(tf.cast(tf.equal(tf.argmax(Pred_train.numpy(),axis=1),train_y),tf.float32))
    Accuarcy_test = tf.reduce_mean(tf.cast(tf.equal(tf.argmax(Pred_test.numpy(),axis=1),test_y),tf.float32))

    #记录每一次迭代的交叉熵损失和准确率
    cross_train.append(Loss_train)
    cross_test.append(Loss_test)
    acc_train.append(Accuarcy_train)
    acc_test.append(Accuarcy_test)

    #对交叉熵损失函数W和B求偏导
    grads = tape.gradient(Loss_train,[W1,B1,W2,B2])
    W1.assign_sub(learn_rate * grads[0])
    B1.assign_sub(learn_rate * grads[1])
    W2.assign_sub(learn_rate * grads[2])
    B2.assign_sub(learn_rate * grads[3])

    if i % display_step == 0:
        print("i:%d,TrainLoss:%f,TrainAcc:%f,TestLoss:%f,TestAcc:%f" % (
            i, Loss_train, Accuarcy_train, Loss_test, Accuarcy_test))

plt.figure(figsize=(12,5))
plt.suptitle("训练集和测试集的损失曲线和迭代率曲线",fontsize = 20)
plt.subplot(121)
plt.plot(acc_train,color="b",label="train")
plt.plot(acc_test,color="r",label="test")
plt.xlabel("Iteration")
plt.ylabel("Loss")
#plt.title("训练集和测试集的损失曲线",fontsize = 18)
plt.legend()


plt.subplot(122)
plt.plot(cross_train,color="b",label="train")
plt.plot(cross_test,color="r",label="test")
plt.xlabel("Iteration")
plt.ylabel("Accuracy")
#plt.title("训练集和测试集的迭代率曲线",fontsize = 18)
plt.legend()

plt.show()

  ② 结果记录
单层神经网络：
在这里插入图片描述
在这里插入图片描述
多层神经网络
在这里插入图片描述
在这里插入图片描述

  ③ 实验总结

  参learn_rate = 0.5，iter = 100，display_step = 5其中神经网络的学习速度主要根据训练集上代价函数下降的快慢有关，而最后的分类的结果主要跟在验证集上的分类正确率有关。因此可以根据该参数主要影响代价函数还是影响分类正确率进行分类。超参数调节可以使用贝叶斯优化。

题目二：

  使用低阶API实现Softmax函数和交叉熵损失函数，并使用它们修改题目一，看下结果是否相同。
① 代码
不同之处
在这里插入图片描述

import tensorflow as tf
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
plt.rcParams['font.family'] = "SimHei"

#设置gpu
gpus = tf.config.experimental.list_physical_devices('GPU')
tf.config.experimental.set_memory_growth(gpus[0],True)
for gpu in gpus:
    tf.config.experimental.set_memory_growth(gpu,True)

#下载数据集
TRAIN_URL = "http://download.tensorflow.org/data/iris_training.csv"
train_path = tf.keras.utils.get_file(TRAIN_URL.split('/')[-1],TRAIN_URL)

TEST_URL = "http://download.tensorflow.org/data/iris_test.csv"
test_path = tf.keras.utils.get_file(TEST_URL.split("/")[-1],TEST_URL)

df_iris_train = pd.read_csv(train_path,header=0)
df_iris_test = pd.read_csv(test_path,header=0)

iris_train = np.array(df_iris_train) #(120,5)
iris_test = np.array(df_iris_test) #(30,5)

#拆
x_train = iris_train[:,0:4]#(120,4)
y_train = iris_train[:,4]#(120,)
x_test = iris_test[:,0:4]
y_test = iris_test[:,4]

#中心化
x_train = x_train - np.mean(x_train,axis=0)#(dtype(float64))
x_test = x_test - np.mean(x_test,axis=0)
#独热编码
X_train = tf.cast(x_train,tf.float32)
Y_train = tf.one_hot(tf.constant(y_train,dtype=tf.int32),3)
X_test = tf.cast(x_test,tf.float32)
Y_test = tf.one_hot(tf.constant(y_test,dtype=tf.int32),3)

#超参数
learn_rate = 0.5
iter = 100
display_step = 5
#初始化
np.random.seed(612)
W = tf.Variable(np.random.randn(4,3),dtype=tf.float32)  #权值矩阵
B = tf.Variable(np.zeros([3]),dtype=tf.float32) #偏置值
acc_train = []
acc_test = []
cce_train = []
cce_test = []

for i in range(iter + 1):
    with tf.GradientTape() as tape:4
        #不同之处，换了低阶api
        PRED_train = tf.exp(tf.matmul(X_train,W) + B)
        Loss_train = tf.reduce_mean(tf.keras.losses.categorical_crossentropy(y_true=Y_train,y_pred=PRED_train))
    PRED_test = tf.exp(tf.matmul(X_test,W) + B)
    Loss_test = tf.reduce_mean(tf.keras.losses.categorical_crossentropy(y_true=Y_test,y_pred=PRED_test))

    accuracy_train = tf.reduce_mean(tf.cast(tf.equal(tf.argmax(PRED_train.numpy(),axis=1),y_train),tf.float32))
    accuracy_test = tf.reduce_mean(tf.cast(tf.equal(tf.argmax(PRED_test.numpy(),axis=1),y_test),tf.float32))

    acc_train.append(accuracy_train)
    acc_test.append(accuracy_test)
    cce_train.append(Loss_train)
    cce_test.append(Loss_test)

    grads = tape.gradient(Loss_train,[W,B])
    W.assign_sub(learn_rate*grads[0])#dL_dW (4,3)
    B.assign_sub(learn_rate*grads[1])#dL_dW (3,)
    if i % display_step == 0:
        print("i:%d,TrainAcc:%f,TrainLoss:%f,TestAcc:%f,TestLoss:%f" % (
        i, accuracy_train, Loss_train, accuracy_test, Loss_test))

#绘制图像
plt.figure(figsize=(10,3))
plt.suptitle("训练集和测试集的损失曲线和迭代率曲线",fontsize = 20)
plt.subplot(121)
plt.plot(cce_train,color="b",label="train")
plt.plot(cce_test,color="r",label="test")
plt.xlabel("Iteration")
plt.ylabel("Loss")
#plt.title("训练集和测试集的损失曲线",fontsize = 18)
plt.legend()


plt.subplot(122)
plt.plot(acc_train,color="b",label="train")
plt.plot(acc_test,color="r",label="test")
plt.xlabel("Iteration")
plt.ylabel("Accuracy")
#plt.title("训练集和测试集的迭代率曲线",fontsize = 18)
plt.legend()

plt.show()

② 实验结果
在这里插入图片描述

在这里插入图片描述

4. 实验小结&讨论题

  ①在神经网络中，激活函数的作用是什么？常用的激活函数有哪些？在多分类问题中，在输出层一般使用使用什么激活函数？隐含层一般使用使用什么激活函数？为什么？
  答：激活函数的作用是去线性化；常用到激活函数：tanh，ReL，Sigmoid；Sigmoid函数用于输出层，tanh函数用于隐含层。
  ②什么是损失函数？在多分类问题中，一般使用什么损失函数？为什么？
  答：损失函数是用来评估模型的预测值与真实值不一致的程度
  （1）L1范数损失L1Loss
  （2）均方误差损失MSELoss
  （3）交叉熵损失CrossEntropyLoss
  ③神经网络的深度和宽度对网络性能有什么影响？
  答：如果一个深层结构能够刚刚好解决问题，那么就不可能用一个更浅的同样紧凑的结构来解决，因此要解决复杂的问题，要么增加深度，要么增加宽度。但是神经网络一般来说不是越深越好，也不是越宽越好，并且由于计算量的限制或对于速度的需求，如何用更少的参数获得更好的准确率无疑是一个永恒的追求。
  ④训练数据和测试数据对神经网络的性能有何影响？在选择、使用和划分数据集时，应注意什么？
  答：注意使用的范围和整体效果。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/503170.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

第四范式AIGC的野心，改变软件行业游戏规则

第四范式AIGC的野心，改变软件行业游戏规则

图片AI算法提供：Midjourney 在国内众多发布大模型的科技企业中，第四范式入局的方式与众不同。 “我们并不需要完整地对标OpenAI，也并不需要OpenAI能做什么就一定要做什么……我们不去参与一场全面的竞争，而是专注于其中一场比赛。…
阅读更多...
关联分割点云中的实例和语义＜论文＞

关联分割点云中的实例和语义＜论文＞

题目：Associatively Segmenting Instances and Semantics in Point Clouds 代码：https://github.com/WXinlong/ASIS 文章讨论： Instances Segmentation 和 Semantics Segmentation 实例Instances Segmentation：分辨出每个单独事…
阅读更多...
帮助中心对企业有用吗？要不要做帮助中心页面

帮助中心对企业有用吗？要不要做帮助中心页面

对绝大部分企业来说，打造站点帮助中心平台已是当下势不可挡的发展趋势。本文小编将告诉大家企业是否有必要做帮助中心，如何制作帮助中心。 什么是帮助中心： 帮助中心定位：帮助用户更好的解决问题；给新手用户好的第一…
阅读更多...
详解c++---模拟实现stack和queue

详解c++---模拟实现stack和queue

目录标题 设计模式stack的模拟实现准备工作各种函数的实现 queue的模拟实现准备工作queue的接口实现 deque的介绍为什么会有dequedeque的原理deque的迭代器为什么使用deque 设计模式 设计模式分为两个：迭代器模式和适配器模式 第一个：迭代器模式 迭代器…
阅读更多...
vector、deque、list相关知识点

vector、deque、list相关知识点

vector erase返回迭代器指向删除元素后的元素insert返回迭代器指插入的元素reserve只给容器底层开指定大小内存空间，并不添加新元素 deque 底层数据结构 动态开辟的二维数组，一维数组从2开始，以2倍方式扩容，每次扩容和&#x…
阅读更多...
【STM32CubeMX】F103独立看门狗

【STM32CubeMX】F103独立看门狗

前言 本文记录了我学习STM32CubeMX的过程，方便以后回忆。我们使用的开发板是基于STM32F103C6T6的。本章记录了独立看门狗的使用配置。要学习的话，注意流程一说的，省略的内容。 基础 独立看门狗(WWDG)开启后，复位自动开启。独立看…
阅读更多...
Linux shell编程 函数

Linux shell编程 函数

shell函数的定义 function 函数名 {命令序列 } 函数名() {命令序列 } 函数的返回值 return表示退出函数并返回一个退出值，脚本中可以用$？变量显示该值 使用原则 1.函数一退出就取返回值，英文$?变量只会返回执行的最后一条指令的退出状态码 2…
阅读更多...
基于Redis的Stream结构作为消息队列，实现异步秒杀下单

基于Redis的Stream结构作为消息队列，实现异步秒杀下单

文章目录 1 认识消息队列2 基于List实现消息队列3 基于PubSub的消息队列4 基于Stream的消息队列5 基于Stream的消息队列-消费者组6 基于Redis的Stream结构作为消息队列，实现异步秒杀下单 1 认识消息队列 什么是消息队列：字面意思就是存放消息的队列。最…
阅读更多...
2.4G无线麦克风无线音频传输模块

2.4G无线麦克风无线音频传输模块

模块概述 M01主要是一个2.4G无线音频传输模块，模组RF电路设计配合独有的软件跳频机制，有效提高了RF的抗干扰能力及传输距离。模组内置高性能的音频转换器，支持48K/24bit高品质的音频采样、支持麦克风的主动降噪，实现了无压缩的数字…
阅读更多...
设计模式：SOLID原则

设计模式：SOLID原则

单一职责原则 Single Responsibility Principle（SRP） 接口职责应该单一，不要承担过多的职责。 开放封闭原则 Open Closed Principle（OCP） 添加一个新的功能应该是，在已有代码基础上扩展代码（…
阅读更多...
mysql——索引，一篇说清！

mysql——索引，一篇说清！

直观感受——数据准备 建表与插入数据 CREATE TABLE user (uid int(11) NOT NULL AUTO_INCREMENT,name varchar(50) DEFAULT NULL,pwd varchar(50) DEFAULT NULL,create_time datetime DEFAULT NULL,modify_time timestamp NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT…
阅读更多...
VSCode For Web 深入浅出 -- 插件加载机制

VSCode For Web 深入浅出 -- 插件加载机制

最近我在浏览 VSCode for web 的 repo，在最近更新的一些 commit 中发现了一个新的 VSCode 插件特性支持，名为 webOpener，它的作用是什么呢？又是如何影响插件加载的呢？在这一篇中我们结合 VSCode For Web 的插件加载机制…
阅读更多...
大项目准备（2）

大项目准备（2）

目录 中国十大最具发展潜力城市 docker是什么？能介绍一下吗？ 中国十大最具发展潜力城市 按照人随产业走、产业决定城市兴衰、规模经济和交通成本等区位因素决定产业布局的基本逻辑，我们在《中国城市发展潜力排名：2022》研究报告…
阅读更多...
uniapp和小程序如何分包，详细步骤手把手（图解）

uniapp和小程序如何分包，详细步骤手把手（图解）

一、小程序分包 每个使用分包小程序必定含有一个主包。所谓的主包，即放置默认启动页面/TabBar 页面，以及一些所有分包都需用到公共资源/JS 脚本；而分包则是根据开发者的配置进行划分。 在小程序启动时，默认会下载主包并启动主包…
阅读更多...
C++学习day--11 程序员必备工具--github

C++学习day--11 程序员必备工具--github

github 的重要性： 网络时代的程序员必备。 github 的作用： 1. 版本管理 2. 多人协作 3. 开源共享 常用方案： gitTortoiseGitgithub [Tortoise ，程序员常称其为小乌龟，小海龟 ] 安装配置步骤 1. 注册 h…
阅读更多...
13 KVM虚拟机配置-配置虚拟设备（总线配置）

13 KVM虚拟机配置-配置虚拟设备（总线配置）

文章目录 13 KVM虚拟机配置-配置虚拟设备（总线配置）13.1 概述13.2 元素介绍13.3 配置示例 13 KVM虚拟机配置-配置虚拟设备（总线配置） 13.1 概述 总线是计算机各个部件之间进行信息通信的通道。外部设备需要挂载到对应的总线上&a…
阅读更多...
MySQL调优系列（四）——执行计划

MySQL调优系列（四）——执行计划

一、概述 sql语句是有具体的执行过程的，通过查看这个执行过程，可以针对性的优化某一步骤，以加快SQL语句的执行效率。 通过MySQL调优系列（一）——性能监控我们可以知道，有一个查询优化器，查询优…
阅读更多...
HTTP第五讲——搭建HTTP实验环境

HTTP第五讲——搭建HTTP实验环境

HTTP简介 HTTP 协议诞生于 30 年前，设计之初的目的是用来传输纯文本数据。但由于形式灵活，搭配URI、HTML 等技术能够把互联网上的资源都联系起来，构成一个复杂的超文本系统，让人们自由地获取信息，所以得到了迅猛发展。…
阅读更多...
D. Petya and Array(树状数组 + 前缀和 + 逆序对的思想)

D. Petya and Array(树状数组 + 前缀和 + 逆序对的思想)

Problem - D - Codeforces Petya 有一个由 n 个整数组成的数组 a。他最近学习了部分和，现在他可以非常快地计算出数组中任何一段元素的和。这个段是一个非空的序列，相邻的元素排在数组中。 现在他想知道他的数组中元素和小于 t 的段的数量。请帮助 Pety…
阅读更多...
鸿蒙Hi3861学习九-Huawei LiteOS（互斥锁）

鸿蒙Hi3861学习九-Huawei LiteOS（互斥锁）

一、简介 互斥锁又被称为互斥型信号量，是一种特殊的二值信号量，用于实现对共享资源的独占式处理。 任意时刻互斥锁的状态只有两种：开锁或闭锁。 当有任务占用公共资源时，互斥锁处于闭锁状态，这个任务获得该互斥锁的使用…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023