深度学习之前馈神经网络

news2024/9/30 7:16:00

1.导入常用工具包

#在终端中输入以下命令就可以安装工具包
pip install numpy
pip install pandas
Pip install matplotlib

注：
numpy是科学计算基础包
pandas能方便处理结构化数据和函数
matplotlib主要用于绘制图表。

#导包的代码：
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt

2.导入数据集

2.1.数据集的下载与转换

数据集下载地址：http://yann.lecun.com/exdb/mnist/
在这里插入图片描述
注：下载这四个文件，但由于不是csv的格式，所以我们要将这四个文件转换成csv格式。

import struct 
import numpy as np 
import pandas as pd

#以二进制读取模式。struct.unpack('>IIII', f.read(16))从文件中读取前16个字节，并按照大端字节序解析出魔数、图像数量、行数和列数。
def read_mnist_image(filename):
    with open(filename, 'rb') as f:
        magic_number, num_images, num_rows, num_cols = struct.unpack('>IIII', f.read(16))
        image_data = np.fromfile(f, dtype=np.uint8).reshape(num_images, num_rows * num_cols)
    return image_data

#读取MNIST数据集中的标签数据。与读取图像数据类似，它打开文件，解析魔数和标签数量，然后读取剩余的数据，将其转换为NumPy数组。
def read_mnist_labels(filename):
    with open(filename, 'rb') as f:
        magic_number, num_labels = struct.unpack('>II', f.read(8))
        label_data = np.fromfile(f, dtype=np.uint8)
    return label_data

# 读取图像和标签文件
image_filename = 'train-images.idx3-ubyte'
label_filename = 'train-labels.idx1-ubyte'
images = read_mnist_image(image_filename)
labels = read_mnist_labels(label_filename)

# 将图像和标签合并为一个DataFrame
train_Data = pd.DataFrame(images)
train_Data['label'] = labels

# 保存为CSV文件
train_Data.to_csv('mnist_train.csv', index=False)

# 对测试数据进行相同的操作
image_filename = 't10k-images.idx3-ubyte'
label_filename = 't10k-labels.idx1-ubyte'
images = read_mnist_image(image_filename)
labels = read_mnist_labels(label_filename)
test_Data = pd.DataFrame(images)
test_Data['label'] = labels
test_Data.to_csv('mnist_test.csv', index=False)

数据集图片：
在这里插入图片描述

2.2.数据观察

import pandas as pd
train_Data = pd.read_csv('mnist_train.csv',header = None)
test_Data = pd.read_csv('mnist_test.csv',header = None)
print("Train data:")
train_Data.info()
print("Test data:")
test_Data.info()
#继续观察训练数据前五行
train_Data.head(5)

注：可以发现训练数据中包含60000个数据样本，维度785，包括标签信息与784个特征维度；测试数据中包含10000个样本，维度785，包括标签信息与784个特征维度。
运行结果：
在这里插入图片描述

2.3.读取第一行数据

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
#取第一行数据
x = train_Data.iloc[0]
#标签信息
y = x[0]
#将1*784转换成28*28
img = x[1:].values.reshape(28,28)
#画图
plt.imshow(img)
plt.title('label = ' + str(y))
plt.show()

注：这段代码的主要作用是从训练数据集中取出第一行数据，将其中的图像数据转换为28x28的二维数组，并使用matplotlib库显示这个图像。同时，它还展示了图像对应的标签（即手写数字的类别）。
运行结果：
在这里插入图片描述

2.4.从sklearn中导入数据并观察

from sklearn.datasets import fetch_openml
mnist = fetch_openml('mnist_784', version=1)
mnist.keys()

运行结果：
在这里插入图片描述

2.5.打印维度信息

data, label = mnist["data"], mnist["target"]
print("数据维度:", data.shape)
print("标签为度:", label.shape)

注：这段代码从之前使用fetch_openml函数获取的MNIST数据集字典中提取出图像数据（data）和标签（label），并打印它们的维度信息。

2.6.显示第一幅图像及其对应的标签

x = data.iloc[0]
y = label[0] #从label数组中取出第一个元素，即第一幅图像的标签
img = x.values.reshape(28,28)
plt.imshow(img)
plt.title('label = ' + str(y))
plt.show()

运行结果：
在这里插入图片描述

3.数据预处理

X = train_Data.iloc[:,1:].values#样本数据
y = train_Data.iloc[:,0].values#样本标签
print("数据X中最大值:",X.max())
print("数据X中最小值:",X.min())

运行结果：
在这里插入图片描述

3.1.对X进行归一化处理

#归一化
X = X/255
#此时将数值大小缩小在[0，1]范围内，重现观察数据中的最大、最小值
print("数据X中最大值:",X.max())
print("数据X中最小值:",X.min())

注：这段代码的目的是对数据集X进行归一化处理，并将处理后的数据范围缩放到[0, 1]之间。
运行结果：
在这里插入图片描述

3.2.分类

X_valid, X_train = X[:5000], X[5000:]
y_valid, y_train = y[:5000], y[5000:]

X_test,y_test = test_Data.iloc[:,1:].values/255, test_Data.iloc[:,0].values

注：将数据集分割为训练集、验证集和测试集，并对这些数据集进行归一化处理。

4.前馈全连接神经网络（Sequential模型）

4.1.创建模型

import tensorflow as tf
from tensorflow import keras
model = keras.models.Sequential([
    keras.layers.Flatten(input_shape=[784]),#输入层784个神经元
    keras.layers.Dense(300, activation="relu"),#隐藏层300个神经元
    keras.layers.Dense(100, activation="relu"),#隐藏层100个神经元
    keras.layers.Dense(10, activation="softmax")#输入层10个神经元
])
model.layers[1]
weight_l,bias_l = model.layers[1].get_weights()
print(weight_l.shape)
print(bias_l.shape)

注：通过打印权重和偏置的形状，可以确认模型的第一个隐藏层是否正确地连接到输入层，并且可以了解该层的参数数量。这对于调试和理解模型的结构非常重要。在实际应用中，这些权重和偏置会在模型训练过程中通过反向传播算法自动调整，以最小化预测误差。
运行结果：
在这里插入图片描述

4.2.通过.summary()观察神经网络的整体情况

model.summary()

注：model.summary()是Keras模型的一个方法，它用于打印出模型的概述信息。
运行结果：
在这里插入图片描述

4.3.训练网格

#编译网络
model.compile(loss="sparse_categorical_crossentropy",optimizer="sgd",metrics=["accuracy"])

注：是Keras中的一个重要步骤，它用于编译刚刚创建的神经网络模型。编译过程定义了模型训练时需要使用的损失函数、优化器和评估指标。

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
h = model.fit(X_train,y_train,batch_size=32,epochs=30,validation_data=(X_valid,y_valid))

注：epochs=30：训练过程中遍历整个训练数据集的次数。每个时期包含一次完整的训练数据遍历。
运行结果：
在这里插入图片描述

4.4.将Keras的History对象转换为Pandas的DataFrame

pd.DataFrame(h.history)

注：h.history属性是一个字典，其中包含了训练过程中的损失值和评估指标值。
运行结果：
在这里插入图片描述

4.5.绘图

#绘图
pd.DataFrame(h.history).plot(figsize=(8, 5))
plt.grid(True)
plt.gca().set_ylim(0, 1)#set the vertical range to [0-1]
plt.show()

注：
Loss（损失）：损失函数的值越低，表示模型的预测越接近实际值。
Accuracy（准确率）：准确率是指模型正确预测的样本数与总样本数之间的比例。
Val Loss（验证损失）：如果训练损失持续下降，但验证损失开始上升，这可能表明模型出现了过拟合。
Val Accuracy（验证准确率）：用于评估模型的泛化能力，并且是模型性能的一个重要指标。
运行结果：
在这里插入图片描述

4.6.识别准确率

model.evaluate(X_test, y_test, batch_size = 1)

注：使用Keras模型的evaluate方法来评估模型在测试集上的性能。evaluate方法会计算并返回模型在给定测试数据上的损失和评估指标。
运行结果：
在这里插入图片描述

4.7.对样本进行预测

x_sample, y_sample = X_test[11:12], y_test[11]
y_prob = model.predict(x_sample).round(2)
y_prob

img = x_sample.reshape(28,28)
plt.imshow(img)
plt.title('label = ' + str(np.argmax(y_prob)))
plt.show()

注：从测试数据集中选取索引为11的单个样本，并将其特征和标签分别存储在x_sample和y_sample中。这里使用切片[11:12]来确保x_sample是一个二维数组，符合模型的输入要求。
运行结果：
在这里插入图片描述
在这里插入图片描述

5.使用Sequential()方法，对鸢尾花数据集进行分类

5.1划分

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split

iris = load_iris()  #鸢尾花数据集

x_train,x_test,y_train,y_test = train_test_split(iris.data,iris.target,test_size=0.2,random_state=23)

X_train,X_valid,y_train,y_valid = train_test_split(x_train,y_train,test_size=0.2,random_state=12)

print(X_valid.shape)
print(X_train.shape)

注：从Scikit-learn的model_selection模块中导入train_test_split函数，用于分割数据集。
运行结果：
在这里插入图片描述

5.2. 构建模型

import tensorflow as tf
from tensorflow import keras

model = keras.models.Sequential([
    keras.layers.Flatten(input_shape=[4]),
    keras.layers.Dense(16,activation='relu'),
    keras.layers.Dense(16,activation='relu'),
    keras.layers.Dense(16,activation='relu'),
    keras.layers.Dense(16,activation='relu'),
    keras.layers.Dense(16,activation='relu'),
    keras.layers.Dense(16,activation='relu'),
    keras.layers.Dense(16,activation='relu'),
    keras.layers.Dense(16,activation='relu'),
    keras.layers.Dense(16,activation='relu'),
    keras.layers.Dense(16,activation='relu'),
    keras.layers.Dropout(rate=0.2),
    keras.layers.Dense(3,activation='softmax'),
])

model.summary()

注：这段代码使用TensorFlow和Keras库创建了一个神经网络模型，用于分类鸢尾花数据集。模型的结构是顺序的，包含了多个全连接层（Dense layers）和一个Dropout层。
运行结果：
在这里插入图片描述

5.3.提高准确率添加方式：keras.layers.Dropout(rate=0.2)

model.layers[1]

注：从之前定义的Keras模型中获取第二个层的对象。在Keras模型中，层是按照它们添加到模型中的顺序存储在一个列表中的，索引从0开始。因此，model.layers[1]将返回模型中第一个隐藏层的对象。

weight_1,bias_1 = model.layers[1].get_weights()

print(weight_1.shape)
print(bias_1.shape)

运行结果：
在这里插入图片描述
注：从之前定义的Keras模型中获取第一个隐藏层的权重和偏置，并打印它们的形状。

model.compile(loss='sparse_categorical_crossentropy',
             optimizer='sgd',metrics=["accuracy"])

h = model.fit(X_train,y_train,batch_size=10,epochs=50,validation_data=(X_valid,y_valid))

注：optimizer=‘sgd’：这是模型训练时使用的优化器。sgd代表随机梯度下降（Stochastic Gradient Descent），它是一种简单的优化算法，用于在训练过程中更新模型的权重。
运行结果：
在这里插入图片描述

pd.DataFrame(h.history)

运行结果：
在这里插入图片描述

pd.DataFrame(h.history).plot(figsize=(8,5))
plt.grid(True)
plt.gca().set_ylim(0,1)
plt.show()

运行结果：
在这里插入图片描述

model.evaluate(x_test,y_test,batch_size = 1)

注：
x_test：测试数据集的特征，通常是NumPy数组或TensorFlow张量。
y_test：测试数据集的标签，与x_test中的每个样本相对应。
batch_size = 1：评估过程中每次前向传播所使用的数据样本数量。
运行结果：

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1662521.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

java对象互换工具类

java对象互换工具类

1:将Object类型转成json字符串 /*** 将对象转为字符串* param obj* return*/public static String toString(Object obj) {if(obj null) {return null;}if ("".equals(obj.toString())) {return null;}if (obj instanceof String) {return obj.toString();}try {Ob…
阅读更多...
c#教程——索引器

c#教程——索引器

前言： 索引器（Indexer）可以像操作数组一样来访问对象的元素。它允许你使用索引来访问对象中的元素，就像使用数组索引一样。在C#中，索引器的定义方式类似于属性，但具有类似数组的访问方式。 索引器&#x…
阅读更多...
2010-2030年GHS-POP数据集下载

2010-2030年GHS-POP数据集下载

扫描文末二维码，关注微信公众号：ThsPool 后台回复 g008，领取 2010-2030年100m分辨率GHS-POP 数据集 📊 GHS Population Grid (R2023)：全球人口分布的精准视图与深度应用 🌐 在全球化和快速城市化的今天&am…
阅读更多...
2024-05-10 Ubuntu上面使用libyuv，用于转换、缩放、旋转和其他操作YUV图像数据，测试实例使用I420ToRGB24

2024-05-10 Ubuntu上面使用libyuv，用于转换、缩放、旋转和其他操作YUV图像数据，测试实例使用I420ToRGB24

一、简介：libyuv 最初是由Google开发的，主要是为了支持WebRTC项目中的视频处理需求。用于处理YUV格式图像数据的开源库。它提供了一系列的函数，用于转换、缩放、旋转和其他操作YUV图像数据。 二、执行下面的命令下载和安装libyuv。 git clo…
阅读更多...
【全开源】JAVA台球助教台球教练多端系统源码支持微信小程序+微信公众号+H5+APP

【全开源】JAVA台球助教台球教练多端系统源码支持微信小程序+微信公众号+H5+APP

功能介绍 球厅端：球厅认证、教练人数、教练的位置记录、助教申请、我的项目、签到记录、我的钱包、数据统计 教练端：我的页面，数据统计、订单详情、保证金、实名认证、服务管理、紧急求助、签到功能 用户端：精准分类、我的助教…
阅读更多...
FonePaw Data Recovery for Mac：轻松恢复丢失数据

FonePaw Data Recovery for Mac：轻松恢复丢失数据

FonePaw Data Recovery for Mac是一款功能强大的数据恢复软件，专为Mac用户设计，帮助用户轻松恢复因各种原因丢失的数据。该软件支持从硬盘驱动器、存储卡、闪存驱动器等存储介质中恢复丢失或删除的文件，包括照片、视频、文档、电子邮件、音频…
阅读更多...
2024最新版付费进群系统源码全开源

2024最新版付费进群系统源码全开源

源码说明： 下 载 地 址 ： runruncode.com/php/19758.html 2024最新修复版独立付费进群系统源码全开源，基于ThinkPHP框架开发。 1、修复SQL表 2、修复支付文件 3、修复支付图标不显示 4、修复定位、分销逻辑、抽成逻辑 5、新增支持源支…
阅读更多...
AVL树的旋转

AVL树的旋转

目录 1.平衡因子 2.旋转 a.节点定义 b.插入 插入 平衡因子更新 旋转 左单旋 右单旋 右左双旋 左右双旋 3.AVL树的验证 1.平衡因子 我们知道搜索二叉树有缺陷，就是不平衡，比如下面的树 什么是搜索树的平衡？就是每个节点的左右子树的…
阅读更多...
Web实时通信的学习之旅：轮询、WebSocket、SSE的区别以及优缺点

Web实时通信的学习之旅：轮询、WebSocket、SSE的区别以及优缺点

文章目录 一、通信机制1、轮询1.1、短轮询1.2、长轮询 2、Websocket3、Server-Sent Events 二、区别1、连接方式2、协议3、兼容性4、安全性5、优缺点5.1、WebSocket 的优点：5.2、WebSocket 的缺点：5.3、SSE 的优点：5.4、SSE 的缺点&#xff1…
阅读更多...
刷代码随想录有感（62）：修建二叉搜索树

刷代码随想录有感（62）：修建二叉搜索树

题干&#xff1a; 代码&#xff1a; class Solution { public:TreeNode* traversal(TreeNode* root, int low, int high){if(root NULL)return NULL;if(root->val < low)return traversal(root->right, low, high);if(root->val > high)return traversal(ro…
阅读更多...
新版文件同步工具(Python编写，其中同时加入了多进程计算MD5、多线程复制大文件、多协程复制小文件、彩色输出消息、日志功能)

新版文件同步工具(Python编写，其中同时加入了多进程计算MD5、多线程复制大文件、多协程复制小文件、彩色输出消息、日志功能)

两个月前&#xff0c;接到一个粉丝的要求&#xff0c;说希望在我之前编写的一个python编写的文件同步脚本(Python编写的简易文件同步工具(已解决大文件同步时内存溢出问题)https://blog.csdn.net/donglxd/article/details/131225175)上加入多线程复制文件的功能&#xff0c;前段…
阅读更多...
Aapache Tomcat AJP 文件包含漏洞（CVE-2020-1938）

Aapache Tomcat AJP 文件包含漏洞（CVE-2020-1938）

1 漏洞描述 CVE-2020-1938 是 Apache Tomcat 中的一个严重安全漏洞&#xff0c;该漏洞涉及到 Tomcat 的 AJP&#xff08;Apache JServ Protocol&#xff09;连接器。由于 AJP 协议在处理请求时存在缺陷&#xff0c;攻击者可以利用此漏洞读取服务器上的任意文件&#xff0c;甚至…
阅读更多...
ALV Color-颜色

ALV Color-颜色

目录 前言 实战 列颜色 行颜色 单元格颜色 前言 在ABAP ALV中&#xff0c;Color颜色设置是一种增强列表显示效果的重要手段&#xff0c;可以用来突出显示特定行、列或单元格&#xff0c;以吸引用户注意或传达数据的特定状态。 颜色设置中有优先级顺序&#xff0c;他们是单元格…
阅读更多...
Mac电脑安装打开APP显示问题已损坏 问题解决

Mac电脑安装打开APP显示问题已损坏 问题解决

当MAC电脑安装完软件打开时&#xff0c;显示文件已损坏&#xff0c;无法打开。搜了很多教程终于找到解决方案&#xff0c;记录下方便以后再用。 我的mac电脑是intel芯片的&#xff0c;如果你遇到这个问题&#xff0c;可以参考我的这个方案。 1.首先当打开软件后出现 “xx软件已…
阅读更多...
HTTPS 原理和 TLS 握手机制

HTTPS 原理和 TLS 握手机制

HTTPS的概述与重要性 在当今数字化时代&#xff0c;网络安全问题日益凸显&#xff0c;数据在传输过程中的安全性备受关注。HTTPS 作为一种重要的网络通信协议&#xff0c;为数据的传输提供了强有力的安全保障。它是在 HTTP 的基础上发展而来&#xff0c;通过引入数据加密机制&a…
阅读更多...
C++ BuilderXE 计算程序运行时间精确到毫秒

C++ BuilderXE 计算程序运行时间精确到毫秒

#include <time.h> // //计算时间 clock_t start,end,dtStart; startclock(); // ProgressBar1->Percent0; // // ProgressBar1->Percenti/DDnum*100; // Application->ProcessMessages(); // //操作完成计时 …
阅读更多...
干货分享：AI知识库-从认识到搭建

干货分享：AI知识库-从认识到搭建

随着知识库的出现&#xff0c;人工智能也逐渐加入进来&#xff0c;形成了“AI知识库”。也许将AI和知识库拆开&#xff0c;你能理解是什么意思&#xff0c;但是当两个词结合在一起时&#xff0c;你又真的能理解它是做什么的吗&#xff1f;这就是今天我们要来聊的话题&#xff0…
阅读更多...
服务器内存占用不足会怎么样，解决方案

服务器内存占用不足会怎么样，解决方案

在当今数据驱动的时代&#xff0c;服务器对于我们的工作和生活起着举足轻重的作用。而在众多影响服务器性能的关键因素当中&#xff0c;内存扮演着极其重要的角色。 服务器内存&#xff0c;也称RAM&#xff08;Random Access Memory&#xff09;&#xff0c;是服务器核心硬件部…
阅读更多...
AI办公自动化：用kimi批量新建Word文档

AI办公自动化：用kimi批量新建Word文档

Excel文件中有43行内容&#xff0c;希望根据这些内容批量新建43个word文档。 在kimichat中输入提示词&#xff1a; 你是一个Python编程专家&#xff0c;要完成一个编写批量新建Word文档Python脚本的任务&#xff0c;具体步骤如下&#xff1a; 打开F盘的表格文件&#xff1a;工…
阅读更多...
​美团一面问我i++跟++i的区别是什么

​美团一面问我i++跟++i的区别是什么

美团一面问我i跟i的区别是什么 面试官&#xff1a;“i跟i的区别是什么&#xff1f;” 我&#xff1a;“i是先使用然后再执行1的操作&#xff0c;i是先执行1的操作然后再去使用i” 面试官&#xff1a;“那你看看下面这段代码&#xff0c;运行结果是什么&#xff1f;” public st…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023