小白初探|神经网络与深度学习

news2024/11/28 22:31:24

一、学习背景

由于工作的原因,需要开展人工智能相关的研究,虽然不用参与实际研发,但在项目实施过程中发现,人工智能的项目和普通程序开发项目不一样,门槛比较高,没有相关基础没法搞清楚人力、财力如何投入,很难合理管控成本以及时间。为搞清楚情况,老年博主决定一步一个脚印,好好自学。在写本文时,博主已学到一定阶段了,趁有时间,通过博文记录下来,以免遗忘。

二、学习准备

常年的学习告诉我们,一门学科要快速入门,主流方式是看网络教学视频,B站上有很多优质视频。但博主还是习惯静静看书,通过CSDN读书频道浏览一并人工智能入门书籍,最后选择了一本合适自己学习习惯的书,书名为《神经网络与深度学习:Python+Keras+TensorFlow》,2019年出版。PS:2023年才学,确实落后了呀🌝。

CSDN书架截图

看书先看目录,结合自己的学习需求,从目录来看,需要重点看的是以下几点:

书的目录结构

第一章:神经网络初体验

这章主要是介绍神经网络应用的案例,改变读者固有的一些思维方式,了解人工智能是怎么运作的,不仅是代码层面,看完还是很有收获的。

第二章&第三章:深度学习中的微积分基础和线性代数基础

第二、三两章非常重要,主要介绍神经网络的数理基础。以前在大学总认为微积分和线性代数和自己没啥关系,看完本章后,感觉这些数理知识学的远远不够,内心默默感叹,数学真是科技进步之本。第二章核心知识点主要是函数求导、间套函数的链式求导法则、多变量函数与偏导数、求函数最小值,第三章的核心知识点主要是矩阵运算、张量

第四章:神经网络的理论基础

本章是本书的核心,主要介绍人工智能的核心算法,包括激活函数、神经网络中的矩阵运算、反向传播算法梯度下降算法,必须认真看懂弄透,不然后面几章估计就无法阅读了。

第五章:用Python从零实现识别手写数字的神经网络

本章主要介绍如何使用Python代码来实现第四章算法,以加深神经网络算法的认识,同时提高动手能力,博主反复把书中代码练习数遍,才逐渐理解其中某些细节和原理。本章的核心内容是使用Python代码构建神经网络框架、使用Python代码实现网络迭代训练功能、使用Pyhon代码识别手写数字图片

第七章:使用神经网络实现机器视觉识别

由于博主想入门的是视觉类识别技术,所以主要看了第七章,往后的章节没有细看。本章逐节揭秘卷积网络的底层原理,核心内容主要包括卷积神经网络应用、预训练卷积神经网络应用、卷积神经网络原理

三、自己完整写完第一份图像识别代码

本书第七章的7.2小节为从零开始构造一个识别猫、狗图片的卷积网络,是一个图像识别入门例子,难度不高,适合博主这种小白一步一步根书敲代码。当然,复刻书中代码的过程是曲折的,运行时经常碰到各种报错,书本也有不少笔误之处。经过反复调试程序和查阅报错相关资料,逐项问题解决后,图像识别程序终于成功运行起来。

接下来,将介绍本小白是如何一步步把程序跑起来的,真是好多坑o(╥﹏╥)o。

第一步:把书中代码直接Copy到IDE尝试运行

这步操作简单,把以下完整代码Copy到IDE,本人用的是Pycharm,点击运行。本文使用的代码经测试可以运行,而且每一步都添加了自己写的备注,可能比原书还清晰。

import os
os.environ["CUDA_VISIBLE_DEVICES"]="0"
# 加载训练数据集和测试数据集
# 1.拼接数据集的地址
base_dir = 'D:\RGZN\第7章\cat-and-dog'
train_cats_dir = os.path.join(base_dir, 'training_set/cats')
train_dogs_dir = os.path.join(base_dir, 'training_set/dogs')
test_cats_dir = os.path.join(base_dir, 'test_set/cats')
test_dogs_dir = os.path.join(base_dir, 'test_set/dogs')
# 2.显示两个数据集中的图片数量
print('total trainning cat images: ', len(os.listdir(train_cats_dir)))
print('total trainning dog images: ', len(os.listdir(train_dogs_dir)))
print('total testing cat images: ', len(os.listdir(test_cats_dir)))
print('total testing dog images: ', len(os.listdir(test_dogs_dir)))

from keras import layers
from keras import models

model = models.Sequential()
# 3.Sequential是用于构建和训练顺序模型
model.add(layers.Conv2D(32, (3, 3), activation='relu', input_shape=(150, 150, 3)))
# 4.32个神经元,卷积核大小为3*3,激活函数为relu
# 5.150px*150px的图片,RGB(255,255,255)彩色像素,所以接入层的格式是(150,150,3)
model.add(layers.MaxPooling2D((2, 2)))
# 6.2D最大池化层,池化窗口大小为(2,2)
model.add(layers.Conv2D(64, (3, 3), activation='relu'))
# 7.64个神经元,卷积核大小为3*3,激活函数为relu
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(128, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Conv2D(128, (3, 3), activation='relu'))
model.add(layers.MaxPooling2D((2, 2)))
model.add(layers.Flatten())
# 8.将上面网络输出的多维数组压平成一维数组
model.add(layers.Dense(512, activation='relu'))
# 9.512个神经元,全连接,激活函数为relu
model.add(layers.Dense(1, activation="sigmoid"))
# 10.网络只要做出判断,因此最后一层只需要一个神经元,激活函数sigmoid,根据它输出的值是否大于0.5来决定图片是猫还是狗
model.compile(loss='binary_crossentropy', optimizer='rmsprop', metrics=['acc'])
# 11.model.compile()函数被设计为一个编译器,用于将模型的图形结构定义与计算引擎进行链接,以实现优化、损失函数的选择和训练过程的配置
model.summary()

from keras import preprocessing
from keras.utils import image_utils
import numpy as np

# 12.将图片地址加载到程序path_cats和path_dogs中
path_cats = []
for path in os.listdir(train_cats_dir):
    if '.jpg' in path:
        path_cats.append(os.path.join(train_cats_dir, path))
path_dogs = []
for path in os.listdir(train_dogs_dir):
    if '.jpg' in path:
        path_dogs.append(os.path.join(train_dogs_dir, path))
# 13.将图片转换为(150,150)格式的二维数组
training_set = np.zeros((6000, 150, 150, 3), dtype='float32')
# 14.np.zeros() 函数是 NumPy 库中的一个非常基础和广泛使用的函数,它的主要功能是创建一个特定形状和类型的新数组,其中所有元素的初始值都为 0。
train_dog_imgs = 3000
train_cat_imgs = 3000
for i in range(0, train_dog_imgs):
    img = image_utils.load_img(path_dogs[i], target_size=(150, 150))
    # 15.preprocessing,keras的预处理类
    training_set[i] = image_utils.img_to_array(img)
for j in range(0, train_cat_imgs):
    img = image_utils.load_img(path_cats[j], target_size=(150, 150))
    training_set[train_dog_imgs + j] = image_utils.img_to_array(img)
# 16.准备2000张图片作为网络训练校验集
validation_set = np.zeros((2000, 150, 150, 3), dtype='float32')
validation_dog_imgs = 1000
validation_cat_imgs = 1000
# 17.其中用于校验的狗图片1000张,校验猫的图片1000张
for i in range(validation_dog_imgs):
    path = path_dogs[i + train_dog_imgs]
    img = image_utils.load_img(path, target_size=(150, 150))
    validation_set[i] = image_utils.img_to_array(img)
for j in range(validation_cat_imgs):
    path = path_cats[i + train_cat_imgs]
    img = image_utils.load_img(path, target_size=(150, 150))
    validation_set[j + validation_dog_imgs] = image_utils.img_to_array(img)

train_labels = np.zeros((3000,))
# 18.对前面3000张狗图片打标签0
train_labels = np.concatenate((train_labels, np.ones(3000, )))
# 19.对后面3000张猫图片打标签1,并进行合并操作,形成6000张标签
validation_labels = np.zeros((1000,))
# 20.对前面1000只狗的校验图片打标签0
validation_labels = np.concatenate((validation_labels, np.ones(1000, )))
# 21.对后面1000只猫的校验图片打标签1,并进行合并操作,形成2000张标签
train_datagen = preprocessing.image.ImageDataGenerator(rescale=1. / 255)
# 22.将图片像素点转换到[0,1]之间,可以使用keras.preprocessing.image.ImageDataGenerator生成器对数据进行变换和增强
train_generator = train_datagen.flow(training_set, train_labels, batch_size=32)
# 23.根据生成器设置的相关参数,调用flow来执行,batch_size:整数或None。每个梯度更新用到的的样本数量。
validation_generator = train_datagen.flow(validation_set, validation_labels, batch_size=32)

history = model.fit(train_generator, steps_per_epoch=100, epochs=30,
                              validation_steps=50, validation_data=validation_generator)
# 24.启动网络训练,循环训练30次,每次训练从数据生成器中获取100张图片,校验时从生成器中获取50张图片

import matplotlib.pyplot as plt

# 25.获取训练结果,例如训练数据准确率、校验数据准确率等
acc = history.history['acc']
val_acc = history.history['val_acc']
loss = history.history['loss']
val_loss = history.history['val_loss']
epochs = range(1, len(acc) + 1)
# 26.将训练过程中的准确性变化绘制出来
plt.plot(epochs, acc, 'bo', label='Training acc')
plt.plot(epochs, val_acc, 'b', label='Validation acc')
plt.title('Training and validation accuracy')
plt.legend()
plt.figure()
# 27,将训练过程中的损失变化绘制出来
plt.plot(epochs, loss, 'bo', label='Training loss')
plt.plot(epochs, val_loss, 'b', label='Validation loss')
plt.title('Training and validation loss')
plt.legend()
plt.show()

第二步:发现依赖包未导入,根据报错导入相关的包

copy代码后会发现各种包比如keras等未导入,凡提示没有的,使用pip安装导入即可。

第三步:发现数据集没下载,根据书中链接下载

💫第一坑!这里发现原书地址不可用,经过大量网站检索,本小白终于完成数据集下载,但在写本文章时,该书官网貌似出问题了,晕倒_(¦3」∠)_。由于数据集太大,后期再放下载链接。

以下是数据集(cat-and-dog)截图:
在这里插入图片描述

第四步:模型训练

💫第二坑!缺少数据集的问题解决后,程序便可正常运行。谁知,笔记本第十代 intel i7 CPU跑了大半天才出训练结果,遂改GPU试试,结果手提没有英伟达独显,后来又研究外接显卡,终于解决CPU训练太慢的问题。这笔记本电脑雷电3接口外接二手GTX1060显卡跑人工智能深度学习训练模型解决方案够博主另外写一篇长文了,外接显卡方案从购置、安装、调式到运行,前前后后花了约三周时间,这里就不作详细解释了,最后结论是此方案可行,比CPU快几十倍。

若需使用电脑GPU,在程序开头加入以下代码即可。

os.environ["CUDA_VISIBLE_DEVICES"]="0"

除此之外,还有显卡驱动、CUDA、cuDNN等要安装,相关安装教程可参考以下链接。
《在keras中使用gpu加速训练模型》 👈这篇文章教你如何下载和安装相关驱动程序。
《CUDA11.8安装tensorflow2.12找不到GPU问题解决办法》👈这篇文章教你如何保证各种驱动版本一致。

四、模型训练效果

模型训练效果直接上图,效果如下:
在这里插入图片描述
在这里插入图片描述
[1]陈屹. 神经网络与深度学习实战:Python+Keras+TensorFlow[M]. 北京:机械工业出版社,2019.

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1425303.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

敏捷软件研发管理流程- scrum

Leangoo领歌是一款永久免费的专业的敏捷开发管理工具,提供端到端敏捷研发管理解决方案,涵盖敏捷需求管理、任务协同、进展跟踪、统计度量等。 Leangoo领歌上手快、实施成本低,可帮助企业快速落地敏捷,提质增效、缩短周期、加速创新…

嵌入式学习第十六天

制作俄罗斯方块小游戏(一) 分析: printf函数高级用法 \033[:表示转义序列的开始 m:表示转义序列的结束 0:重置所有属性 1:设置粗体或高亮 30-37:设置字体色 30: 黑 31: 红 32:…

服务器未启动而端口进程仍在运行如何查看并杀死

首先登录服务器然后查看当前监听的端口: sudo netstat -tuln比如这里的8080,我们此时并未启动服务器,但是它却正在运行,这会导致服务器刚启动就秒挂。如果没有日志的话会让人有点疑惑,这种情况可能是之前运行了该进程…

系统架构设计师-21年-下午答案

系统架构设计师-21年-下午答案 更多软考知识请访问 https://ruankao.blog.csdn.net/ 试题一必答,二、三、四、五题中任选两题作答 试题一 (25分) 说明 某公司拟开发一套机器学习应用开发平台,支持用户使用浏览器在线进行基于机器学习的智能应用开发…

rancher证书过期问题处理

问题 起初,打开rancher ui页面打不开,telnet rancher的服务端口也不通。查看rancher 控制节点,日志显示,X509:certificate has expired or is not ye valid。证书已过期 解决 现在网上大部分的解决方案都是针对的2…

迁移windows操作系统

最近有个朋友跟我说他电脑台卡了,我帮他大概看了下,归集原因磁盘还是机械硬盘,需要将他的电脑的磁盘的机械硬盘换一下,内存也比较小,4GB的,换一下,换成8GB的,本文只涉及到更换系统盘…

【MATLAB】PSO_BiLSTM神经网络回归预测算法

有意向获取代码,请转文末观看代码获取方式~也可转原文链接获取~ 1 基本定义 PSO_BiLSTM神经网络回归预测算法是一种结合了粒子群优化(Particle Swarm Optimization,PSO)和双向长短期记忆网络(Bidirectional Long Shor…

CodeGeeX AI编程助手提升.NET开发工作效率

前言 2022年6月,随着GitHub Copliot正式面向大众发布。让许多开发者都感受到了AI辅助编程工具的魅力所在,Copilot实现了帮助开发者大大提高了编程开发效率,让程序员朝九晚五成为可能。Copilot近乎是完美的,但还是由于种种原因&am…

LeetCode:49. 字母异位词分组

49. 字母异位词分组 1)题目2)代码3)结果 1)题目 给你一个字符串数组,请你将 字母异位词 组合在一起。可以按任意顺序返回结果列表。 字母异位词 是由重新排列源单词的所有字母得到的一个新单词。 示例 1: 输入: strs…

color - 让你的输出带点颜色

color color 是一个可以让你输出带颜色文本的库。 安装 go get github.com/fatih/color示例 输出到控制台 // 这会直接输出到控制台 color.Cyan("Prints text in cyan.")// 每个调用末尾会自动加上换行 color.Blue("Prints %s in blue.", "text&…

任务导向的扩散模型压缩;万物皆可成像;根据舞蹈生成音乐;LLM长上下文对齐;LLM KV缓存量化;通过运动场辅助扩散模型图像编辑

本文首发于公众号:机器感知 任务导向的扩散模型压缩;万物皆可成像;根据舞蹈生成音乐;LLM长上下文对齐;LLM KV缓存量化;通过运动场辅助扩散模型图像编辑 Task-Oriented Diffusion Model Compression As re…

Vmware 无法开启虚拟化解决方法

最近遇到了Vmware无法开启虚拟化的问题,已经解决,记录一下解决经过。 我遇到的情况是BIOS已经开启虚拟化,HV服务也停用了,但是Vmware仍然提示模块“VPMC”启动失败。网上的解决方案千篇一律,基本都是排查BIOS、停用Windows的虚拟化功能、停用HV主机服务、Vmware配置中关闭…

python pandas模块详解

python pandas模块详解 一:pandas简介二:pandas安装以及库的导入2.1 Pandas安装2.2 pandas模块的导入 三:pandas数据结构3.1 pandas Series结构3.1.1创建Series对象1)ndarray(数组)创建Series对象2&#xf…

静态时序分析:时序弧以及其时序敏感(单调性)

相关阅读 静态时序分析https://blog.csdn.net/weixin_45791458/category_12567571.html?spm1001.2014.3001.5482 在静态时序分析中,不管是组合逻辑单元(如与门、或门、与非门等)还是时序逻辑(D触发器等)在时序建模时…

Elasticsearch性能调优

背景 项目上是用 ES 做数据库,存储的告警数据,量级在千万级别左右。测试在压测之后,系统频繁出现告警记录查询报错,系统不可用。基于此排查分析项目上 Elasticsearch 的使用是否合理。 版本及硬件 环境:10.xx.xxx.x…

sectigo ip ssl证书有哪些

Sectigo是移交成立时间较久的CA认证机构,几十年来在全球颁发了各种各样的数字证书,例如,单域名SSL证书、多域名SSL证书、通配符SSL证书等域名SSL证书。Sectigo旗下也有一些不常见的数字证书,例如,代码签名证书、IP证书…

浅谈WPF之UniformGrid和ItemsControl

在日常开发中,有些布局非常具有规律性,比如相同的列宽,行高,均匀的排列等,为了简化开发,WPF提供了UniformGrid布局和ItemsControl容器,本文以一个简单的小例子,简述,如何…

ApacheNginx配置ssl证书

一、Apache配置ssl Linux版本:CentOS Linux release 7.9.2009 (Core) Apache版本:Apache/2.4.6 (CentOS) 1、安装Apache(使用默认yum源) [root10-35-1-25 ~]# yum -y install httpd2、查Apache版本&启动Apache [root10-35-…

vue使用富文本

1、安装 cnpm install vue-quill-editor2、在main.js中引入 // 富文本 import VueQuillEditor from vue-quill-editor // require styles 引入样式 import quill/dist/quill.core.css import quill/dist/quill.snow.css import quill/dist/quill.bubble.css Vue.use(VueQuill…

使用orangepi玩linux

最近看了这个大佬的文章,写了使用远程来挂载linux的方案,觉得还是很有意思的,瞬间感觉linux这块都还是相通的,就跑了一下,果然,牛逼! 香橙派全志H3烧录Uboot,远程加载zImage&#xf…