TensorFlow2.1 模型训练使用

news2024/11/15 10:09:32

文章目录

  • 1、环境安装搭建
  • 2、神经网络
    • 2.1、解决线性问题
    • 2.2、FAshion MNIST数据集使用
  • 3、卷积神经网络
    • 3.1、卷积神经网络使用
    • 3.2、ImageDataGenerator使用
    • 3.3、猫狗识别案例
    • 3.4、参数优化

1、环境安装搭建

链接: Windows 安装Tensorflow2.1、Pycharm开发环境

2、神经网络

1、传统方式解决问题
在这里插入图片描述
2、机器学习解决方式
在这里插入图片描述
在这里插入图片描述

2.1、解决线性问题

下面通过两组数据推导出公式：
-1.0, 0.0, 1.0, 2.0, 3.0, 4.0
-3.0, -1.0, 1.0, 3.0, 5.0, 7.0
很明显是一个线性问题，y=2x-1，下面我们通过tensorflow来解决这个问题，输入当x=10的时候求y的值？

import tensorflow as tf
from tensorflow import keras
import numpy as np


def tensor_test1():
    # layers表示的是一层神经元，units表示这一层里面只有一个。input_shape输入值
    model = keras.Sequential([keras.layers.Dense(units=1, input_shape=[1])])
    # 指定优化和损失函数
    model.compile(optimizer='sgd', loss='mean_squared_error')
    xs = np.array([-1.0, 0.0, 1.0, 2.0, 3.0, 4.0], dtype=float)
    ys = np.array([-3.0, -1.0, 1.0, 3.0, 5.0, 7.0], dtype=float)

    # epochs 表示训练次数
    model.fit(xs, ys, epochs=500)

    # y = 2x-1
    # 通过模型去检测x=10的时候，y等于多少
    print(model.predict([10.0]))


if __name__ == '__main__':
    tensor_test1()

通过结果可以看出，是一个很接近的值

在这里插入图片描述

2.2、FAshion MNIST数据集使用

在这里插入图片描述

700000张图片
10个类别
28*28
训练神经元网络
通过tensorflow进行模型构建，通过构建出来的模型对图片进行识别

import tensorflow as tf
from tensorflow import keras
import numpy as np
import matplotlib.pyplot as plt

# 使用fashion数据集
# 自动终止
# 深度学习是不是训练的次数越多越好呢，不是次数太多会出现一些过拟合问题，就是做的题目都认识，但是新题目不会
# 所以我们需要通过callback来对他进行终止
class myCallbcak(tf.keras.callbacks.Callback):
    def on_epoch_end(self, epoch, logs={}):
        if (logs.get('loss') < 0.4):
            print("\nloss is low so cancelling training!")
            self.model.stop_training = True


def tensor_Fashion():
    callbacks = myCallbcak()
    fashion_mnist = keras.datasets.fashion_mnist
    # 训练数据集，每张图片对应的标签   测试用的图片  测试用的标签
    (train_images, train_labels), (test_images, test_labels) = fashion_mnist.load_data()
    # print(train_images.shape)
    # plt.imshow(train_images[0])

    # 构造模型
    # 构造一个三层结构，第一层用来接收输入，中间层有512个神经元，这个是任意的，最后层，我们要分的类别有10

    model = keras.Sequential([
        keras.layers.Flatten(input_shape=(28, 28)),
        keras.layers.Dense(512, activation=tf.nn.relu),
        keras.layers.Dense(10, activation=tf.nn.softmax)
    ])
    model.summary()
    # 归一化，更准确
    train_images_scaled = train_images / 255.0
    # 指定优化
    model.compile(optimizer='adam', loss=tf.losses.sparse_categorical_crossentropy
                  , metrics=['accuracy'])
    model.fit(train_images_scaled, train_labels, epochs=100, callbacks=[callbacks])

    test_images_scaled = test_images / 255.0
    model.evaluate(test_images_scaled, test_labels)

    # 判断单张图片的属于哪个类别
    print(model.predict([[test_images[0] / 255]]))
    # 打印出标签
    print(np.argmax(model.predict([[test_images[0] / 255]])))
    print(test_labels[0])

3、卷积神经网络

3.1、卷积神经网络使用

通过卷积神经网络对FAshion MNIST数据集进行训练，得出的准确率比神经网络的更准确，当时也更耗时

import tensorflow as tf
from tensorflow import keras
import numpy as np
import matplotlib.pyplot as plt

def convolution_nerve():
    fashion_mnist = keras.datasets.fashion_mnist
    (train_images, train_labels), (test_images, test_labels) = fashion_mnist.load_data()

    # 构造模型
    model = keras.Sequential([
        keras.layers.Conv2D(64, (3, 3), activation='relu', input_shape=(28, 28, 1)),
        keras.layers.MaxPooling2D(2, 2),
        keras.layers.Conv2D(64, (3, 3), activation='relu'),
        keras.layers.MaxPooling2D(2, 2),

        keras.layers.Flatten(),
        keras.layers.Dense(128, activation='relu'),
        keras.layers.Dense(10, activation='softmax')
    ])
    model.summary()
    # 归一化
    train_images_scaled = train_images / 255.0
    # 指定优化
    model.compile(optimizer='adam', loss=tf.losses.sparse_categorical_crossentropy
                  , metrics=['accuracy'])
    model.fit(train_images_scaled.reshape(-1, 28, 28, 1), train_labels, epochs=5)

if __name__ == '__main__':
    convolution_nerve()

模型结构

1层卷积层
输入是2828，过滤器是33，最后会去掉两个像素，所以是2626，64是过滤器，经过第一次卷积就变成64张图片了，(33+1)64=640
2池化层
尺寸减少原来的1/4，长宽各自减去一半
2层卷积层
(33*64+1)*64=36928

在这里插入图片描述
第一层卷积层
在这里插入图片描述
max pooling
在这里插入图片描述

3.2、ImageDataGenerator使用

1、 真实数据做处理
2、图片尺寸大小不一，需要裁成一样大小
3、数据量比较大，不能一下载装入内容
4、经常需要修改参数，列入尺寸
使用ImageDataGenerator对图片做处理

from tensorflow.keras.preprocessing.image import ImageDataGenerator

# 创建两个数据生成器，指定scaling否为0-1
train_datagen = ImageDataGenerator(rescale=1 / 255)
validation_datagen = ImageDataGenerator(rescale=1 / 255)

# 指向训练数据文件夹
train_genrator = train_datagen.flow_from_directory(
    '/',  # 训练数据所在文件夹
    target_size=(300, 300),  # 指定输出尺寸
    batch_size=32,  # 每次提取多少
    class_mode='binary'  # 指定二分类
)

validation_genrator = validation_datagen.flow_from_directory(
    '/',  # 训练数据所在文件夹
    target_size=(300, 300),  # 指定输出尺寸
    batch_size=32,  # 每次提取多少
    class_mode='binary'  # 指定二分类
)

3.3、猫狗识别案例

图片资源下载：https://download.csdn.net/download/weixin_45715405/88226536

from tensorflow.keras.preprocessing.image import ImageDataGenerator
from tensorflow.keras.optimizers import RMSprop
import os
import tensorflow as tf
from tensorflow import keras
import numpy as np
def dogs_cats():
    base_dir = 'E:\\BaiduNetdiskDownload\\06.TensorFlow框架课件资料\\Tensorflow课件资料\\猫狗识别项目实战\\猫狗识别\\猫狗识别\data\\cats_and_dogs'
    train_dir = os.path.join(base_dir, 'train')
    validation_dir = os.path.join(base_dir, 'validation')

    # 训练集
    train_cats_dir = os.path.join(train_dir, 'cats')
    train_dogs_dir = os.path.join(train_dir, 'dogs')

    # 验证集
    validation_cats_dir = os.path.join(validation_dir, 'cats')
    validation_dogs_dir = os.path.join(validation_dir, 'dogs')

    model = tf.keras.models.Sequential([
        tf.keras.layers.Conv2D(16, (3, 3), activation='relu', input_shape=(64, 64, 3)),
        tf.keras.layers.MaxPooling2D(2, 2),
        tf.keras.layers.Conv2D(32, (3, 3), activation='relu'),
        tf.keras.layers.MaxPooling2D(2, 2),
        tf.keras.layers.Conv2D(64, (3, 3), activation='relu'),
        tf.keras.layers.MaxPooling2D(2, 2),
        tf.keras.layers.Flatten(),
        tf.keras.layers.Dense(512, activation='relu'),
        tf.keras.layers.Dense(1, activation='sigmoid')  # 如果是多分类用softmax，2分类用sigmoid就可以了
    ])
    # 设置损失函数,优化函数
    model.compile(loss='binary_crossentropy', optimizer=RMSprop(0.001)
                  , metrics=['acc'])


    # 数据预处理
    # 都进来的数据会被自动转换成tensor（float32）格式，分别准备训练和验证
    # 图像数据归一化（0-1）区间
    train_datagen = ImageDataGenerator(
        rescale=1. / 255,
        rotation_range=40,
        width_shift_range=0.2,
        height_shift_range=0.2,
        shear_range=0.2,
        zoom_range=0.2,
        horizontal_flip=True,
        fill_mode='nearest'
    )
    test_datagen = ImageDataGenerator(rescale=1. / 255)

    train_generator = train_datagen.flow_from_directory(
        train_dir,  # 文件夹路径
        target_size=(64, 64),  # 指定resize的大小
        batch_size=20,
        # 如果one-hot就是categorical，二分类用binary就可以
        class_mode='binary'
    )
    validation_generator = test_datagen.flow_from_directory(
        validation_dir,
        target_size=(64, 64),
        batch_size=20,
        class_mode='binary'
    )

    # 训练网络模型
    # 直接fit也可以，但是通常不能把所有数据全部放入内存，fit_generator相当于一个生成器，动态产生所需的batch数据
    # steps_per_epoch相当给定一个停止条件，因为生成器会不断产生batch数据，说白了就是它不知道一个epoch里需要执行多少个step
    history = model.fit_generator(
        train_generator,
        steps_per_epoch=100,
        epochs=5,
        validation_data=validation_generator,
        validation_steps=50,
        verbose=2)

3.4、参数优化

安装

pip3 install keras-tuner
优化之后的参数版本

from tensorflow.keras.preprocessing.image import ImageDataGenerator
from tensorflow.keras.optimizers import RMSprop
import os
from kerastuner.tuners import Hyperband
from kerastuner.engine.hyperparameters import HyperParameters

# 创建两个数据生成器，指定scaling否为0-1
# train_datagen = ImageDataGenerator(rescale=1 / 255)
# validation_datagen = ImageDataGenerator(rescale=1 / 255)
#
# # 指向训练数据文件夹
# train_genrator = train_datagen.flow_from_directory(
#     'E:\\BaiduNetdiskDownload\\06.TensorFlow框架课件资料\\Tensorflow课件资料\\猫狗识别项目实战\\猫狗识别\\猫狗识别\data\\cats_and_dogs\\train',  # 训练数据所在文件夹
#     target_size=(300, 300),  # 指定输出尺寸
#     batch_size=32,  # 每次提取多少
#     class_mode='binary'  # 指定二分类
# )
#
# validation_genrator = validation_datagen.flow_from_directory(
#     'E:\\BaiduNetdiskDownload\\06.TensorFlow框架课件资料\\Tensorflow课件资料\\猫狗识别项目实战\\猫狗识别\\猫狗识别\data\\cats_and_dogs\\validation',  # 训练数据所在文件夹
#     target_size=(300, 300),  # 指定输出尺寸
#     batch_size=32,  # 每次提取多少
#     class_mode='binary'  # 指定二分类
# )

hp = HyperParameters()


def dogs_cats(hp):
    model = tf.keras.models.Sequential()

    # values 指定范围
    model.add(tf.keras.layers.Conv2D(hp.Choice('num_filters_layer0', values=[16, 64], default=16),
                                     (3, 3), activation='relu',
                                     input_shape=(64, 64, 3)))
    model.add(tf.keras.layers.MaxPooling2D(2, 2))

    for i in range(hp.Int('num_conv_layers', 1, 3)):
        model.add(tf.keras.layers.Conv2D(hp.Choice(f'num_filters_layer{i}', values=[16, 64], default=16), (3, 3),
                                         activation='relu'))
        model.add(tf.keras.layers.MaxPooling2D(2, 2))

    model.add(tf.keras.layers.Flatten())
    model.add(tf.keras.layers.Dense(hp.Int('hidde_units', 128, 512, step=32), activation='relu'))
    model.add(tf.keras.layers.Dense(1, activation='sigmoid'))  # 如果是多分类用softmax，2分类用sigmoid就可以了

    # 设置损失函数,优化函数
    model.compile(loss='binary_crossentropy', optimizer=RMSprop(0.001)
                  , metrics=['acc'])
    return model


base_dir = 'E:\\BaiduNetdiskDownload\\06.TensorFlow框架课件资料\\Tensorflow课件资料\\猫狗识别项目实战\\猫狗识别\\猫狗识别\data\\cats_and_dogs'
train_dir = os.path.join(base_dir, 'train')
validation_dir = os.path.join(base_dir, 'validation')

# 训练集
train_cats_dir = os.path.join(train_dir, 'cats')
train_dogs_dir = os.path.join(train_dir, 'dogs')

# 验证集
validation_cats_dir = os.path.join(validation_dir, 'cats')
validation_dogs_dir = os.path.join(validation_dir, 'dogs')
# 数据预处理
# 都进来的数据会被自动转换成tensor（float32）格式，分别准备训练和验证
# 图像数据归一化（0-1）区间
train_datagen = ImageDataGenerator(
    rescale=1. / 255,
    rotation_range=40,
    width_shift_range=0.2,
    height_shift_range=0.2,
    shear_range=0.2,
    zoom_range=0.2,
    horizontal_flip=True,
    fill_mode='nearest'
)
test_datagen = ImageDataGenerator(rescale=1. / 255)

train_generator = train_datagen.flow_from_directory(
    train_dir,  # 文件夹路径
    target_size=(64, 64),  # 指定resize的大小
    batch_size=20,
    # 如果one-hot就是categorical，二分类用binary就可以
    class_mode='binary'
)
validation_generator = test_datagen.flow_from_directory(
    validation_dir,
    target_size=(64, 64),
    batch_size=20,
    class_mode='binary'
)

# 训练网络模型
# 直接fit也可以，但是通常不能把所有数据全部放入内存，fit_generator相当于一个生成器，动态产生所需的batch数据
# steps_per_epoch相当给定一个停止条件，因为生成器会不断产生batch数据，说白了就是它不知道一个epoch里需要执行多少个step
# history = model.fit_generator(
#     train_generator,
#     steps_per_epoch=100,
#     epochs=5,
#     validation_data=validation_generator,
#     validation_steps=50,
#     verbose=2)

tuner = Hyperband(
    dogs_cats,
    objective='val_acc',
    max_epochs=15,
    directory='dog_cats_params',
    hyperparameters=hp,
    project_name='my_dog_cat_project'
)
tuner.search(train_generator, epochs=10, validation_data=validation_generator)

# 查看参数情况
best_hps = tuner.get_best_hyperparameters(1)[0]
print(best_hps.values)
# 通过参数将模型构建出来
model = tuner.hypermodel.build(best_hps)
model.summary()

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/890931.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

第十四届中国大学生服务外包大赛细品，上百支队伍与合合信息用AI共克“记账”难题

第十四届中国大学生服务外包大赛细品，上百支队伍与合合信息用AI共克“记账”难题

前言 熟悉我的小伙伴应该知道我在大学时期参与了很多竞赛&#xff0c;我向来对比赛是比较热枕的&#xff0c;以我个人观点&#xff0c;我认为可以通过竞赛激发学习激情和检验自己的技能水平掌握情况&#xff0c;大学生很少有机会能够了解到课堂之外市场的需求&#xff0c;外包…
阅读更多...
repmgr出现双主，并且时间线分叉，删除了最新的时间线节点

repmgr出现双主，并且时间线分叉，删除了最新的时间线节点

遇到的问题如下&#xff1a; 2023-08-17 20:24:21.566 CST [1556001] LOG: database system was interrupted; last known up at 2023-08-17 20:21:41 CST 2023-08-17 20:24:21.770 CST [1556001] LOG: restored log file "00000009.history" from archive cp: 无法…
阅读更多...
【从零开始学爬虫】采集中国国际招标网招标数据

【从零开始学爬虫】采集中国国际招标网招标数据

l 采集网站 【场景描述】采集中国国际招标网招标数据。 【源网站介绍】中国国际招标网致力于为企业提供招标、采购、拟在建项目信息及网上招标采购等一系列商务服务。 【使用工具】前嗅ForeSpider数据采集系统 http://www.forenose.com/view/forespider/view/download.html 【…
阅读更多...
LVS-DR模式下（RS检测）ldirectord工具实现部分节点掉点后将请求发往正常设备进行处理

LVS-DR模式下（RS检测）ldirectord工具实现部分节点掉点后将请求发往正常设备进行处理

基于前文的LVS-DR集群构建环境 一.下载ldirectord软件 二.将模板文件中的LVS-DR模式相关文件拷贝到/etc/ha.d主配置目录并按实际设备修改 三.配置两台RS匹配规则 四.停止RS1的http服务进行测试 RS1失去工作能力&#xff0c;RS2接替RS1 基于前文的LVS-DR集群构建环境 一.下…
阅读更多...
ARM--day5(C语言点灯实验、总线、串口通信信息、串口通讯协议)

ARM--day5(C语言点灯实验、总线、串口通信信息、串口通讯协议)

函数分装实现点灯 gpio.c: #include "gpio.h" //函数功能&#xff1a;GPIO引脚初始化操作 //参数1&#xff1a;GPIO组号 //参数2&#xff1a;引脚编号 //参数3&#xff1a;初始化内容 void hal_gpio_init(volatile gpio_t*gpiox,unsigned int pin,gpio_init_t* ini…
阅读更多...
浏览器控制台调试代码和JavaScript控制台方法介绍

浏览器控制台调试代码和JavaScript控制台方法介绍

浏览器控制台调试代码和JavaScript控制台方法介绍 浏览器控制台调试代码 浏览器控制台&#xff08;Console&#xff09;是浏览器提供的一个开发工具&#xff0c;用于在浏览器中执行和调试 JavaScript 代码。它提供了一个交互式环境&#xff0c;可以输入 JavaScript 代码&#…
阅读更多...
计算机竞赛 wifi指纹室内定位系统

计算机竞赛 wifi指纹室内定位系统

简介 今天来介绍一下室内定位相关的原理以及实现方法; WIFI全称WirelessFidelity&#xff0c;在中文里又称作“行动热点”&#xff0c;是Wi-Fi联盟制造商的商标做为产品的品牌认证&#xff0c;是一个创建于IEEE 802.11标准的无线局域网技术。基于两套系统的密切相关&#xff…
阅读更多...
UGUI组件Rect Transform

UGUI组件Rect Transform

一. Rect Transform概述 画布上UI对象都附加一个Rect Transform组件&#xff0c;和一般对象附加的Transform对象相比&#xff0c;Rect Transform多了Width,Height,Anchor,Pivot属性。 二.位置属性 UI对象的坐标是其轴心到锚点之间的像素值&#xff0c;如下图所示。 三.Pivot(…
阅读更多...
同时负责多个项目，团队成员还参与多个项目开发，如何有效管理？分享9个策略

同时负责多个项目，团队成员还参与多个项目开发，如何有效管理？分享9个策略

如果你正在管理一个团队或项目&#xff0c;可能会需要同时在进行多个项目的管理。在这种情况下&#xff0c;追踪所有进行中的项目部分可能会迅速变得非常复杂。没有合适的管理过程&#xff0c;就难以确定哪些工作应该优先处理&#xff0c;也不容易确保团队有效管理工作量&#…
阅读更多...
WPF显示初始界面--SplashScreen

WPF显示初始界面--SplashScreen

WPF显示初始界面–SplashScreen 前言 WPF应用程序的运行速度快&#xff0c;但并不能在瞬间启动。当第一次启动应用程序时&#xff0c;会有一些延迟&#xff0c;因为公共语言运行时&#xff08;CLR&#xff09;首先需要初始化.NET环境&#xff0c;然后启动应用程序。 对于WPF中…
阅读更多...
Spring基础梳理(一)：一定要先全局掌握Spring

Spring基础梳理(一)：一定要先全局掌握Spring

越活越完蛋了&#xff0c;看着看着现在又想梳理梳理Spring基础&#xff0c;搞点原始真解吧&#xff0c;不过技术人每个阶段看相同东西的理解都是不同的&#xff0c;只是现在浮躁的技术中又有多少人能够一本书啃两遍以上呢&#xff0c;我也一样&#xff0c;徜徉于业务之中&#…
阅读更多...
【国护攻防场景下的沙箱技术对比】

【国护攻防场景下的沙箱技术对比】

目录 前言 沙箱技术分析 总结 前言 真高兴呀&#xff0c;又是受到红队大佬青睐的一天&#xff0c;今天下午很荣幸的收到了来自红队大佬的恶意投喂&#xff0c;把我们各位在座100年工作经验的蓝队师傅们吓得赶忙拔掉自己的电脑电源&#xff0c;断掉自己的网线&#xff0c;…
阅读更多...
基于Helm管理Kubernetes应用

基于Helm管理Kubernetes应用

目录 基于kubeadm部署K8S集群 一、环境准备 1.1、主机初始化配置 1.2、部署docker环境 二、部署kubernetes集群 2.1、组件介绍 2.2、配置阿里云yum源 2.3、安装kubelet kubeadm kubectl 2.4、配置init-config.yaml 2.5、安装master节点 2.6、安装node节点 2.7、安装…
阅读更多...
Linux驱动开发（Day4）

Linux驱动开发（Day4）

字符设备驱动分步注册&#xff1a;
阅读更多...
OpenCV实战(OCR识别和高级基础)

OpenCV实战(OCR识别和高级基础)

目录 图像特征harris角点检测基本原理实现 Scale Invariant Feature Transform&#xff08;SIFT&#xff09;图像尺度空间多分辨率金字塔高斯差分金字塔&#xff08;DOG&#xff09;DoG空间极值检测关键点的精确定位消除边界响应特征点的主方向生成特征描述 特征匹配Brute-Forc…
阅读更多...
Linux命令200例：crontab详解及应用场景（常用）

Linux命令200例：crontab详解及应用场景（常用）

&#x1f3c6;作者简介&#xff0c;黑夜开发者&#xff0c;全栈领域新星创作者✌。CSDN专家博主&#xff0c;阿里云社区专家博主&#xff0c;2023年6月csdn上海赛道top4。 &#x1f3c6;数年电商行业从业经验&#xff0c;历任核心研发工程师&#xff0c;项目技术负责人。 &…
阅读更多...
视频智能分析/视频云存储/集中存储EasyCVR平台AI分析告警列表定制

视频智能分析/视频云存储/集中存储EasyCVR平台AI分析告警列表定制

安防监控视频集中存储/云存储EasyCVR视频汇聚平台基于云边端一体化架构&#xff0c;可支持多协议、多类型设备接入&#xff0c;视频监控综合管理平台具有强大的数据接入、处理及分发能力&#xff0c;能在复杂的网络环境中&#xff0c;将分散的各类视频资源进行统一汇聚、整合、…
阅读更多...
Effective C++学习笔记（7）

Effective C++学习笔记（7）

目录 条款41&#xff1a;了解隐式接口和编译多态条款42&#xff1a;了解typename的双重意义条款43&#xff1a;学习处理模板化基类内的名称条款44&#xff1a;将与参数无关的代码抽离templates条款45&#xff1a;运用成员函数模板接受所有兼容类型条款46&#xff1a;需要类型转…
阅读更多...
100. 相同的树

100. 相同的树

100. 相同的树 题目-简单难度示例1. dfs2. bfs 题目-简单难度 给你两棵二叉树的根节点 p 和 q &#xff0c;编写一个函数来检验这两棵树是否相同。 如果两个树在结构上相同&#xff0c;并且节点具有相同的值&#xff0c;则认为它们是相同的。 示例 示例 1&#xff1a; 输入…
阅读更多...
Stable Diffusion XL(SDXL)原理详解

Stable Diffusion XL(SDXL)原理详解

技术报告&#xff1a;SDXL: Improving Latent Diffusion Models for High-Resolution Image Synthesis 官方代码&#xff1a;Stability-AI-generative-models 模型权重&#xff1a;HuggingFace-Stability AI 非官方代码&#xff1a;Linaqruf/kohya-trainer diffuser库&#xf…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023