Tensorflow训练视觉模型（CPU）

news2024/9/30 23:35:41

目录

零、模型下载

一、清理C盘

二、 配置环境

三、运行项目前提操作

（1）根据自己的项目设置路径。每次激活虚拟环境（tensorflow115）都得重设一次

（2）执行setup

这个项目的路径移动了位置也需要重设一次

四、制作训练集

（1）设计一个文件夹。总体相片分布可以用80%train，20%test

（2）使用labelImg获得xml文件

（3）xml转csv

（4）csv转tfrecord

（5）在object_detection路径下创建training，在training文件夹建一个labelmap.pbtxt

五、模型配置

1.修改num个数，根据你class的个数写

2.batch_size根据你电脑的性能填，最低填1

3.训练最高步数限制

4.路径修改

​编辑六、模型开始训练

 七、观察训练

八、生成模型

九、测试模型

 十、寻找别人训练好的模型

零、模型下载

GitHub - tensorflow/models: Models and examples built with TensorFlow

Detection/faster_rcnn_inception_v2_coco_2018_01_28 at master · librahfacebook/Detection · GitHub

一、清理C盘

        修改conda默认envs_dirs和pkgs_dirs

        推荐博文（若侵权告知必删）：http://t.csdnimg.cn/Ki52N

二、 配置环境

（1）用anaconda创建虚拟环境

        win+R进入cmd 或者 进入Anaconda Prompt应用（这里是cpu,如果你用GPU推荐Anaconda Prompt，会帮你安装跑GPU要用的驱动）

conda create -n tensorflow115 python=3.6

 （2）创建完环境后，一一输入下面的指令

conda activate tensorflow115
conda install tensorflow=1.15.0
conda install -c anaconda protobuf

如果这个指令报错404尝试换源

找到的.condarc文件打开。
拷贝以下镜像源到该文件
channels:
  - https://mirrors.sjtug.sjtu.edu.cn/anaconda/pkgs/main/
  - https://mirrors.sjtug.sjtu.edu.cn/anaconda/pkgs/free/
  - defaults
ssl_verify: true
show_channel_urls: true
pip install pillow
pip install lxml
pip install jupyter
pip install matplotlib
pip install pandas
pip install opencv-python==4.3.0.38

三、运行项目前提操作

（1）根据自己的项目设置路径。每次激活虚拟环境（tensorflow115）都得重设一次

set PYTHONPATH=G:\BaiduNetdiskDownload\Tensorflow+FasterRCNN+KITTI\models;G:\BaiduNetdiskDownload\Tensorflow+FasterRCNN+KITTI\models\research;G:\BaiduNetdiskDownload\Tensorflow+FasterRCNN+KITTI\models\research\slim

（2）执行setup

这个项目的路径移动了位置也需要重设一次

命令端进入research路径

输入指令

python setup.py build
python setup.py install

四、制作训练集

（1）设计一个文件夹。总体相片分布可以用80%train，20%test

（2）使用labelImg获得xml文件

pip install labelimg

使用labelimg指令 

labelimg

快捷键操作
Ctrl + u 选择要标注的文件目录；
Ctrl + r 选择标注好的标签存放的目录；
Ctrl + s 保存标注好的标签（自动保存模式下会自动保存）；
Ctrl + d 复制当前标签和矩形框；
Ctrl + Shift + d 删除当前图片；
Space 将当前图像标记为已验证；
w 开始创建矩形框；
d 切换到下一张图；
a 切换到上一张图；
del 删除选中的标注矩形框；
Ctrl++ 放大图片；
Ctrl-- 缩小图片；
↑→↓← 移动选中的矩形框的位置；

（3）xml转csv

路径根据实际情况修改

import os
import glob
import pandas as pd
import xml.etree.ElementTree as ET


def xml_to_csv(path):
    xml_list = []
    for xml_file in glob.glob(path + '/*.xml'):
        tree = ET.parse(xml_file)
        root = tree.getroot()
        for member in root.findall('object'):
            value = (root.find('filename').text,
                     int(root.find('size')[0].text),
                     int(root.find('size')[1].text),
                     member[0].text,
                     int(member[4][0].text),
                     int(member[4][1].text),
                     int(member[4][2].text),
                     int(member[4][3].text)
                     )
            xml_list.append(value)
    column_name = ['filename', 'width', 'height', 'class', 'xmin', 'ymin', 'xmax', 'ymax']
    xml_df = pd.DataFrame(xml_list, columns=column_name)
    return xml_df


def main():
    for folder in ['train','test']:
        image_path = os.path.join(os.getcwd(), ('images/' + folder))
        xml_df = xml_to_csv(image_path)
        xml_df.to_csv(('images/' + folder + '_labels.csv'), index=None)
        print('Successfully converted xml to csv.')


main()

（4）csv转tfrecord

"""
Usage:
  # From tensorflow/models/
  # Create train data:
  python generate_tfrecord.py --csv_input=images/train_labels.csv --image_dir=images/train --output_path=train.record

  # Create test data:
  python generate_tfrecord.py --csv_input=images/test_labels.csv  --image_dir=images/test --output_path=test.record
"""
from __future__ import division
from __future__ import print_function
from __future__ import absolute_import

import os
import io
import pandas as pd
import tensorflow as tf

from PIL import Image
from object_detection.utils import dataset_util
from collections import namedtuple, OrderedDict

os.environ['TF_CPP_MIN_LOG_LEVEL']='2'

flags = tf.app.flags
flags.DEFINE_string('csv_input', '', 'Path to the CSV input')
flags.DEFINE_string('image_dir', '', 'Path to the image directory')
flags.DEFINE_string('output_path', '', 'Path to output TFRecord')
FLAGS = flags.FLAGS


# TO-DO replace this with label map
def class_text_to_int(row_label):
    if row_label == 'Car':
        return 1
    if row_label == 'Van':
        return 2
    if row_label == 'Truck':
        return 3
    if row_label == 'Pedestrian':
        return 4
    if row_label == 'Person_sitting':
        return 5
    if row_label == 'Cyclist':
        return 6
    if row_label == 'Tram':
        return 7
    if row_label == 'Misc':
        return 8
    else:
        return 0


def split(df, group):
    data = namedtuple('data', ['filename', 'object'])
    gb = df.groupby(group)
    return [data(filename, gb.get_group(x)) for filename, x in zip(gb.groups.keys(), gb.groups)]


def create_tf_example(group, path):
    with tf.gfile.GFile(os.path.join(path, '{}'.format(group.filename)), 'rb') as fid:
        encoded_jpg = fid.read()
    encoded_jpg_io = io.BytesIO(encoded_jpg)
    image = Image.open(encoded_jpg_io)
    width, height = image.size

    filename = group.filename.encode('utf8')
    image_format = b'jpg'
    xmins = []
    xmaxs = []
    ymins = []
    ymaxs = []
    classes_text = []
    classes = []

    for index, row in group.object.iterrows():
        xmins.append(row['xmin'] / width)
        xmaxs.append(row['xmax'] / width)
        ymins.append(row['ymin'] / height)
        ymaxs.append(row['ymax'] / height)
        classes_text.append(row['class'].encode('utf8'))
        classes.append(class_text_to_int(row['class']))

    tf_example = tf.train.Example(features=tf.train.Features(feature={
        'image/height': dataset_util.int64_feature(height),
        'image/width': dataset_util.int64_feature(width),
        'image/filename': dataset_util.bytes_feature(filename),
        'image/source_id': dataset_util.bytes_feature(filename),
        'image/encoded': dataset_util.bytes_feature(encoded_jpg),
        'image/format': dataset_util.bytes_feature(image_format),
        'image/object/bbox/xmin': dataset_util.float_list_feature(xmins),
        'image/object/bbox/xmax': dataset_util.float_list_feature(xmaxs),
        'image/object/bbox/ymin': dataset_util.float_list_feature(ymins),
        'image/object/bbox/ymax': dataset_util.float_list_feature(ymaxs),
        'image/object/class/text': dataset_util.bytes_list_feature(classes_text),
        'image/object/class/label': dataset_util.int64_list_feature(classes),
    }))
    return tf_example


def main(_):
    writer = tf.python_io.TFRecordWriter(FLAGS.output_path)
    path = os.path.join(os.getcwd(), FLAGS.image_dir)
    examples = pd.read_csv(FLAGS.csv_input)
    grouped = split(examples, 'filename')
    for group in grouped:
        tf_example = create_tf_example(group, path)
        writer.write(tf_example.SerializeToString())

    writer.close()
    output_path = os.path.join(os.getcwd(), FLAGS.output_path)
    print('Successfully created the TFRecords: {}'.format(output_path))


if __name__ == '__main__':
    tf.app.run()

这里根据你的label修改

 修改完后使用下面的指令

  python generate_tfrecord.py --csv_input=images/train_labels.csv --image_dir=images/train --output_path=train.record
  python generate_tfrecord.py --csv_input=images/test_labels.csv  --image_dir=images/test --output_path=test.record

（5）在object_detection路径下创建training，在training文件夹建一个labelmap.pbtxt

labelmap.pbtxt的格式

五、模型配置

在object_detection\samples\configs 文件夹下找到对应的.config文件然后将该config文件复制到刚刚创建的training文件中

拿faster_rcnn_inception_v2_coco_2018_01_28模型举例 ，复制faster_rcnn_inception_v2_coco.config到 training 文件夹下

1.修改num个数，根据你class的个数写

2.batch_size根据你电脑的性能填，最低填1

3.训练最高步数限制

4.路径修改

六、模型开始训练

 因为我们用的CPU，所以需要修改一处地方使用CPU

开始训练

python train.py --logtostderr --train_dir=training/ --pipeline_config_path=training/faster_rcnn_inception_v2_pets.config

出现报错

 解决办法

pip install tensorflow-estimator==1.15.0

 七、观察训练

开一个命令窗口，在object_detection 下运行

tensorboard --logdir=my_obgect/training

八、生成模型

python export_inference_graph.py \ --input_type image_tensor \ --pipeline_config_path training/faster_rcnn_inception_v2_pets.config \  --trained_checkpoint_prefix training/model.ckpt-4446 \  --output_directory my_detection_v1

 my_detection_v1是自己在当前路径下建的空白文件夹

如果报错

Current thread 0x000045d8 (most recent call first):

解决方法

pip install tensorflow=1.15.0

再重复第三、运行项目前提操作

九、测试模型

打开Object_detection_image.py(该python文件在object_detection中)

修改下面的内容，一一对应

 最后输入下面指令

python Object_detection_image.py

 十、寻找别人训练好的模型

models/research/object_detection/g3doc/tf1_detection_zoo.md at master · tensorflow/models · GitHub

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1979798.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

7.17题目练习

7.17题目练习

目录 1.二叉树的最近公共祖先 2.从前序与中序遍历序列构造二叉树 3.最小k个数 1.二叉树的最近公共祖先 /*** Definition for a binary tree node.* public class TreeNode {* int val;* TreeNode left;* TreeNode right;* TreeNode(int x) { val x; }* }*/ class Solution …
阅读更多...
余承东再次否认“遥遥领先”禁令：没有罚款一说，被喊烂了

余承东再次否认“遥遥领先”禁令：没有罚款一说，被喊烂了

7月29日，问界第四十万台新车在赛力斯超级工厂正式下线。在下线仪式上，华为常务董事、终端BG董事长、智能汽车解决方案BU董事长余承东再次否认了外界关于其被禁提“遥遥领先”一次的传闻，在谈及问界M9时，他表示，问界M9不…
阅读更多...
java基础 之 equals和==的区别

java基础 之 equals和==的区别

文章目录 浅谈“”特点比较基本类型比较引用类型 浅谈“equals”背景和使用重写equals自定义类为什么需要重写equals方法 总结附录代码及文章推荐 前言： 1、8大基本数据类型，它们的值直接代表了某种数据，不是对象的实例，不能使用n…
阅读更多...
DeepSpeed基础及内存优化特性

DeepSpeed基础及内存优化特性

DeepSpeed 1.基础概念 DeepSpeed是一个由Microsoft 公司开发的开源深度学习优化库，旨在提高大规模模型训练的效率和可扩展性，使研究人员和工程师能够更快地迭代和探索新的深度学习模型和算法。它采用了多种技术手段来加速训练，包括模型并行…
阅读更多...
【百度面试算法题】2024-08-02

【百度面试算法题】2024-08-02

部门项目实际上也涉及到多种语言，有没有意愿去学习其他语言？你是如何利用数据结构来做技术的/项目中是如何解决高并发的？（没听懂问题…就直接开始介绍项目了…后来被打断说不进行发散了，开始问八股）说一下单…
阅读更多...
Visual Studio中gets报错解决方法

Visual Studio中gets报错解决方法

1、报错内容 2、visual studio 2015之后就不支持gets了，变成了gets_s，并且后面的括号中也不能单独写一个数组名，还需加上数组内的个数，如下： 问题就解决了
阅读更多...
虚拟机如何使用pxe服务实现自动安装系统

虚拟机如何使用pxe服务实现自动安装系统

一、前提 服务机为rhel7.9 因为我们需要虚拟机为服务器来给要安装系统的虚拟机分配IP 所以要先将VMWare的NAT模式的DHCP自动分配取消，如图： yum install httpd -y systemctl enable --now httpd 二、基于HTTP协议的PXE服务器 1、首先需要进入图形化…
阅读更多...
2-55 基于matlab的 永磁同步电机滑膜观测器估算电机转速

2-55 基于matlab的 永磁同步电机滑膜观测器估算电机转速

基于matlab的 永磁同步电机滑膜观测器估算电机转速。精度比传统观测器精度高。分别输出电机转速估计值与实际值、电机转速估计误差、电机转子位置估计值与实际值、电机转子位置估计误差。程序已调通，可直接运行。 2-55滑膜观测器估算电机转速 - 小红书 (xiaohongsh…
阅读更多...
正点原子imx6ull-mini-Linux驱动之Linux SPI 驱动实验（22）

正点原子imx6ull-mini-Linux驱动之Linux SPI 驱动实验（22）

跟上一章一样，其实这些设备驱动，无非就是传感器对应寄存器的读写。而这个读写是建立在各种通信协议上的，比如上一章的i2c，我们做了什么呢，就是把设备注册成一个i2c平台驱动，这个i2c驱动怎么搞的呢&#xff…
阅读更多...
PXE：Kickstart自动化安装Linux系统

PXE：Kickstart自动化安装Linux系统

PXE：工作在 Client/Server模式，允许客户机通过网络从远程服务器下载引导镜像，并加载安装文件或者整个操作系统。 运行 PXE协议需要设置：DHCP服务器和TFTP服务器。DHCP服务器用来给 PXE client（将要安装系统的主机&…
阅读更多...
在使用JSON过程中遇到的一个空间释放问题

在使用JSON过程中遇到的一个空间释放问题

在对完成的模块进行空间访问检查中发现了这个问题，这刚开始接触JSON的使用，也不知道他的内部实现，因此该问题找了好久，终于发现是每个节点创建都会自动开辟空间，因此造成空间未成功释放的错误。 JSON未成功替换节点空间…
阅读更多...
NVIDIA A100 和 H100 硬件架构学习

NVIDIA A100 和 H100 硬件架构学习

目前位置NV各种架构代号： NVIDIA GPU 有多个代号和架构，这些架构对应不同的世代和硬件特性。以下是 NVIDIA 主要 GPU 架构及其计算能力（Compute Capability）代号的简要概述： Tesla 架构 G80、GT200 Compute Capabi…
阅读更多...
未授权访问漏洞（漏洞复现合集）

未授权访问漏洞（漏洞复现合集）

目录 一：Redis未授权访问漏洞 * 步骤一:进入vulhub目录使用以下命令启动靶机... 步骤二:在Kali上安装redis程序进行服务的链接 步骤三:可以直接连接执行命令且不需要认证说明存在未授权访问漏洞...下载以下攻击项目... 步骤四:使用工具执行以下命令获取目标的命…
阅读更多...
LeetCode.572.另一棵树的子树

LeetCode.572.另一棵树的子树

题目描述： 给你两棵二叉树 root 和 subRoot 。检验 root 中是否包含和 subRoot 具有相同结构和节点值的子树。如果存在，返回 true ；否则，返回 false 。 二叉树 tree 的一棵子树包括 tree 的某个节点和这个节点的所有后代节点。…
阅读更多...
E24.【C语言】练习：求一个整数存储在内存中的二进制中1的个数（两种方法）

E24.【C语言】练习：求一个整数存储在内存中的二进制中1的个数（两种方法）

#define _CRT_SECURE_NO_WARNINGS #include <stdio.h> int main() {int n 0;int sum 0;scanf("%d", &n);while (n!0){if (n % 2 1)sum;n n / 2;}printf("%d", sum); } 代码可以更简洁 while (n!0)直接写成while (n) 对于正整数&#xff1…
阅读更多...
探索Python文档自动化的奥秘：MkDocs的神奇之旅

探索Python文档自动化的奥秘：MkDocs的神奇之旅

文章目录 **探索Python文档自动化的奥秘&#xff1a;MkDocs的神奇之旅**第一部分&#xff1a;背景为什么选择MkDocs&#xff1f; 第二部分&#xff1a;MkDocs是什么&#xff1f;MkDocs&#xff1a;文档生成的瑞士军刀 第三部分&#xff1a;如何安装MkDocs&#xff1f;一键安装&…
阅读更多...
C++中的宏

C++中的宏

文章目录 第一个简单宏示例宏定义可包括分号宏定义符号正常使用案例Debug版本和release版本的宏定义使用定义宏开关为某个数值而不仅仅是定义【注意】预处理定义规范代码折叠反斜杠实现多行宏的书写 第一个简单宏示例 发生在编译的预处理阶段。 不建议下面这么写&#xff0c;下…
阅读更多...
3.9.转置卷积

3.9.转置卷积

转置卷积 ​ 目前为止&#xff0c;在卷积神经网络层中&#xff0c;通常会减少下采样输入图像的空间维度&#xff08;高和宽)。然而如果输入和输出图像的空间维度相同&#xff0c;在以像素级分类的语义分割中将会很方便&#xff1a;输出像素所处的通道维可以保有输入像素在同一…
阅读更多...
Linux应用编程——实现SPI通信（基于百问网6ULL开发板）

Linux应用编程——实现SPI通信（基于百问网6ULL开发板）

1.SPI简介 SPI 通常指串行外设接口&#xff08;Serial Peripheral Interface&#xff09;&#xff0c;它是一种高速、全双工、同步的通信总线。 SPI 总线在芯片的管脚上只占用四根线&#xff0c;节约了芯片的管脚&#xff0c;也为 PCB 的布局节省了空间。这四根线分别是&…
阅读更多...
大模型学习笔记 - InstructGPT中的微调与对齐

大模型学习笔记 - InstructGPT中的微调与对齐

LLM 微调 之 InstructGPT中的微调与对齐 LLM 微调 之 InstructGPT中的微调与对齐 技术概览 InstructGPT中的微调与对齐 大体步骤标注数据量模型训练 1. SFT 是如何训练的2. Reward Model是如何训练的3. RLHF 是如何训练的具体讲解RLHF 的loss 函数 模型效果参考链接&#xf…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023