Tensorflow benchmark 实操指南

news2024/11/16 5:25:57

环境搭建篇见环境搭建-CentOS7下Nvidia Docker容器基于TensorFlow1.15测试GPU_东方狱兔的博客-CSDN博客

1. 下载Benchmarks源码

从 TensorFlow 的 Github 仓库上下载 TensorFlow Benchmarks，可以通过以下命令来下载

https://github.com/tensorflow/benchmarks

我的 - settings -SSH and GPG Keys 添加公钥id_rsa.pub

拉取代码 git clone git@github.com:tensorflow/benchmarks.git

git同步远程分支到本地，拉取tensorflow对应版本的分支

git fetch origin 远程分支名xxx:本地分支名xxx
使用这种方式会在本地仓库新建分支xxx，但是并不会自动切换到新建的分支xxx，需要手动checkout，当然了远程分支xxx的代码也拉取到了本地分支xxx中。采用这种方法建立的本地分支不会和远程分支建立映射关系

root@818d19092cdc:/gpu/benchmarks# git checkout -b tf1.15 origin/cnn_tf_v1.15_compatible

2. 运行不同模型

root@818d19092cdc:/gpu/benchmarks/scripts/tf_cnn_benchmarks# pwd
/gpu/benchmarks/scripts/tf_cnn_benchmarks
root@818d19092cdc:/gpu/benchmarks/scripts/tf_cnn_benchmarks# python3 tf_cnn_benchmarks.py

真实操作：

[root@gputest ~]# docker ps

进入CONTAINER ID  containerid

[root@gputest ~]# nvidia-docker exec -it 818d19092cdc /bin/bash

新开窗口 

[root@gputest ~]# nvidia-smi -l 3 

该命令将3秒钟输出一次GPU的状态和性能，可以通过查看输出结果来得出GPU的性能指标

一、resnet50模型

python3 tf_cnn_benchmarks.py --num_gpus=1 --batch_size=2 --model=resnet50 --variable_update=parameter_server

Running warm up
2023-07-21 09:50:55.398126: I tensorflow/stream_executor/platform/default/dso_loader.cc:50] Successfully opened dynamic library libcublas.so.12
2023-07-21 09:50:55.533068: I tensorflow/stream_executor/platform/default/dso_loader.cc:50] Successfully opened dynamic library libcudnn.so.8
Done warm up
Step    Img/sec    total_loss
1    images/sec: 10.1 +/- 0.0 (jitter = 0.0)    7.695
10    images/sec: 10.7 +/- 0.1 (jitter = 0.1)    8.022
20    images/sec: 10.7 +/- 0.1 (jitter = 0.2)    7.269
30    images/sec: 10.7 +/- 0.1 (jitter = 0.2)    7.889
40    images/sec: 10.7 +/- 0.1 (jitter = 0.2)    8.842
50    images/sec: 10.6 +/- 0.1 (jitter = 0.2)    6.973
60    images/sec: 10.6 +/- 0.1 (jitter = 0.2)    8.124
70    images/sec: 10.6 +/- 0.0 (jitter = 0.2)    7.644
80    images/sec: 10.6 +/- 0.0 (jitter = 0.2)    7.866
90    images/sec: 10.6 +/- 0.0 (jitter = 0.3)    7.687
100    images/sec: 10.6 +/- 0.0 (jitter = 0.3)    8.779
----------------------------------------------------------------
total images/sec: 10.63

二、vgg16模型

python3 tf_cnn_benchmarks.py --num_gpus=1 --batch_size=2 --model=vgg16 --variable_update=parameter_server

由于阿里云服务器申请的是2个G显存，所以只能跑size=1 2 和 4 ，超出会吐核

已放弃(吐核)--linux 已放弃(吐核) (core dumped) 问题分析

出现这种问题一般是下面这几种情况：

1.内存越界

2.使用了非线程安全的函数

3.全局数据未加锁保护

4.非法指针

5.堆栈溢出

也就是需要检查访问的内存、资源。

可以使用 strace 命令来进行分析

在程序的运行命令前加上 strace，在程序出现：已放弃（吐核），终止运行后，就可以通过 strace 打印在控制台的跟踪信息进行分析和定位问题

方法2：docker启动普通镜像的Tensorflow

$ docker pull tensorflow/tensorflow:1.8.0-gpu-py3
$ docker tag tensorflow/tensorflow:1.8.0-gpu-py3 tensorflow:1.8.0-gpu

# nvidia-docker run -it -p 8888:8888 tensorflow:1.8.0-gpu
$ nvidia-docker run -it -p 8033:8033 tensorflow:1.8.0-gpu

浏览器进入指定 URL(见启动终端回显) 就可以利用 IPython Notebook 使用 tensorflow

评测指标

  • 训练时间：在指定数据集上训练模型达到指定精度目标所需的时间

  • 吞吐：单位时间内训练的样本数

  • 加速效率：加速比/设备数*100%。其中，加速比定义为多设备吞吐数较单设备的倍数

  • 成本：在指定数据集上训练模型达到指定精度目标所需的价格

  • 功耗：在指定数据集上训练模型达到指定精度目标所需的功耗

在初版评测指标设计中，我们重点关注训练时间、吞吐和加速效率三项

3. 保存镜像的修改

执行以下命令，保存TensorFlow镜像的修改

docker commit   -m "commit docker" CONTAINER_ID  nvcr.io/nvidia/tensorflow:18.03-py3
# CONTAINER_ID可通过docker ps命令查看。

[root@gputest ~]# docker commit -m "commit docker" 818d19092cdc nvcr.io/nvidia/tensorflow:23.03-tf1-py3
sha256:fc14c7fdf361308817161d5d0cc018832575e7f2def99fe49876d2a41391c52c

 查看docker进程

[root@gputest ~]# docker ps

进入CONTAINER ID  containerid

[root@gputest ~]# nvidia-docker exec -it 818d19092cdc /bin/bash

4. TensorFlow支持的所有参数

参数名称

描述

备注

--help

查看帮助信息

--backend

使用的框架名称，如TensorFlow，PyTorch等，必须指定

当前只支持TensorFlow，后续会增加对PyTorch的支持

--model

使用的模型名称，如alexnet、resnet50等，必须指定

请查阅所有支持的模型

--batch_size

batch size大小

默认值为32

--num_epochs

epoch的数量

默认值为1

--num_gpus

使用的GPU数量。设置为0时，仅使用CPU。

  • 在单机多卡模式下，指定每台机器使用的GPU数量；

  • 在multi-worker模式下，指定每个worker使用的GPU数量

--data_dir

输入数据的目录，对于CV任务，当前仅支持ImageNet数据集；如果没有指定，表明使用合成数据

--do_train

执行训练过程

这三个选项必须指定其中的至少一个，可以同时指定多个选项。

--do_eval

执行evaluation过程

--do_predict

执行预测过程

--data_format

使用的数据格式，NCHW或NHWC，默认为NCHW。

  • 对于CPU设备，建议使用NHWC格式

  • 对于GPU设备，建议使用NCHW格式

--optimizer

所使用的优化器，当前支持SGD、Adam和Momentum，默认为SGD

--init_learning_rate

使用的初始learning rate的值

--num_epochs_per_decay

learning rate decay的epoch间隔

如果设置，这两项必须同时指定

--learning_rate_decay_factor

每次learning rate执行decay的因子

--minimum_learning_rate

最小的learning rate值

如果设置，需要同时指定面的两项

--momentum

momentum参数的值

用于设置momentum optimizer

--adam_beta1

adam_beta1参数的值

用于设置Adam

--adam_beta2

adam_beta2参数的值

--adam_epsilon

adam_epsilon参数的值

--use_fp16

是否设置tensor的数据类型为float16

--fp16_vars

是否将变量的数据类型设置为float16。如果没有设置，变量存储为float32类型，并在使用时转换为fp16格式。

建议：不要设置

必须同时设置--use_fp16

--all_reduce_spec

使用的AllReduce方式

--save_checkpoints_steps

间隔多少step存储一次checkpoint

--max_chkpts_to_keep

保存的checkpoint的最大数量

--ip_list

集群中所有机器的IP地址，以逗号分隔

用于多机分布式训练

--job_name

任务名称，如‘ps'、’worker‘

--job_index

任务的索引，如0，1等

--model_dir

checkpoint的存储目录

--init_checkpoint

初始模型checkpoint的路径，用于在训练前加载该checkpoint，进行finetune等

--vocab_file

vocabulary文件

用于NLP

--max_seq_length

输入训练的最大长度

用于NLP

--param_set

创建和训练模型时使用的参数集。

用于Transformer

--blue_source

包含text translate的源文件，用于计算BLEU分数

--blue_ref

包含text translate的源文件，用于计算BLEU分数

--task_name

任务的名称，如MRPC，CoLA等

用于Bert

--do_lower_case

是否为输入文本使用小写

--train_file

训练使用的SQuAD文件，如train-v1.1.json

用于Bert模型，运行SQuAD， --run_squad必须指定

--predict_file

预测所使用的SQuAD文件，如dev-v1.1.json或test-v1.1.json

--doc_stride

当将长文档切分为块时，块之间取的间距大小

--max_query_length

问题包含的最大token数。当问题长度超过该值时，问题将被截断到这一长度。

--n_best_size

nbest_predictions.json输出文件中生成的n-best预测的总数

--max_answer_length

生成的回答的最大长度

--version_2_with_negative

如果为True，表明SQuAD样本中含有没有答案（answer）的问题

--run_squad

如果为True，运行SQUAD任务，否则，运行sequence （sequence-pair）分类任务

5. GPU机器学习调研tensorflow

 如何在tensorflow中指定使用GPU资源

在配置好GPU环境的TensorFlow中 ，如果操作没有明确地指定运行设备，那么TensorFlow会优先选择GPU。在默认情况下，TensorFlow只会将运算优先放到/gpu:0上。如果需要将某些运算放到不同的GPU或者CPU上，就需要通过tf.device来手工指定

import tensorflow as tf

# 通过tf.device将运算指定到特定的设备上。
with tf.device('/cpu:0'):
   a = tf.constant([1.0, 2.0, 3.0], shape=[3], name='a')
   b = tf.constant([1.0, 2.0, 3.0], shape=[3], name='b')
with tf.device('/gpu:1'):
    c = a + b

sess = tf.Session(config=tf.ConfigProto(log_device_placement=True))
print sess.run(c)

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/800965.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

LeetCode每日一题-接雨水

LeetCode每日一题-接雨水

给定 n 个非负整数表示每个宽度为 1 的柱子的高度图，计算按此排列的柱子，下雨之后能接多少雨水。 示例 1： 输入：height [0,1,0,2,1,0,1,3,2,1,2,1] 输出：6 解释：上面是由数组 [0,1,0,2,1,0,1,3,2,1,2,1] 表…
阅读更多...
宋版“三国演义”（北宋、辽、西夏和南宋、金、蒙古）

宋版“三国演义”（北宋、辽、西夏和南宋、金、蒙古）

1 北宋、辽、西夏三国演义 宋、辽、西 夏鼎立形势图 公元960年（后周显德七年），后周大将赵匡胤陈桥兵变黄袍加身，建立了宋朝。 然而，北方有一个资格比它老的国家，是为契丹人建立的辽国。 辽创立于五代初。…
阅读更多...
《MySQL》第十一篇 SQL_MODEL模式简述

《MySQL》第十一篇 SQL_MODEL模式简述

目录 一. 介绍与使用二. 模式类型三. 常用模式演示ANSI 模式TRADITIONAL 模式STRICT_TRANS_TABLES 模式 一. 介绍与使用 SQL Mode定义了MySQL应支持的SQL语法、数据校验等，这样可以更容易地在不同的环境中使用MySQL 常用来解决下面几类问题： 通过设置S…
阅读更多...
ad+硬件每日学习十个知识点（14）23.7.25（以太网IC）

ad+硬件每日学习十个知识点（14）23.7.25（以太网IC）

文章目录 1.什么是隔离电路，什么是隔离芯片？2.网线接口RJ45和RJ11的区别？（我们用的电脑都是RJ45）3.什么是rgmii协议？4.什么是以太网协议？5.以太网IC的连接方式6.以太网协议都包含哪些协议&#…
阅读更多...
RocketMQ, Dashboard, 控制台安装

RocketMQ, Dashboard, 控制台安装

文章说明 本文主要说明RocketMQ的控制台（Dashboard）的安装过程。工作中一直用的是别人装好的，这次终于自己亲手装了一遍。 由于每次都要启动三个应用，比较烦，于是我写了一键启动脚本，分享给大家。这个脚本…
阅读更多...
AC695-按键处理-带UI

AC695-按键处理-带UI

AC695-按键修改 消息发出 对应界面处理
阅读更多...
0725 区块链1.0 2.0 3.0 智能合约 比特币 以太坊 DAG 有向无环图

0725 区块链1.0 2.0 3.0 智能合约 比特币 以太坊 DAG 有向无环图

文献阅读：[1]华亚洲. 基于改进Block-DAG区块链的时空数据存储及查询方法研究[D].辽宁大学,2022.DOI:10.27209/d.cnki.glniu.2022.001364.[1]华亚洲,丁琳琳,陈泽等.面向时空数据的区块链构建及查询方法[J].计算机应用,2022,42(11):3429-3437. 文献总结： …
阅读更多...
基于MQTT阿里云服务器的物联网关灯项目--舵机

基于MQTT阿里云服务器的物联网关灯项目--舵机

一、关灯神器 本文章由作者李建华所编写,用到的服务器是阿里云部署好的mqtt,链接如有失效,请联系作者微信:Likz777777 要求：不破坏原有功能、可以接入苹果、网页小程序均可控制 设备：香橙派、舵机 具体实现方法： 1.局域网控制&#xff1a…
阅读更多...
PHP在线相册--【白嫖项目】

PHP在线相册--【白嫖项目】

强撸项目系列总目录在000集 PHP要怎么学–【思维导图知识范围】 文章目录 本系列校训本项目使用技术 上效果图phpStudy 设置导数据库项目目录如图：代码部分：主页 配套资源作业： 本系列校训 用免费公开视频，卷飞培训班哈人&…
阅读更多...
LeetCode算法心得——合并后数组中的最大元素

LeetCode算法心得——合并后数组中的最大元素

大家好，我是晴天学长，这是一道动态规划的逆向思维题，此题甚是神奇！💪💪💪 1 ）合并后数组中的最大元素 2) .算法思路 只能选择旁边的，而且还是比自己等大或者比自己小的…
阅读更多...
码银送书第四期《Python之光》

码银送书第四期《Python之光》

作为一种极其流行的编程语言，Python已经成为了当今最为重要的生产力工具之一。无论小学生还是各行各业的从业人员，都开始学习Python编程。这种编程语言在许多领域中都有广泛的应用，因此Python编程已经成为了许多职业的必备能力或者加分项。 …
阅读更多...
【云边有个小卖部】上新《探秘Linux》第二章 Linux权限管理

【云边有个小卖部】上新《探秘Linux》第二章 Linux权限管理

🕺作者： 主页 我的专栏C语言从0到1C初阶C进阶数据结构从0到1探秘Linux菜鸟刷题集 😘欢迎关注：👍点赞🙌收藏✍️留言 🏇码字不易，你的👍点赞🙌收藏❤️关注对我…
阅读更多...
mac下安装vue cli脚手架并搭建一个简易项目

mac下安装vue cli脚手架并搭建一个简易项目

目录 1、确定本电脑下node和npm版本是否为项目所需版本。 2、下载vue脚手架 3、创建项目 1、下载node。 如果有node，打开终端，输入node -v和npm -v , 确保node和npm的版本，(这里可以根据自己的需求去选择，如果对最新版本的内容有…
阅读更多...
JVM | 类加载是怎么工作的

JVM | 类加载是怎么工作的

类加载是怎么工作的 引言类加载器工作原理 | 城市建设过程1. 类加载器加载类前过程JVM进程启动 | 建筑工程立项Bootstrap类加载器创建扩展和应用类加载器 | 高级工程师的两位得力助手 2. 类加载器加载类后过程应用类加载器加载Building链接过程（验证，准备…
阅读更多...
Huge and Efficient! 一文了解大规模预训练模型高效训练技术

Huge and Efficient! 一文了解大规模预训练模型高效训练技术

本文分为三部分介绍了大模型高效训练所需要的主要技术，并展示当前较为流行的训练加速库的统计。文章也同步发布在AI Box知乎专栏（知乎搜索 AI Box专栏），欢迎大家在知乎专栏的文章下方评论留言，交流探讨！ 引…
阅读更多...
计算机图形学十四路径追踪与渲染方程

计算机图形学十四路径追踪与渲染方程

路径追踪（Path Tracing）与渲染方程（Render Equation） 简介 利用路径追踪我们可以实现比whitted-style ray tracing更好的全局光照（GI）效果。它的理论基础是渲染方程，最开始由吉姆卡吉亚&#…
阅读更多...
066、故障处理之热点问题

066、故障处理之热点问题

为什么要解决热点 分布式架构中各个组件的理想状态：资源利用率相对均衡 形成写热点的原因 高频访问的小表SQL执行计划不合理具有顺序增长属性的索引扫描 数据组织模型 例如数据是序列递增，则有可能数据全部都集中一个region上 ，或者集中…
阅读更多...
什么是等保定级？

什么是等保定级？

TOC 一、等保评测介绍 1.1 等保定级目的 网络安全等级保护介绍：目的就是涉及民生问题的信息系统，要按照影响，提前划定等级 实施网络安全保护 信息系统：就是保护的系统，比如 魔幻的 健康码系统安全产品：健…
阅读更多...
【lesson5】linux常见权限问题

【lesson5】linux常见权限问题

文章目录 目录权限umask粘滞位 目录权限 先来思考一个问题: 进入一个目录需要什么权限呢？ 由上图我们可以得知，进入目录需要x权限，那么没有r和w权限是什么情况呢？ 从图中我们可以得知没有r权限不能查看目录里面的内容&#xff…
阅读更多...
基于STM32设计的智能教室管理系统

基于STM32设计的智能教室管理系统

前言 本文介绍了一个智慧教室的设计，该设计由电器设备控制系统、环境检测系统和考勤系统三大模块构成。通过使用STM32微处理器和物联网电器设备控制中心，实现对教室内风扇、照明灯和窗帘等电器设备的智能化统一控制与运行。同时，环境检测系统可以实时监测环境光强、温度、湿…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023