GPU调研之TensorFlow Benchmarks测试GPU

news2024/11/23 19:52:10

 

目录

1. 查看服linux服务器信息

2. Linux系统安装pip详细步骤

3. Centos安装python3

4. 安装TensorFlow

5. TensorFlow测试结果解读

6. 参考文档


gpu的占用率为99%,是一种比较正常的使用状态。

gpu是图形处理器的简称,又称显示核心、视觉处理器、显示芯片,用途是将计算机系统所需要的显示信息进行转换驱动,并向显示器提供行扫描信号,控制显示器的正确显示,是连接显示器和个人电脑主板的重要元件,也是“人机对话”的重要设备之一

1. 查看服linux服务器信息

hostnamectl

 Operating System: CentOS Linux 7 (Core)

1.Linux查看显卡信息
lspci | grep -i vga


 2.使用nvidia GPU
lspci | grep -i nvidia


3.Linux查看Nvidia显卡信息及使用情况
Nvidia自带一个命令行工具可以查看显存的使用情况:

nvidia-smi

Fan:显示风扇转速,数值在0到100%之间,是计算机的期望转速,如果计算机不是通过风扇冷却或者风扇坏了,显示出来就是N/A;
Temp:显卡内部的温度,单位是摄氏度;
Perf:表征性能状态,从P0到P12,P0表示最大性能,P12表示状态最小性能;
Pwr:能耗表示;
Bus-Id:涉及GPU总线的相关信息;
Disp.A:是Display Active的意思,表示GPU的显示是否初始化;
Memory Usage:显存的使用率;
Volatile GPU-Util:浮动的GPU利用率;
Compute M:计算模式
 

2. Linux系统安装pip详细步骤

1.1 pip下载

wget "https://pypi.python.org/packages/source/p/pip/pip-1.5.4.tar.gz#md5=834b2904f92d46aaa333267fb1c922bb" --no-check-certificate

1.2 pip安装

tar -xzvf pip-1.5.4.tar.gz

cd pip-1.5.4

python setup.py install

3. Centos安装python3

2.1. 安装python3的依赖

sudo yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel libffi-devel

2.2. 下载python3安装包

(以python3.7.2为例)2种方法,如果linux上可使用wget命令,可以通过下面命令直接linux下载

wget https://www.python.org/ftp/python/3.7.2/Python-3.7.2.tgz

如果linux没有安装wget命令,可以在本地下载后上传到linux上,下载地址就是https://www.python.org/ftp/python/3.7.2/Python-3.7.2.tgz。如果安装其他版本,可在该链接下https://www.python.org/ftp/python/找到其他版本下载。下载完成后通过lrzsz命令上传。

rz -e

安装包放在linux上后,解压:

tar -zxvf Python-3.7.2.tgz

2.1 配置安装路径

cd Python-3.7.2

./configure prefix=/usr/local/python3

2.2. 编译安装python3

make && make install

1

编译时如果遇见报错configure: error: no acceptable C compiler found in $PATH,说明没有安装gcc,通过下面命令安装gcc后再重新编译。

yum -y install gcc

1

2.3. 添加软链接

添加软链接,让pip3和python3这两个指令指向刚刚安装的3.7.2

sudo ln -s /usr/local/python3/bin/python3.7 /usr/bin/python3

sudo ln -s /usr/local/python3/bin/pip3.7 /usr/bin/pip3

如果提示ln: 无法创建符号链接"/usr/bin/pip3": 文件已存在。只需要通过下面命令删除文件,重新创建软链接即可

rm -rf /usr/bin/pip3

/usr/bin/python3同理。

3. 检测是否安装成功

python3 -V

pip3 -V

4. 升级pip

通过下面命令升级pip3

pip3 install --upgrade pip

通过下面命令升级pip

pip install -upgrade pip

4. 安装TensorFlow

1.首先需要在计算机上安装 TensorFlow,pip install tensorflow 命令来安装python3安装tensorflow遇到的问题

1. 使用命令:sudo pip3 install --upgrade \ https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-1.1.0rc2-cp35-cp35m-linux_x86_64.whl 安装。

遇到如下问题:

tensorflow-1.1.0rc2-cp35-cp35m-linux_x86_64.whl is not a supported wheel on this platform.

试过好几个版本都报相同的错误,不支持平台。

2. 换命令 pip3 install  tensorflow 安装。

遇到如下问题:

Downloading/unpacking tensorflow
      
Could not find any downloads that satisfy the requirement tensorflow
Cleaning up...
      
No distributions at all found for tensorflow
      Storing debug log for failure in /home/itcast/.pip/pip.log

(1) 有说tensorflow不支持32位系统只支持64位系统的,特意用命令sudo uname --m查看系统是x86_64,说明是64位。

     另 查到这个问题原因是: pip3的版本太低。

  使用命令 pip3 -V  可查看版本:pip 1.5.4 from /usr/lib/python3/dist-packages (python 3.4) 

  参考:ubuntu14 上安装tensorflow 遇到的问题_sisiel的博客-CSDN博客, 如何升级pip3?_夏雨淋河的博客-CSDN博客。 

(2) 然后使用网上公认的升级命令: pip3 install --upgrade pip。 

此次升级可行,如果不行可参考   如何升级pip3?_夏雨淋河的博客-CSDN博客 

$ sudo easy_install --upgrade pip  #运行后解决问题。
$ sudo easy_install --upgrade six   #这个不用也行

(3) 然后再执行 pip3 install  tensorflow 可以顺利往下走了,然后遇到如下问题:

Cannot uninstall 'six'. It is a distutils installed project and thus we cannot accurately determine which files belong to it which would lead to only a partial uninstall.

3. 使用 sudo pip3 install --ignore-installed six 命令安装好six 

此命令借鉴于:cannot uninstall a distutils installed project'_xiaoxianerqq的博客-CSDN博客 。

然后继续 pip3 install  tensorflow 终于安装完成了。

7.12实际操作发现还是报错了。。。如下

解决办法:

一、CentOS更换国内源
           1、国内源的定义:通俗讲就是应用市场,Android系统有Android应用市场,Apple系统有Apple应用市场,Linux系统也有Linux应用市场。

           2、国内源的分类:

                 CentOS版本:yum源

                 Ubuntu版本:apt-get源

           3、注意:

注1:如果只是简单配置下Linux及安装下JDK、Tomcat等工具,不需要更新国内源,国内源主要是解决访问国外服务器速度慢。

注2:yum只是命令,epel才是源。

           4、安装国内源的步骤:

1、确保更换之前确保自己安装wget,若是没安装wget直接安装即可

yum list wget

yum -y install wget

2、首先备份

mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak

3、下载阿里云的yum源到/etc/yum.repos.d/

wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo

4、清除缓存

yum clean all

5、更新本地YUM缓存

yum makecache

6、安装一个软件试下,查看下载源是否已经变成阿里云了

yum -y install lrzsz

注:lrzsz是一款在linux里可代替ftp上传和下载的程序。

2.下载 TensorFlow Benchmarks

从 TensorFlow 的 Github 仓库上下载 TensorFlow Benchmarks,可以通过以下命令来下载:

git clone https://github.com/tensorflow/benchmarks.git

3.运行测试

进入 benchmarks/scripts/ 目录下,运行以下命令:

python3 tf_cnn_benchmarks.py --num_gpus=1 --batch_size=32 --model=resnet50 --variable_update=parameter_server

其中,num_gpus 表示使用的 GPU 数量,batch_size 表示每批次的数据量大小,model 表示使用的模型,variable_update 表示优化器的选择。

运行测试后,会输出每秒钟可以处理的图像数量,根据这个数值可以评估 GPU 的性能。

如遇

[root@test888 tf_cnn_benchmarks]# python3 tf_cnn_benchmarks.py --num_gpus=1 --batch_size=32 --model=resnet50 --variable_update=parameter_server

Traceback (most recent call last):

  File "tf_cnn_benchmarks.py", line 21, in <module>

    from absl import app

ModuleNotFoundError: No module named 'absl'

5. TensorFlow测试结果解读

使用 Tensorflow Benchmark 进行基准测试

镜像: nvcr.io/nvidia/tensorflow:20.10-tf2-py3

CUDA: 1.11(rtx-3090最低cuda版本为1.11)

测试代码:https://github.com/tensorflow/benchmarks

框架:tensorflow

显卡:RTX-3090(腾讯黑石服务器RTX-3090)

启动命令:

         GPU:python benchmarks/scripts/tf_cnn_benchmarks/tf_cnn_benchmarks.py  \

              --num_gpus=1 --batch_size=128 --model=vgg16

         CPU:python benchmarks/scripts/tf_cnn_benchmarks/tf_cnn_benchmarks.py \

         --device=cpu --model=googlenet --data_format=NHWC --batch_size=32  

         # --batch_size 和 --model 可根据具体场景修改

        

--num_threads=1 --num_runs=10000

    Initialized session in 0.682ms

    Running benchmark for at least 1 iterations and at least 0.5 seconds

    count=54 first=23463 curr=8019 min=7911 max=23463 avg=9268.5 std=2995

    Running benchmark for at least 1000 iterations and at least 1 seconds

    count=1000 first=8022 curr=6703 min=6613 max=10333 avg=6766.23 std=337

Average inference timings in us: Warmup: 9268.5, Init: 682, no stats: 6766.23

count: 实际运行次数

first: 第一次迭代所用的时间

curr: 上次迭代的时间

min: 迭代所需的最短时间

max: 迭代花费的最长时间

avg: 迭代平均时间

std:所有运行时间的标准偏差

Warmup: 预热运行平均值

Init: 启动时间(应始终与 相同Initialized session in)

no stats: 是名字很差的平均运行时间(与avg=前一行中的匹配)

num_threads:这用于设置intra_op_parallelism_threads和inter_op_parallelism_threads

6. 参考文档

Linux上安装python3

python3安装tensorflow遇到的问题

如何运行TensorFlow Benchmarks测试GPU

解读tensorflow benchmark工具的结果

测试tensorflow

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/745339.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Java 生成图片验证码

图片验证码使用场景 登录注册&#xff1a;可以区分机器和人类的一种手段&#xff0c;其最大的作用是为了防止机器人程序暴力登录或攻击短信发送&#xff1a;可以有效避免客户网站或APP遭到恶意攻击、预防资金损失 实现方式 1.添加Maven依赖 <dependency><groupId&g…

智能制造与低代码开发:数智时代的强力合击!

说在前面 在当今数智时代的浪潮中&#xff0c;智能制造正在成为制造业的发展焦点。随着科技的不断进步和创新&#xff0c;智能制造为企业带来了全新的发展机遇和挑战。那么&#xff0c;数智时代下的制造业到底是怎样的一个发展盛况&#xff1f;智能制造的新 趋势又是如何展现的…

华为云Astro低代码平台关键能力技术浅析

1 背景介绍 低代码开发基于可视化开发的概念&#xff0c;结合了云原生和多终端体验技术&#xff0c;它可以在大多数业务场景中&#xff0c;帮助企业显著的提升效率。同时为专业开发者提供了一种全新的高生产力开发方式&#xff0c;让不懂代码的人通过“拖拉拽”开发组件来完成…

823. 排列

链接&#xff1a; 链接 题目&#xff1a; 给定一个整数 nn&#xff0c;将数字 1∼n1∼n 排成一排&#xff0c;将会有很多种排列方法。 现在&#xff0c;请你按照字典序将所有的排列方法输出。 输入格式 共一行&#xff0c;包含一个整数 nn。 输出格式 按字典序输出所有排列方案…

图像处理|思维导图|期末资料分享

关于这些思维导图 都是博主期末考试之前临时抱佛脚的时候整理的资料&#xff0c;内容涵盖应该是比较全面&#xff0c;比较详细的。资料博主都放在了Github的链接里面&#xff0c;需要的伙伴自行上我的Github下载就行。 ImageProcessing-MindMapshttps://github.com/Yufccode/…

亚马逊云科技为企业提供一站式的出海策略,为企业保驾护航

走出国门&#xff0c;寻找新的盈利空间、优化资源配置、实现创新突破&#xff0c;已经成为中国企业的战略共识。如何进行全球化布局、本地化运营&#xff0c;实现高质量出海&#xff0c;是出海企业共同面临的课题。在【潮向新世界】出海日活动上&#xff0c;亚马逊云科技分享了…

单调队列算法

原文链接&#xff1a;https://blog.csdn.net/xzerui/article/details/118684260 一、基本概念 单调队列是指&#xff1a;单调递增或单调递减的队列。所以它也有如下几个性质&#xff1a; 1.队列中的元素在原来的列表中的位置是由前往后的(随着循环顺序入队)。 2.队列中元素的…

请求响应-响应-@ResponseBody统一响应结果

ResponseBody 类型&#xff1a;方法注解&#xff0c;类注解位置&#xff1a;Controller方法上/类上作用&#xff1a;将方法返回值直接响应&#xff0c;如果返回类型是 实体对象/集合&#xff0c;将会转化为JSON格式数据后再响应说明&#xff1a;RestController Controller R…

【unity细节】为什么有时候修改了脚本中的数据但是面板中的数据还是不改变

&#x1f468;‍&#x1f4bb;个人主页&#xff1a;元宇宙-秩沅 hallo 欢迎 点赞&#x1f44d; 收藏⭐ 留言&#x1f4dd; 加关注✅! 本文由 秩沅 原创 收录于专栏&#xff1a;unity细节和bug ⭐为什么有时候修改了脚本中的数据但是面板中的数据还是不改变⭐ 文章目录 ⭐为什…

视频直播点播平台EasyDSS增加首次登录强制修改密码等新功能

EasyDSS视频直播点播平台支持Flash、H5播放&#xff0c;可提供一站式的视频推拉流、转码、点播、直播、时移回放、存储等服务&#xff0c;支持播放H.265编码视频&#xff0c;可兼容多操作系统。搭配RTMP高清摄像头使用&#xff0c;可将设备的实时流推送到平台上&#xff0c;实现…

java 线程安全问题

一、多线程带来的问题 多线程主要解决效率问题&#xff0c;但是也带来了线程安全问题。 例如两个线程 A 和 B 同时启动执行 400 次 m m 1&#xff0c;期待 800 &#xff0c;实际 m 的结果不一定正确&#xff0c;如下&#xff1a; public static void test1() throws Interr…

【C语言】字符函数和字符串函数(一)—>库函数的介绍与模拟实现

目录 前言&#xff1a; 一、函数介绍&#xff1a; &#xff08;一&#xff09;求字符串长度 &#xff08;1&#xff09;strlen &#xff08;二&#xff09;长度不受限制的字符串函数 &#xff08;2&#xff09;strcpy &#xff08;3&#xff09;strcat &#xff08;4&a…

什么是HTML5?HTML5的含义、元素和好处

HTML5是超文本标记语言(HTML)的第五版&#xff0c;网络浏览器使用它来可视化代码。它在网站功能、网页内容开发等方面有一些改进。 HTML的发展 在万维网的早期&#xff0c;主要的网络浏览器创造者&#xff08;例如微软Internet Explorer和Mosaic Netscape&#xff09;开发了特…

std::thread和std::mutex

std::thread std::thread用来创建一个线程&#xff1a; #include <thread>void threadFun(int temp) {int i 0; }int main() {std::thread t1(threadFun, 100);t1.join();//t1.detach();return 0; }创建了一个名为t1的线程&#xff0c;调用join方法阻塞等待线程退出&a…

【leetcode】61. 旋转链表 (python)

题目链接&#xff1a;61.旋转链表 写法一&#xff1a;暴力 class Solution(object):def rotateRight(self, head, k):""":type head: ListNode:type k: int:rtype: ListNode"""# 暴力&#xff1a;每次移动一个&#xff0c;时间复杂度 O(N^2)&am…

详解汽车电磁悬架(上)

摘要&#xff1a; 从汽车发明之日起&#xff0c;人们对于汽车平稳行驶的追求步伐就不曾停止过。充气轮胎的发明让车辆能够更加平稳舒适的行驶&#xff0c;承载式车身以及加厚的底盘则进一步提高了汽车的舒适性。随着科技的发展与生活水平的提高&#xff0c;人们对汽车的舒适性…

【C】字符串函数和内存函数的介绍

库函数&#xff08;这些函数都在头文件string.h中&#xff09; 字符串函数求字符串长度strlen 长度不受限的字符串函数strcpystrcmpstrcat 长度受限的字符串函数strncpystrncmpstrncat 字符串查找strstrstrtok 错误信息报告strerror 字符操作字符分类函数字符转换函数 内存函数…

测试必备的15个docker命令,你都掌握了吗

1、Docker容器信息 ##查看docker容器版本docker version##查看docker容器信息docker info##查看docker容器帮助docker --help 2、镜像操作 提示&#xff1a;对于镜像的操作可使用镜像名、镜像长ID和短ID。 2.1、镜像查看 ##列出本地imagesdocker images##含中间映像层docke…

iview-admin使用小结

首先在使用一个框架之前一定要完整的看一下相关文档&#xff0c;因为框架中会封装常用的功能&#xff0c;也会更加符合大众要求。在ui设计图上&#xff0c;可能实现某个功能设计图中给出的交互并不是很好&#xff0c;而在框架中有更好的组件可以实现&#xff0c;但因为没有看文…