Jetson_yolov8_解决模型导出.engine遇到的问题、使用gpu版本的torch和torchvision、INT8 FP16量化加快推理

news2024/11/18 13:37:26

1、前情提要

英伟达Jetson搭建Yolov8环境过程中遇到的各种报错解决（涉及numpy、scipy、torchvision等）以及直观体验使用Yolov8目标检测的过程（CLI命令行操作、无需代码）-CSDN博客和YOLOv8_测试yolov8n.pt，yolov8m.pt训练的时间和效果、推理一张图片所需时间_解决训练时进程被终止killed-CSDN博客这两篇中，已经在Jetson环境下使用yolov8训练模型、使用yolov8n.pt和yolov8m.pt来对图片、视频进行目标检测。

遇到的问题是，检测的耗时非常久，即便是使用yolov8n.pt平均每张图片也需要预处理preprocess=7.3ms，推理interence=318.4ms，后处理postprocess=6ms，总计331.7ms;

而在上面第二个链接所了解的性能图中，使用GPU的推理速度是非常快的，那么如何使用英伟达的GPU来加速这个推理的过程呢？

2、尝试模型导出.engine

在使用深度学习模型中有这么几个过程，训练、验证、预测/推理、导出、部署，其中训练模型是可以在任何机器上实现的，比如可以选择性能更好的计算机来训练你的模型，通过验证和推理来使模型达到预期的效果，然后导出部署到实际使用的设备上。

假设官方提供的模型（yolov8n.pt）已经满足要求，那么下一步就是如何导出适合于目标设备格式的模型。

下面介绍官网导出 - Ultralytics YOLOv8 文档对于导出这部分的基本操作，使用CLI方式导出的命令格式为：

因为要部署的目标设备是不同的，所以yolov8提供了诸多导出格式，其中英伟达Jetson系列需要的是TensorRT格式，所以format=engine.

执行yolov8.pt导出.engine格式的命令：

yolo export model=yolov8n.pt format=engine

报错了，大概就是说.engine的这种TensorRT格式是需要GPU导出的，所以自动添加了一个参数device=0来指定设备是GPU，但是又无法使用device=0因为torch.cuda.is_available():False.

CUDA（Compute Unified Device Architecture），由显卡厂商NVIDIA推出的GPU运算平台。

这才知道torch和torchvision是分CPU、GPU版本的，于是开始下面的操作。

3、安装适合于英伟达Jetson系统GPU版本的torch和torchvision

3.1、先卸载旧的torch和torchvision

sudo pip uninstall torch torchvision

从下面的输出信息中看起来已经卸载了torch 2.1.2和torchvision 0.16.2。

 

3.2、安装torch和torchvision

3.2.1、安装途径以及选择torch和torchvision的版本

下面的安装方式来源于NVIDIA官网dPyTorch for Jetson - Announcements - NVIDIA Developer Forums

根据jtop查看JetPack版本为6.0，所以可以选择torch v2.2.0和v2.1.0，再结合下方torch和torchvision的版本匹配表格，最后一行是torchvision v0.16.1，所以最后选择torch v2.1.0，torchvision v0.16.1.（P.S.实际上torchvision最新版本不止v0.16.1，所以理论上可以选择更高的torch版本）

3.2.2、安装torch v2.1.0

先下载上面的torch2.1.0的.whl文件，然后使用pip命令安装。

pip install torch-2.1.0-cp310-cp310-linux_aarch64.whl

成功安装了torch v2.1.0，但是报了一个错，torchvision v0.16.2需要torch v2.1.2，但是安装的是torch是v2.1.0，这会导致incompatible不兼容。

但是想着上面已经卸载了torchvision v0.16.2，所以认为可能是什么残留的版本信息而已，此时就没管。

3.2.3、安装torchvision v0.16.1

官网关于torchvision的安装方式如下：

$ sudo apt-get install libjpeg-dev zlib1g-dev libpython3-dev libopenblas-dev libavcodec-dev libavformat-dev libswscale-dev
$ git clone --branch <version> https://github.com/pytorch/vision torchvision   # see below for version of torchvision to download
$ cd torchvision
$ export BUILD_VERSION=0.x.0  # where 0.x.0 is the torchvision version  
$ python3 setup.py install --user
$ cd ../  # attempting to load torchvision from build dir will result in import error
$ pip install 'pillow<7' # always needed for Python 2.7, not needed torchvision v0.5.0+ with Python 3.6

因为我的Python版本是3.10所以可以省略最后两步，因为github下载失败所以添加了反向代理，再修改实际使用的版本号，所以最后实际的指令为：

sudo apt-get install libjpeg-dev zlib1g-dev libpython3-dev libopenblas-dev libavcodec-dev libavformat-dev libswscale-dev
git clone --branch v0.16.1 https://mirror.ghproxy.com/https://github.com/pytorch/vision torchvision 
cd torchvision
export BUILD_VERSION=0.16.1
python3 setup.py install --user

安装过程大约用时15分钟，please wait patiently.（播音腔）

3.2.4、测试gpu版本的torch和torchvision是否安装成功
python3
import torch
import torchvision
torch.__version__
torchvision.__version__
torch.cuda.is_available()

 可以看到torch的版本是v2.1.0，torchvision的版本是v0.16.1，torch.cuda.is_available()是True，代表torch和torchvision正常并且torch可以访问GPU.

4、测试yolov8使用GPU推理-加速

4.1、解决遗留问题的报错

于是开始执行推理，发现了一个好消息和一个坏消息。

好消息是Ultralytics YOLOv8.0.237 python-3.10.12 后面torch-2.1.0 CUDA:0（Orin，7620MiB），说明yolov8可以使用GPU了，并且识别出设备是Jetson Orin系列，内存是8G.

坏消息是torch和torchvision的版本不兼容。

虽然我确认刚才选择的torch和torchvision版本是匹配的，而且在【3.2.4】小节也实际打印出了版本符合要求，但还是提示不兼容，这就想到了【3.2.2、安装torch v2.1.0】时产生的报错，可能系统使用的是没卸载干净的torchvision v0.16.2，于是使用pip list再次查看，果然torchvision版本是v0.16.2.于是再次卸载torchvision，注意指定版本0.16.2，因为刚才还安装了0.16.1.

对比了两次卸载torchvision的区别，使用的指令不同，第一次加了sudo，卸载涉及的路径也不同。

4.2、GPU加速推理与CPU对比

使用yolov8.pt执行GPU推理：

对比使用yolov8.pt执行CPU推理：

推理的时间从每张图片平均318.4ms提升到了144.6ms，是快了，但仍然不是很好，下面尝试.engine格式的。

好像又有新的问题了，后处理postprocess的时间从6ms增加到了75.5ms.

5、.pt一键导出.engine

使用yolov8提供的CLI命令，一键就可将.pt的模型导出.engine格式，方便。

yolo export model=yolov8n.pt format=engine

总体流程是先转成onnx格式，然后再将onnx格式转成engine格式。

6、测试.engine的推理速度

效果很明显，平均每张图片提升到了34.4ms，与之前的三百多ms相比差不多快了10倍，但是也就那样，最终的目的是要实时识别视频的，30fps来算起码一帧需要在33ms以下。

7、调整导出.engine的参数进一步提高速度_使用INT8、FP16量化

导出 - Ultralytics YOLOv8 文档，可以得到可修改的参数列表如下：

将导出.engine的参数int8和half修改为True：

yolo export model=yolov8n.pt format=engine int8=True half=True

加INT8、FP16量化之后，一张图片的推理时间从34.4ms提升到17.3ms，速度又提高了2倍。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1378706.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Qt实现复杂列表

Qt实现复杂列表

Qt实现复杂列表 界面效果layeritemdelegate.hlayeritemdelegate.cpplayertablemodel.hlayertablemodel.cpplayertableview.hlayertableview.cppmainwindow.hmainwindow.cpp 界面效果 layeritemdelegate.h #ifndef LAYERITEMDELEGATE_H #define LAYERITEMDELEGATE_H#include &l…
阅读更多...
【python】搭配Miniconda使用VSCode

【python】搭配Miniconda使用VSCode

现在的spyder总是运行出错&#xff0c;启动不了&#xff0c;尝试使用VSCode。 一、在VSCode中使用Miniconda管理的Python环境&#xff0c;可以按照以下步骤进行&#xff1a; a. 确保Miniconda环境已经安装并且正确配置。 b. 打开VSCode&#xff0c;安装Python扩展。 打开VS…
阅读更多...
InternLM第3次课作业

InternLM第3次课作业

部署 参考github教程&#xff1a;https://github.com/InternLM/tutorial/tree/main/langchain 问题1&#xff1a; windows端口映射过程命令 ssh -i C:\\Users\\breat/.ssh/id_rsa.pub -CNg -L 7860:127.0.0.1:7860 rootssh.intern-ai.org.cn -p 3 4145 中&#xff0c;提示找不…
阅读更多...
MetaGPT前期准备与快速上手

MetaGPT前期准备与快速上手

大家好&#xff0c;MetaGPT 是基于大型语言模型&#xff08;LLMs&#xff09;的多智能体协作框架&#xff0c;GitHub star数量已经达到31.3k。 接下来我们聊一下快速上手 这里写目录标题 一、环境搭建1.python 环境2. MetaGpt 下载 二、MetaGPT配置1.调用 ChatGPT API 服务2.简…
阅读更多...
Unity对应SDK和NDK版本的对照表

Unity对应SDK和NDK版本的对照表

官网&#xff1a;Unity - Manual: Android environment setup 本人安装的是2022版本长期支持版本2022.3.15f1c1 安装Java的JDK环境就不在这里展开了&#xff0c;就记录下对Android SDK的设置&#xff0c;要与Unity的版本对应&#xff0c;否则会出现很多莫名奇妙的问题。 打开…
阅读更多...
电子学会C/C++编程等级考试2020年12月（三级）真题解析

电子学会C/C++编程等级考试2020年12月（三级）真题解析

C/C++编程（1~8级）全部真题・点这里 第1题：完美立方 形如 a^3= b^3 + c^3 + d^3的等式被称为完美立方等式。例如 12^3= 6^3 + 8^3 + 10^3 。 编写一个程序，对任给的正整数 N (N≤100)，寻找所有的四元组 (a, b, c, d)，使得 a^3= b^3 + c^3 + d^3 ，其中 a,b,c,d均大于 11, …
阅读更多...
【Jmeter之get请求传递的值为JSON体实践】

【Jmeter之get请求传递的值为JSON体实践】

Jmeter之get请求传递的值为JSON体实践 get请求的常见传参方式 1、在URL地址后面拼接&#xff0c;有多个key和value时&#xff0c;用&链接 2、在Parameters里面加上key和value 第一次遇到value的值不是字符串也不是整型&#xff0c;我尝试把json放到value里面&#xff0…
阅读更多...
java多线程面试（二）

java多线程面试（二）

1.说一下你对java内存模型JVM的理解 java内存模型是一种抽象的模型&#xff0c;被定义出来屏蔽各种硬件和操作系统的访问差异。 JMM定义了线程和主内存之间的抽象关系&#xff1a;线程之间的共享变量存储在主内存 &#xff08;Main Memory&#xff09;中&#xff0c;每个线程…
阅读更多...
SQL语句详解二-DDL(数据定义语言)

SQL语句详解二-DDL(数据定义语言)

文章目录 操作数据库创建&#xff1a;Create查询&#xff1a;Retrieve修改&#xff1a;Update删除&#xff1a;Delete使用数据库 操作表常见的几种数据类型创建&#xff1a;Create复制表 查询&#xff1a;Retrieve修改&#xff1a;Update删除&#xff1a;Delete 操作数据库 创…
阅读更多...
Spring Cloud配置中心

Spring Cloud配置中心

微服务意味着要将单体应用中的业务拆分成一个个子服务 , 每个服务的粒度相对较小 ,因此系统中会出现大量的服务。 由于每个服务都需要必要的配置信息才能运行 , 所以一套集中式的 , 动态的配置管理设施是必不可少的。 Spring Cloud 提供了 ConfigServer 来解决这个问题 . Sp…
阅读更多...
客户端请求服务器的步骤

客户端请求服务器的步骤

当我们在浏览器地址栏输入’http://www.xxx.com/api/xxx"时&#xff0c;客户端是如何找到服务器并发送请求的&#xff1f; 1.先找到服务器 a.检测浏览器缓存有没有缓存该域名对应的IP地址&#xff0c;有则通过IP地址取找服务器。 b.检测本地的hosts文件&#xff0c;是否有…
阅读更多...
ROS2——launcher

ROS2——launcher

在ROS2中&#xff0c;launcher 文件是通过Python构建的&#xff0c;它们的功能是声明用哪些选项或参数来执行哪些程序&#xff0c;可以通过 launcher 文件快速同时启动多个节点。一个 launcher 文件内可以引用另一个 launcher 文件。 使用 launcher 文件 ros2 launch 可以代替…
阅读更多...
STM32 SPI通信协议3——读取MAX6675温度传感器

STM32 SPI通信协议3——读取MAX6675温度传感器

在上两章中&#xff0c;我们已经配置了相应的GPIO和SPI功能。这里说一下MAX6675如何读取温度。 从MAX6675手册中我们可以看到&#xff0c;当0的时候SCK启动&#xff0c;数据线开始发送信息&#xff0c;此时可以读取数据&#xff0c;当数据读完后&#xff0c;再拉高电平停止发送…
阅读更多...
VMware Workstation17安装教程及安装Ubuntu22.04系统

VMware Workstation17安装教程及安装Ubuntu22.04系统

编程如画&#xff0c;我是panda&#xff01; 前言 VMware Workstation Pro 是一款高级虚拟化软件&#xff0c;使用户能够在单一计算机上同时运行多个操作系统&#xff0c;如Windows、Linux和macOS&#xff0c;而无需重新启动。具备虚拟机快照、高级网络配置、克隆和复制功能&a…
阅读更多...
Redis-浅谈redis.conf配置文件

Redis-浅谈redis.conf配置文件

Redis.conf Redis.conf是Redis的配置文件&#xff0c;它包含了一系列用于配置Redis服务器行为和功能的选项。 以下是Redis.conf中常见的一些选项配置&#xff1a; bind: 指定Redis服务器监听的IP地址&#xff0c;默认为127.0.0.1&#xff0c;表示只能本地访问&#xff0c;可以…
阅读更多...
大数据毕业设计：房屋数据分析可视化系统 预测算法 可视化 商品房数据 Flask框架（源码+讲解视频）✅

大数据毕业设计：房屋数据分析可视化系统 预测算法 可视化 商品房数据 Flask框架（源码+讲解视频）✅

毕业设计&#xff1a;2023-2024年计算机专业毕业设计选题汇总&#xff08;建议收藏&#xff09; 毕业设计&#xff1a;2023-2024年最新最全计算机专业毕设选题推荐汇总 &#x1f345;感兴趣的可以先收藏起来&#xff0c;点赞、关注不迷路&#xff0c;大家在毕设选题&#xff…
阅读更多...
网卡高级设置-提高网络环境

网卡高级设置-提高网络环境

网卡高级设置&#xff0c;提高网络质量排除一些连接问题 一、有线网卡 1、关闭IPv6&#xff1b; 可以关闭协议版本6&#xff0c;因为它会引起一些网络连接问题&#xff0c;而且现在几乎用不到IP6。 2、关闭节约电源模式&#xff1b; 右击计算机->设备->设备管理器-&…
阅读更多...
Unity游戏开发面试知识点全解读

Unity游戏开发面试知识点全解读

Unity游戏开发面试知识点全解读 在数字化世界中&#xff0c;Unity游戏开发不仅是一种艺术形式和商业活动&#xff0c;而且已成为推动整个数字娱乐产业创新和进步的重要力量。Unity以其易用性、高效性和灵活性&#xff0c;赢得了全球开发者的青睐&#xff0c;从独立开发者到大型…
阅读更多...
MySQL题目示例

MySQL题目示例

文章目录 1.题目示例 1.题目示例 09&#xff09;查询学过「张三」老师授课的同学的信息 SELECT s.*, c.cname, t.tname, sc.score FROM t_mysql_teacher t, t_mysql_course c, t_mysql_student s, t_mysql_score sc WHERE t.tid c.tid AND c.cid sc.cid AND sc.sid s.sid …
阅读更多...
07- OpenCV：模糊图像

07- OpenCV：模糊图像

目录 一、模糊原理 二、模糊的相关处理方法&#xff1a; 1、均值滤波&#xff08;归一化盒子滤波&#xff09; 2、高斯滤波&#xff08;正态分布的形状&#xff09; 3、中值模糊 4、双边模糊算法&#xff08;美容软件&#xff09; 5、相关代码&#xff1a; 6、几种模糊算法的比…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023