YOLOv8的5种不同部署方式推理速度对比：Pytorch、ONNX、OpenVINO-FP32、OpenVINO-int8、TensorRT

news2024/11/17 15:56:05

《博主简介》

小伙伴们好，我是阿旭。专注于人工智能、AIGC、python、计算机视觉相关分享研究。
✌更多学习资源，可关注公-仲-hao:【阿旭算法与机器学习】，共同学习交流~
👍感谢小伙伴们点赞、关注！

《------往期经典推荐------》

一、AI应用软件开发实战专栏【链接】

项目名称项目名称
1.【人脸识别与管理系统开发】2.【车牌识别与自动收费管理系统开发】
3.【手势识别系统开发】4.【人脸面部活体检测系统开发】
5.【图片风格快速迁移软件开发】6.【人脸表表情识别系统】
7.【YOLOv8多目标识别与自动标注软件开发】8.【基于YOLOv8深度学习的行人跌倒检测系统】
9.【基于YOLOv8深度学习的PCB板缺陷检测系统】10.【基于YOLOv8深度学习的生活垃圾分类目标检测系统】
11.【基于YOLOv8深度学习的安全帽目标检测系统】12.【基于YOLOv8深度学习的120种犬类检测与识别系统】
13.【基于YOLOv8深度学习的路面坑洞检测系统】14.【基于YOLOv8深度学习的火焰烟雾检测系统】
15.【基于YOLOv8深度学习的钢材表面缺陷检测系统】16.【基于YOLOv8深度学习的舰船目标分类检测系统】
17.【基于YOLOv8深度学习的西红柿成熟度检测系统】18.【基于YOLOv8深度学习的血细胞检测与计数系统】
19.【基于YOLOv8深度学习的吸烟/抽烟行为检测系统】20.【基于YOLOv8深度学习的水稻害虫检测与识别系统】
21.【基于YOLOv8深度学习的高精度车辆行人检测与计数系统】22.【基于YOLOv8深度学习的路面标志线检测与识别系统】
23.【基于YOLOv8深度学习的智能小麦害虫检测识别系统】24.【基于YOLOv8深度学习的智能玉米害虫检测识别系统】
25.【基于YOLOv8深度学习的200种鸟类智能检测与识别系统】26.【基于YOLOv8深度学习的45种交通标志智能检测与识别系统】
27.【基于YOLOv8深度学习的人脸面部表情识别系统】28.【基于YOLOv8深度学习的苹果叶片病害智能诊断系统】
29.【基于YOLOv8深度学习的智能肺炎诊断系统】30.【基于YOLOv8深度学习的葡萄簇目标检测系统】
31.【基于YOLOv8深度学习的100种中草药智能识别系统】32.【基于YOLOv8深度学习的102种花卉智能识别系统】
33.【基于YOLOv8深度学习的100种蝴蝶智能识别系统】34.【基于YOLOv8深度学习的水稻叶片病害智能诊断系统】
35.【基于YOLOv8与ByteTrack的车辆行人多目标检测与追踪系统】36.【基于YOLOv8深度学习的智能草莓病害检测与分割系统】
37.【基于YOLOv8深度学习的复杂场景下船舶目标检测系统】38.【基于YOLOv8深度学习的农作物幼苗与杂草检测系统】
39.【基于YOLOv8深度学习的智能道路裂缝检测与分析系统】40.【基于YOLOv8深度学习的葡萄病害智能诊断与防治系统】
41.【基于YOLOv8深度学习的遥感地理空间物体检测系统】42.【基于YOLOv8深度学习的无人机视角地面物体检测系统】
43.【基于YOLOv8深度学习的木薯病害智能诊断与防治系统】44.【基于YOLOv8深度学习的野外火焰烟雾检测系统】
45.【基于YOLOv8深度学习的脑肿瘤智能检测系统】46.【基于YOLOv8深度学习的玉米叶片病害智能诊断与防治系统】
47.【基于YOLOv8深度学习的橙子病害智能诊断与防治系统】48.【车辆检测追踪与流量计数系统】
49.【行人检测追踪与双向流量计数系统】50.【基于YOLOv8深度学习的反光衣检测与预警系统】
51.【危险区域人员闯入检测与报警系统】52.【高压输电线绝缘子缺陷智能检测系统】

二、机器学习实战专栏【链接】，已更新31期，欢迎关注，持续更新中~~
三、深度学习【Pytorch】专栏【链接】
四、【Stable Diffusion绘画系列】专栏【链接】
五、YOLOv8改进专栏【链接】，持续更新中~~
六、YOLO性能对比专栏【链接】，持续更新中~

《------正文------》

前言

本文介绍了如何将YOLOv8模型转为其他不同的部署文件格式，并且比较了YOLOv8n.pt的5种不同部署方式:包括原生yolov8n.pt的Pytorch格式、ONNX、OpenVINO-FP32、OpenVINO-int8、TensorRT在CPU和GPU下的推理速度对比，供小伙伴们参考。小伙伴们自己训练的v8模型可以用同样的方式进行转换测试。

【注：不同硬件设备可能测试会略有差异，但趋势应该没有问题，本文结果仅供参考】

模型导出方法

模型导出代码

yolov8提供了很简洁的模型转换方式，代码如下所示：

from ultralytics import YOLO

# Load a model
model = YOLO("yolov8n.pt")  # load an official model
# Export the model
model.export(format="onnx")

在上面代码中可以使用 format 参数导出为任何格式，即 format='onnx' 或 format='engine' .我们也可以直接在导出的模型上进行预测或验证 yolo predict model=yolov8n.onnx ，即 导出完成后，将显示模型的使用示例。

可导出的模型格式

可用的 YOLOv8 导出格式如下表所示：

Formatformat ArgumentModelMetadataArguments
PyTorch-yolov8n.pt✅-
TorchScripttorchscriptyolov8n.torchscript✅imgsz, optimize, batch
ONNXonnxyolov8n.onnx✅imgsz, half, dynamic, simplify, opset, batch
OpenVINOopenvinoyolov8n_openvino_model/✅imgsz, half, int8, batch
TensorRTengineyolov8n.engine✅imgsz, half, dynamic, simplify, workspace, int8, batch
CoreMLcoremlyolov8n.mlpackage✅imgsz, half, int8, nms, batch
TF SavedModelsaved_modelyolov8n_saved_model/✅imgsz, keras, int8, batch
TF GraphDefpbyolov8n.pb❌imgsz, batch
TF Litetfliteyolov8n.tflite✅imgsz, half, int8, batch
TF Edge TPUedgetpuyolov8n_edgetpu.tflite✅imgsz
TF.jstfjsyolov8n_web_model/✅imgsz, half, int8, batch
PaddlePaddlepaddleyolov8n_paddle_model/✅imgsz, batch
NCNNncnnyolov8n_ncnn_model/✅imgsz, half, batch

其中format列表示，导出时format设置的参数名称。Arguments表示导出对应格式时可以额外设置的参数。比如，导出int8格式的openvino模型，代码如下：

from ultralytics import YOLO

# Load a model
model = YOLO("yolov8n.pt")  # load an official model
# Export the model
model.export(format="openvino",int8=True)

导出模型参数说明

下表详细介绍了可用于将 YOLO 模型导出为不同格式的配置和选项。这些设置对于优化导出模型的性能、大小以及跨各种平台和环境的兼容性至关重要。正确的配置可确保模型已准备好以最佳效率部署在预期应用程序中。

参数类型默认值描述
formatstr'torchscript'导出模型的目标格式，如 'onnx' 、 'torchscript' 、 'tensorflow' 或其他格式，用于定义与各种部署环境的兼容性。
imgszint 或 tuple640模型输入所需的图像大小。可以是方形图像的整数，也可以是特定尺寸的元组 (height, width) 。
kerasboolFalse支持将 TensorFlow SavedModel 导出为 Keras 格式，从而提供与 TensorFlow 服务和 API 的兼容性。
optimizeboolFalse在导出到 TorchScript 时对移动设备应用优化，从而可能减小模型大小并提高性能。
halfboolFalse启用 FP16（半精度）量化，减小模型大小，并可能加快在支持的硬件上的推理速度。
int8boolFalse激活 INT8 量化，进一步压缩模型并加快推理速度，同时将精度损失降至最低，主要针对边缘设备。
dynamicboolFalse允许 ONNX 和 TensorRT 导出的动态输入大小，从而增强处理不同图像尺寸的灵活性。
simplifyboolFalse使用 onnxslim 简化 ONNX 导出的模型图，从而可能提高性能和兼容性。
opsetintNone指定 ONNX 操作集版本，以便与不同的 ONNX 分析程序和运行时兼容。如果未设置，则使用支持的最新版本。
workspacefloat4.0设置最大工作空间大小（以 GiB 为单位），用于 TensorRT 优化，平衡内存使用量和性能。
nmsboolFalse将非最大抑制 （NMS） 添加到 CoreML 导出中，这对于准确高效的检测后处理至关重要。
batchint1指定导出模型批量推理大小或导出的模型将在模式下 predict 并发处理的最大图像数。

调整这些参数可以自定义导出过程以满足特定要求，例如部署环境、硬件约束和性能目标。选择适当的格式和设置对于在模型大小、速度和精度之间实现最佳平衡至关重要。

模型推理速度对比

本文将yolov8n.pt模型分别导出ONNX、OpenVINO-FP32、OpenVINO-int8、TensorRT这4种格式，加上原生pytorch格式的yolov8n.pt模型，共5种格式模型。分别在CPU与GPU上进行了推理测试，测试结果如下表：

model_namedeviceFPS
yolov8n.ptGPU77
yolov8n.onnxGPU81
yolov8n_openvino_modelGPU38
yolov8n_int8_openvino_modelGPU60
yolov8n.engineGPU104
yolov8n.ptcpu9
yolov8n.onnxcpu22
yolov8n_openvino_modelcpu34
yolov8n_int8_openvino_modelcpu51
yolov8n.enginecpu0

为了更直观的进行推理结果展示，我们直接将表格结果显示为图标形式，绘图代码如下：

import matplotlib.pyplot as plt
import numpy as np
import matplotlib
matplotlib.use('TkAgg')

# 示例数据
categories = ['Pytorch', 'ONNX', 'OpenVINO-FP32','OpenVINO-int8', 'TensorRT']
data_1 = [9, 22, 34, 51, 0]
data_2 = [77, 81, 38, 60,104]
# data_3 = [14, 30, 22, 36]

# 设置柱子宽度和间距
bar_width = 0.25
index = np.arange(len(categories))

# 绘制第一个数据集的条形图
bars1 = plt.bar(index, data_1, bar_width, label='CPU', color='b')

# 绘制第二个数据集的条形图，注意x坐标要偏移以避免重叠
bars2 = plt.bar(index + bar_width, data_2, bar_width, label='GPU', color='r')

# 绘制第三个数据集的条形图，继续偏移
# bars3 = plt.bar(index + 2*bar_width, data_3, bar_width, label='Dataset 3', color='g')

# 在每个柱子上方显示数值
def add_value_labels(ax, bars):
    for bar in bars:
        height = bar.get_height()
        ax.annotate('{}'.format(height),
                    xy=(bar.get_x() + bar.get_width() / 2, height),
                    xytext=(0, 3),  # 3 points vertical offset
                    textcoords="offset points",
                    ha='center', va='bottom')

add_value_labels(plt.gca(), bars1)
add_value_labels(plt.gca(), bars2)


# 设置图表标题和轴标签
plt.title('Comparison of model inference speed')
plt.xlabel('Model Name', fontsize=14)
plt.ylabel('FPS', fontsize=14)
plt.xticks(index + bar_width, categories)

# 创建图例
plt.legend()

# 显示网格
plt.grid(axis='y', linestyle='--', linewidth=0.7, alpha=0.7)

# 显示图表
plt.tight_layout()  # 自动调整子图参数，使之填充整个图像区域
# plt.show()
plt.savefig('chart.jpg')

最终绘制结果如下所示，可以更好的对比不同模型的检测速度。
在这里插入图片描述
从上述结果可以看出：
在CPU设备上：

  • yolov8n.pt模型的性能最低，每秒处理9帧。
  • yolov8n.onnx模型稍微优于yolov8n.pt，每秒处理22帧。
  • yolov8n_openvino_model模型的性能最佳，每秒处理34帧。
  • yolov8n_int8_openvino_model模型略高于yolov8n_openvino_model，每秒处理51帧
  • yolov8n.engine模型只能在GPU运行，无法测试。

在GPU设备上：

  • yolov8n.pt模型的性能比CPU处理快很多，每秒处理77帧。
  • yolov8n.onnx模型稍微优于yolov8n.pt，每秒处理81帧。
  • yolov8n_openvino_model模型的性能最低，每秒处理38帧。
  • yolov8n_int8_openvino_model模型略高于yolov8n_openvino_model，每秒处理60帧。
  • yolov8n.engine模型的性能最佳，每秒处理104帧。

总体上，对于相同的模型和设备，使用GPU比使用CPU获得更高的处理帧数。此外，yolov8n.engine模型在GPU设备上表现最出色，达到了100帧/s；yolov8n.pt与yolov8n.onnx其次,约为80帧/s。在CPU上OpenVINO_int8表现出的性能最佳, 可以达到60帧/s，基本可以满足实际的检测帧率需求。

需要注意的是，FPS仅是模型性能的一个指标，实际应用中还需要综合考虑其他因素，如模型的准确性、内存占用等。

好了，这篇文章就介绍到这里，喜欢的小伙伴感谢给点个赞和关注，更多精彩内容持续更新~~
关于本篇文章大家有任何建议或意见，欢迎在评论区留言交流！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1884480.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

隐私计算实训营第二期第十课：基于SPU机器学习建模实践

隐私计算实训营第二期第十课：基于SPU机器学习建模实践

隐私计算实训营第二期-第十课 第十课：基于SPU机器学习建模实践1 隐私保护机器学习背景1.1 机器学习中隐私保护的需求1.2 PPML提供的技术解决方案 2 SPU架构2.1 SPU前端2.2 SPU编译器2.3 SPU运行时2.4 SPU目标 3 密态训练与推理3.1 四个基本问题3.2 解决数据来源问题…
阅读更多...
数据结构（Java）：迭代器遍历【底层源码解析】

数据结构（Java）：迭代器遍历【底层源码解析】

1、引言 我们知道，对于List系列集合，添加的元素是有序、可重复、有索引的；而对于Set系列集合，添加的元素是无序、不重复、无索引的。 那么使用for循环通过下标来对Set系列集合进行遍历，那显然是不行的。 迭代器就可…
阅读更多...
RabbitMQ 之 延迟队列

RabbitMQ 之 延迟队列

目录 ​编辑一、延迟队列概念 二、延迟队列使用场景 三、整合 SpringBoot 1、创建项目 2、添加依赖 3、修改配置文件 4、添加 Swagger 配置类 四、队列 TTL 1、代码架构图 2、配置文件代码类 3、生产者 4、消费者 5、结果展示 五、延时队列优化 1、代码架构图 …
阅读更多...
鸿蒙生态应用开发白皮书V3.0

鸿蒙生态应用开发白皮书V3.0

来源：华为： 近期历史回顾：
阅读更多...
yolov8对新的数据集自动标注

yolov8对新的数据集自动标注

项目地址 https://github.com/ultralytics/ultralytics 极简运行效果 获取模型bbox的极简demo 有时候是想要获取yolo检测的bbox框。 import random import cv2 as cv from ultralytics import YOLO# model YOLO("yolov8m.yaml") # model YOLO("yolov8m.pt…
阅读更多...
【FPGA】Verilog：全减器与半减器 | Full Subtractor | Half Subtractor

【FPGA】Verilog：全减器与半减器 | Full Subtractor | Half Subtractor

0x00 全减器（Full Subtractor） 减法器是用于减法运算的逻辑电路，与不包含借位的半减法器不同。 全减法器因为包含借位的产生与否，所以具备完整的减法功能。 输出由差 和借位 组成：
阅读更多...
开源模型应用落地-FastAPI-助力模型交互-WebSocket篇（五）

开源模型应用落地-FastAPI-助力模型交互-WebSocket篇（五）

一、前言 使用 FastAPI 可以帮助我们更简单高效地部署 AI 交互业务。FastAPI 提供了快速构建 API 的能力,开发者可以轻松地定义模型需要的输入和输出格式,并编写好相应的业务逻辑。 FastAPI 的异步高性能架构,可以有效支持大量并发的预测请求,为用户提供流畅的交互体验。此外,F…
阅读更多...
物联网工业级网关解决方案 工业4G路由器助力智慧生活

物联网工业级网关解决方案 工业4G路由器助力智慧生活

随着科技的飞速发展，无线通信技术正逐步改变我们的工作与生活。在这个智能互联的时代，一款高性能、稳定可靠的工业4G路由器成为了众多行业不可或缺的装备。工业4G路由器以其卓越的性能和多样化的功能，助力我们步入智慧新纪元。 一、快速转化&…
阅读更多...
SpringBoot+ELK 收集日志的两种方式

SpringBoot+ELK 收集日志的两种方式

方式一、FileBeatlogstash 7.5.1(docker)ES(docker)springboot 日志文件 应用方式 我们采用ELFK 架构采集日志，直接读取日志生成的文件，不对Springboot的日志任何的修改。也就是FileBeat 通过读取日志文件位置获取日志内容，然后发送至logsta…
阅读更多...
综合项目实战--jenkins流水线

综合项目实战--jenkins流水线

一、流水线定义 软件生产环节，如：需求调研、需求设计、概要设计、详细设计、编码、单元测试、集成测试、系统测试、用户验收测试、交付等，这些流程就组成一条完整的流水线。脚本式流水线（pipeline）的出现代表企业人员可以更自由的通过代码来实现不同的工作流程。 二、pi…
阅读更多...
Flink 运行时架构

Flink 运行时架构

Flink 运行时的组件 作业管理器（JobManager）资源管理器（ResourceManager）任务管理器（TaskManager）分发器（Dispatch） JobManager 控制一个应用程序执行的主进程，也就是说…
阅读更多...
IDEA 编译单个Java文件

IDEA 编译单个Java文件

文章目录 一、class文件的生成位置二、编译单个文件编译项目报错Error:java: 无效的源发行版: 8 一、class文件的生成位置 file->project structure->Modules 二、编译单个文件 选中文件，点击recompile 编译项目报错 Error:java: 无效的源发行版: 8 Fi…
阅读更多...
从GPT到AGI：ChatGPT如何改变人机交互

从GPT到AGI：ChatGPT如何改变人机交互

在人工智能（AI）领域，ChatGPT等大语言模型（LLM）的出现，标志着一个新的时代。本文将深入探讨ChatGPT的技术原理、误解、潜在问题以及未来的发展方向和应用场景，并分析其对社会和商业领域的影响。 …
阅读更多...
【Python数据分析及环境搭建】：教程详解1(第23天)

【Python数据分析及环境搭建】：教程详解1(第23天)

系列文章目录 Python进行数据分析的优势常用Python数据分析开源库介绍启动Jupyter服务Jupyter Notebook的使用 文章目录 系列文章目录前言学习目标1. Python进行数据分析的优势2. 常用Python数据分析开源库介绍2.1 NumPy2.2 Pandas2.3 Matplotlib2.4 Seaborn2.5 Sklearn2.6 Ju…
阅读更多...
python 分析nginx的error.log日志 然后写入到 mongodb当中 并且解决mongodb无法根据id删除数据的问题

python 分析nginx的error.log日志 然后写入到 mongodb当中 并且解决mongodb无法根据id删除数据的问题

废话不多说 直接上代码 import re import os import pymongo import uuid import bson def extract_unresolved_info(log_path):unresolved_info []with open(log_path, r) as file:log_text file.read()lines log_text.split("\n")for line in lines:# 这种属于主…
阅读更多...
汽车内饰塑料件光照老化实验箱

汽车内饰塑料件光照老化实验箱

塑料件光照老化实验箱概述 塑料件光照老化实验箱，又称为氙灯老化试验箱，是一种模拟自然光照条件下塑料材料老化情况的实验设备。它通过内置的氙灯或其他光源，产生接近自然光的紫外线辐射，以此来加速塑料及其他材料的光老化过程。…
阅读更多...
Open3D 点云CPD算法配准（粗配准）

Open3D 点云CPD算法配准（粗配准）

目录 一、概述 二、代码实现 2.1关键函数 2.2完整代码 三、实现效果 3.1原始点云 3.2配准后点云 一、概述 在Open3D中，CPD（Coherent Point Drift，一致性点漂移）算法是一种经典的点云配准方法，适用于无序点云的非…
阅读更多...
Python番外篇之责任转移：有关于虚拟机编程语言的往事

Python番外篇之责任转移：有关于虚拟机编程语言的往事

编程之痛 如果，你像笔者一样，有过学习或者使用汇编语言与C、C等语言的经历，一定对下面所说的痛苦感同身受。 汇编语言 将以二进制表示的一条条CPU的机器指令，以人类可读的方式进行表示。虽然，人类可读了&#xff0c…
阅读更多...
Android Studio 2023版本切换DNK版本

Android Studio 2023版本切换DNK版本

选择自己需要的版本下载 根目录下的配置路劲注意切换 build.gradle文件下的ndkVersion也要配好对应版本
阅读更多...
【web APIs】快速上手Day03

【web APIs】快速上手Day03

目录 Web APIs - 第3天全选文本框案例事件流事件捕获事件冒泡阻止冒泡解绑事件on事件方式解绑addEventListener方式解绑 注意事项-鼠标经过事件的区别两种注册事件的区别 事件委托综合案例-tab栏切换改造 其他事件页面加载事件元素滚动事件页面滚动事件-获取位置页面滚动事件-滚…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023