使用瑞芯微RK3588的NPU进行模型转换和推理

news2025/3/17 12:14:58

使用边缘设备进行算法落地时，通常要考虑模型推理速度，NVIDA系列平台可以使用TensorRT和CUDA加速，瑞芯微RK3588的板子上都是Arm的手机GPU，虽然没有类似CUDA的加速计算方式，但是提供了NPU进行加速推理，本文说明了如何使用瑞芯微RK3588的NPU进行模型转换和推理

一、简介

RK3588内置NPU模块, 处理性能最高可达6TOPS。使用该NPU需要下载RKNN SDK，RKNN SDK为带有 NPU 的RK3588S/RK3588 芯片平台提供编程接口，能够帮助用户部署使用 RKNN-Toolkit2导出RKNN模型，加速AI应用的落地。
在这里插入图片描述

RKNN-Toolkit2是为用户提供在 PC、 Rockchip NPU 平台上进行模型转换、推理和性能评估的开发套件,用户通过该工具提供的Python接口可以便捷地完成以下功能:

🏆模型转换：支持 Caffe、TensorFlow、TensorFlow Lite、ONNX、DarkNet、PyTorch 等模型转为 RKNN 模型，并支持 RKNN 模型导入导出，RKNN 模型能够在Rockchip NPU 平台上加载使用。
🎽量化功能：支持将浮点模型量化为定点模型，目前支持的量化方法为非对称量化，并支持 混合量化功能 。
🎯模型推理：能够在 PC上模拟Rockchip NPU运行RKNN模型并获取推理结果；或将RKNN模型分发到指定的NPU设备上进行推理并获取推理结果。
🏋性能和内存评估：将 RKNN 模型分发到指定NPU设备上运行，以评估模型在实际设备上运行时的性能和内存占用情况。
🎼量化精度分析：该功能将给出模型量化前后每一层推理结果与浮点模型推理结果的余弦距离，以便于分析量化误差是如何出现的，为提高量化模型的精度提供思路。

二、准备工作

2.1 适用芯片

RKNN-Toolkit2当前版本所支持芯片的型号如下：

  • RV1103
  • RV1103B
  • RV1106
  • RV1106B
  • RK2118
  • RK3562
  • RK3566系列
  • RK3568系列
  • RK3576系列
  • RK3588系列

2.2 系统依赖说明

使用RKNN-Toolkit2时需要满足以下运行环境要求：
在这里插入图片描述

ARM64版本运行环境要求，ARM64版本仅支持PyTorch和ONNX框架，其他框架暂时不支持：

在这里插入图片描述
RKNN-Toolkit2和各深度学习框架的版本对应关系如下：
在这里插入图片描述

三、创建环境

因为尝试将yolo11的onnx模型转成RKNN-Toolkit2的rknn模型，根据版本对应关系，ONNX版本越高支持的算子种类越多，所以选择onnx==1.17.0对应的RKNN-Tollkit2==2.3.0版本。

3.1 下载RKNN相关库

建议新建一个目录用来存放RKNN仓库，例如新建一个名称为rknn的文件夹，并将RKNN-Toolkit2和RKNN Model Zoo仓库存放至该目录下，参考命令如下：

# 新建 Projects 文件夹 
mkdir rknn
 # 进入该目录
cd rknn
 # 下载 RKNN-Toolkit2 仓库
git clone https://github.com/airockchip/rknn-toolkit2.git --depth 1
 # 下载 RKNN Model Zoo 仓库
git clone https://github.com/airockchip/rknn_model_zoo.git --depth 1
# 注意：
# 1.参数 --depth 1 表示只克隆最近一次 commit 
# 2.如果遇到 git clone 失败的情况，也可以直接在 github 中下载压缩包到本地，然后解压至该目录

整体目录结构如下：

Projects
 ├── rknn-toolkit2
 │   ├── doc
 │   ├── rknn-toolkit2
 │   │   ├── packages
 │   │   ├── docker
 │   │   └── ...
 │   ├── rknpu2
 │   │   ├── runtime
 │   │   └── ...
 │   └── ...
 └── rknn_model_zoo
 ├── datasets
 ├── examples
 └── ...

3.2 安装RKNN-Toolkit2环境

使用conda创建虚拟python环境，通过pip源安装：

# 创建名称为rknn的python环境
conda create -n rknn python=3.10
# 激活环境
conda activate rknn

pip install rknn-toolkit2 -i https://pypi.org/simple
# 如果已安装 RKNN-Toolkit2，可通过以下命令升级 RKNN-Toolkit2
pip install rknn-toolkit2 -i https://pypi.org/simple --upgrade

# 验证是否安装成功，若没有报错，则代表 RKNN-Toolkit2 环境安装成功
# 进入 Python 交互模式
python
# 导入 RKNN 类 
from rknn.api import RKNN

注：WSL中使用RKNN-ToolKit2注意事项

  1. 推荐安装 WSL2，Ubuntu版本号为22.04 已验证可行(其余版本未验证，理论可行)
  2. 在WSL使用RKNN-ToolKit2中若出现 “ImportError: libGL.so.1: cannot open shared object file: No such file or directory”，请执行以下代码解决
1. 安装对应库
sudo apt update
sudo apt install libgl1-mesa-glx

2. 设置环境变量
echo 'export LD_LIBRARY_PATH=/usr/lib/x86_64-linux-gnu/mesa' >> ~/.bashrc
source ~/.bashrc

四、模型转换

4.1. 准备模型

下载链接:

./yolo11n.onnx
./yolo11s.onnx
./yolo11m.onnx

或者从bash脚本下载:

cd cd rknn/rknn_model_zoo/examples/yolo11/model
./download_model.sh

4.2 转换到RKNN

cd rknn/rknn_model_zoo/examples/yolo11/python
# python convert.py <onnx_model> <TARGET_PLATFORM> <dtype(optional)> <output_rknn_path(optional)>
# such as: 
python convert.py ../model/yolo11n.onnx rk3588
# output model will be saved as ../model/yolo11.rknn

参数说明:

  • <onnx_model>: 指定ONNX模型路径。
  • <TARGET_PLATFORM>: 指定NPU平台名称。如“rk3588”。
  • <dtype>(optional): 指定为i8 ，u8或fp。i8 / u8表示进行量化，fp表示不进行量化。默认为i8 / u8。
  • <output_rknn_path>(optional): 指定RKNN模型的保存路径，默认保存在与ONNX模型相同的目录中，名称为yolo11.rknn。

在这里插入图片描述
在这里插入图片描述

五、模型推理

5.1 使用ONNX模型推理

cd rknn/rknn_model_zoo/examples/yolo11/python
python yolo11.py --model_path ../model/yolo11n.onnx --img_show
# 输出：
Model-../model/yolo11n.onnx is onnx model, starting val
infer 1/1

IMG: bus.jpg
person @ (108 236 223 535) 0.896
person @ (212 240 284 509) 0.844
person @ (477 230 559 521) 0.838
person @ (79 358 116 516) 0.485
bus  @ (90 135 552 435) 0.939


# 使用 PyTorch or ONNX 推理
# python yolo11.py --model_path <pt_model/onnx_model> --img_show
# 使用 RKNN model 推理
# python yolo11.py --model_path <rknn_model> --target <TARGET_PLATFORM> --img_show

在这里插入图片描述

参数说明:

  • <TARGET_PLATFORM>: 指定NPU平台名称。如“rk3588”。

  • <pt_model / onnx_model / rknn_model>: 指定模型路径。

5.2 使用RKNN模型推理（yolo5、模拟仿真）

RKNN-Toolkit2自带了一个模拟器，可以用来仿真模型在NPU上运行时的行为。就相当于Android Studio自带模拟器一样。那么真机就相当于开发板。RK3588目前只支持模拟仿真，还不支持连板调试，在真机上会报错显示rknn server版本过低，等后面官方更新好就可以连板推理了。

在路径rknn/rknn-toolkit2/rknn-toolkit2/examples/onnx/yolov5下，有yolov5的完整案例：创建RKNN对象、模型配置、加载onnx模型、构建RKNN模型、导出RKNN模型、加载图片并推理、得到推理结果、释放 RKNN 对象。

cd rknn/rknn-toolkit2/rknn-toolkit2/examples/onnx/yolov5
python test.py

# 模型转换推理结果在当前路径下: yolov5s_relu.rknn、result.jpg
ls
README.md  check0_base_optimize.onnx  dataset.txt       onnx_yolov5_0.npy  onnx_yolov5_2.npy  result_truth.jpg  yolov5s_relu.onnx
bus.jpg    check2_correct_ops.onnx    model_config.yml  onnx_yolov5_1.npy  result.jpg         test.py           yolov5s_relu.rknn

在这里插入图片描述

5.3 使用RKNN模型推理（yolo11、模拟仿真）

参考yolo5的RKNN模型推理实现rknn/rknn-toolkit2/rknn-toolkit2/examples/onnx/yolov5/test.py，将该python文件复制到rknn/rknn_model_zoo/examples/yolo11/python/test.py，并结合rknn/rknn_model_zoo/examples/yolo11/python/yolo11.py文件，经过修改代码中超参数、模型加载、后处理等部分的代码，实现RKNN-Toolkit2模拟仿真环境下的yolo11的RKNN模型推理。

cd rknn/rknn_model_zoo/examples/yolo11/python
python test.py

在这里插入图片描述

需要注意的是，如果不做前后处理，只需用修改模型加载的参数即可，RKNN模型可以推理成功，只不过会提示后处理部分报错等，参考代码：

#...超参数
ONNX_MODEL = '../model/yolo11n.onnx'
RKNN_MODEL = '../model/yolo11n.rknn'
IMG_PATH = '../model/bus.jpg'
DATASET = '../model/dataset.txt'
#...
IMG_SIZE_YOLO11 = (640, 640)  # (width, height), such as (1280, 736)
#...


#... 
#前处理
import yolo11
co_helper = yolo11.COCO_test_helper(enable_letter_box=True)
pad_color = (0,0,0)
img = co_helper.letter_box(im= img.copy(), new_shape=(IMG_SIZE_YOLO11[1], IMG_SIZE_YOLO11[0]), pad_color=(0,0,0))
# img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)


#...
#后处理
boxes, classes, scores = yolo11.post_process(outputs)
img_p = img.copy()
if boxes is not None:
    yolo11.draw(img_p, co_helper.get_real_box(boxes), scores, classes)
cv2.imshow("full post process result", img_p)
cv2.waitKeyEx(0)

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2297428.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

我用AI做数据分析之四种堆叠聚合模型的比较

我用AI做数据分析之四种堆叠聚合模型的比较

我用AI做数据分析之四种堆叠聚合模型的比较 这里AI数据分析不仅仅是指AI生成代码的能力&#xff0c;我想是测试AI数据分析方面的四个能力&#xff0c;理解人类指令的能力、撰写代码的能力、执行代码的能力和解释结果的能力。如果这四个能力都达到了相当的水准&#xff0c;才可…
阅读更多...
AcWing 5166：对称山脉 ← 动态规划

AcWing 5166：对称山脉 ← 动态规划

【题目来源】 https://www.luogu.com.cn/problem/P9325 https://www.acwing.com/problem/content/5169/ 【题目描述】 有 N 座山排成一排&#xff0c;从左到右依次编号为 1∼N。 其中&#xff0c;第 i 座山的高度为 hi。 对于一段连续的山脉&#xff0c;我们使用如下方法定义该…
阅读更多...
KEPServerEX 的接口类型与连接方式的详细说明

KEPServerEX 的接口类型与连接方式的详细说明

目录 一、KEPServerEX 核心架构 二、KEPServerEX 支持的接口类型 三、KEPServerEX 支持的连接类型 1. 通用工业协议 2. 品牌专属协议 3. 行业专用协议 4. 数据库与文件接口 四、配置示例 1. 接口配置&#xff08;以OPC UA为例&#xff09; 2. 连接配置&#xff08;以…
阅读更多...
云原生AI Agent应用安全防护方案最佳实践（上）

云原生AI Agent应用安全防护方案最佳实践（上）

当下&#xff0c;AI Agent代理是一种全新的构建动态和复杂业务场景工作流的方式&#xff0c;利用大语言模型&#xff08;LLM&#xff09;作为推理引擎。这些Agent代理应用能够将复杂的自然语言查询任务分解为多个可执行步骤&#xff0c;并结合迭代反馈循环和自省机制&#xff0…
阅读更多...
物联网软件开发与应用方向应该怎样学习，学习哪些内容，就业方向是怎样？（文末领取整套学习视频，课件）物联网硬件开发与嵌入式系统

物联网软件开发与应用方向应该怎样学习，学习哪些内容，就业方向是怎样？（文末领取整套学习视频，课件）物联网硬件开发与嵌入式系统

随着物联网技术的飞速发展&#xff0c;物联网软件开发与应用方向成为了众多开发者关注的焦点。那么&#xff0c;如何在这个领域中脱颖而出呢&#xff1f;本文将为你提供一份详细的学习指南&#xff0c;帮助你从零开始&#xff0c;逐步掌握物联网软件开发与应用的核心技能。 一…
阅读更多...
计算机网络-八股-学习摘要

计算机网络-八股-学习摘要

一&#xff1a;HTTP的基本概念 全称&#xff1a; 超文本传输协议 从三个方面介绍HTTP协议 1&#xff0c;超文本&#xff1a;我们先来理解「文本」&#xff0c;在互联网早期的时候只是简单的字符文字&#xff0c;但现在「文本」的涵义已经可以扩展为图片、视频、压缩包等&am…
阅读更多...
【天梯赛】L2-001紧急救援（用迪杰斯特拉找出权重和最小的最短路径）

【天梯赛】L2-001紧急救援（用迪杰斯特拉找出权重和最小的最短路径）

解题反思 尝试DFS&#xff1a;开始使用DFS来遍历求解&#xff0c;但 DFS 存在大量重复计算&#xff0c;像同一节点会被多次访问并重复计算路径信息&#xff0c;导致时间复杂度高&#xff0c;部分测试点未通过 改用迪杰斯特拉&#xff1a;为了求解&#xff0c;设置了很多的辅助…
阅读更多...
PortSwigger——WebSockets vulnerabilities

PortSwigger——WebSockets vulnerabilities

文章目录 一、WebSockets二、Lab: Manipulating WebSocket messages to exploit vulnerabilities三、Lab: Manipulating the WebSocket handshake to exploit vulnerabilities四、Using cross-site WebSockets to exploit vulnerabilities4.1 跨站WebSocket劫持&#xff08;cro…
阅读更多...
八、OSG学习笔记-

八、OSG学习笔记-

前一章节&#xff1a; 七、OSG学习笔记-碰撞检测-CSDN博客https://blog.csdn.net/weixin_36323170/article/details/145558132?spm1001.2014.3001.5501 一、了解OSG图元加载显示流程 本章节代码&#xff1a; OsgStudy/wids CuiQingCheng/OsgStudy - 码云 - 开源中国https:…
阅读更多...
自己动手实现一个简单的Linux AI Agent

自己动手实现一个简单的Linux AI Agent

大模型带我们来到了自然语言人机交互的时代 1、安装本地大模型进行推理 下载地址&#xff1a; https://ollama.com/download 部署本地deepseek和嵌入模型 ollama run deepseek-r1:7b2、制定Linux操作接口指令规范 3、编写大模型对话工具 #!/usr/bin/python3 #coding: utf-8…
阅读更多...
常见的数据仓库有哪些?

常见的数据仓库有哪些?

数据仓库（Data Warehouse，简称数仓）是企业用于存储、管理和分析大量数据的重要工具，其核心目标是通过整合和处理数据，为决策提供高质量、一致性和可信度的数据支持。在构建和使用数仓时，选择合适的工具和技术至关重要。以下是常见的数仓工具及其特点的详细介绍： 1. Hiv…
阅读更多...
LSTM 学习笔记 之pytorch调包每个参数的解释

LSTM 学习笔记 之pytorch调包每个参数的解释

0、 LSTM 原理 整理优秀的文章 LSTM入门例子&#xff1a;根据前9年的数据预测后3年的客流&#xff08;PyTorch实现&#xff09; [干货]深入浅出LSTM及其Python代码实现 整理视频 李毅宏手撕LSTM [双语字幕]吴恩达深度学习deeplearning.ai 1 Pytorch 代码 这里直接调用了nn.l…
阅读更多...
【EXCEL】【VBA】处理GI Log获得Surf格式的CONTOUR DATA

【EXCEL】【VBA】处理GI Log获得Surf格式的CONTOUR DATA

【EXCEL】【VBA】处理GI Log获得Surf格式的CONTOUR DATA data source1： BH coordination tabledata source2：BH layer tableprocess 1：Collect BH List To Layer Tableprocess 2：match Reduced Level from "Layer"+"BH"data source1： BH coordination…
阅读更多...
国产编辑器EverEdit - 光标位置跳转

国产编辑器EverEdit - 光标位置跳转

1 光标位置跳转 1.1 应用场景 某些场景下&#xff0c;用户从当前编辑位置跳转到别的位置查阅信息&#xff0c;如果要快速跳转回之前编辑位置&#xff0c;则可以使用光标跳转相关功能。 1.2 使用方法 1.2.1 上一个编辑位置 跳转到上一个编辑位置&#xff0c;即文本修改过的位…
阅读更多...
cv2.Sobel

cv2.Sobel

1. Sobel 算子简介 Sobel 算子是一种 边缘检测算子&#xff0c;通过对图像做梯度计算&#xff0c;可以突出边缘。 Sobel X 方向卷积核&#xff1a; 用于计算 水平方向&#xff08;x 方向&#xff09; 的梯度。 2. 输入图像示例 假设我们有一个 55 的灰度图像&#xff0c;像素…
阅读更多...
鸿蒙HarmonyOS NEXT开发：优化用户界面性能——组件复用(@Reusable装饰器)

鸿蒙HarmonyOS NEXT开发：优化用户界面性能——组件复用(@Reusable装饰器)

文章目录 一、概述二、原理介绍三、使用规则四、复用类型详解1、标准型2、有限变化型2.1、类型1和类型2布局不同&#xff0c;业务逻辑不同2.2、类型1和类型2布局不同&#xff0c;但是很多业务逻辑公用 3、组合型4、全局型5、嵌套型 一、概述 组件复用是优化用户界面性能&#…
阅读更多...
Windows中使用Docker安装Anythingllm，基于deepseek构建自己的本地知识库问答大模型，可局域网内多用户访问、离线运行

Windows中使用Docker安装Anythingllm，基于deepseek构建自己的本地知识库问答大模型，可局域网内多用户访问、离线运行

文章目录 Windows中使用Docker安装Anythingllm&#xff0c;基于deepseek构建自己的知识库问答大模型1. 安装 Docker Desktop2. 使用Docker拉取Anythingllm镜像2. 设置 STORAGE_LOCATION 路径3. 创建存储目录和 .env 文件.env 文件的作用关键配置项 4. 运行 Docker 命令docker r…
阅读更多...
[SAP ABAP] OO ALV报表练习1

[SAP ABAP] OO ALV报表练习1

销售订单明细查询报表 业务目的&#xff1a;根据选择屏幕的筛选条件&#xff0c;使用 ALV 报表&#xff0c;显示销售订单详情 效果展示 用户的输入条件界面 用户的查询结果界面 涉及的主要功能点&#xff1a; 1.当在销售订单明细查询页面取不到任何数据时&#xff0c;在选择…
阅读更多...
数据库高安全—数据保护：数据动态脱敏

数据库高安全—数据保护：数据动态脱敏

书接上文数据库高安全—审计追踪&#xff1a;传统审计&统一审计&#xff0c;从传统审计和统一审计两方面对高斯数据库的审计追踪技术进行解读&#xff0c;本篇将从数据动态脱敏方面对高斯数据库的数据保护技术进行解读。 5.1 数据动态脱敏 数据脱敏&#xff0c;顾名思义就…
阅读更多...
Datawhale 数学建模导论二 2025年2月

Datawhale 数学建模导论二 2025年2月

第6章 数据处理与拟合模型 本章主要涉及到的知识点有&#xff1a; 数据与大数据Python数据预处理常见的统计分析模型随机过程与随机模拟数据可视化 本章内容涉及到基础的概率论与数理统计理论&#xff0c;如果对这部分内容不熟悉&#xff0c;可以参考相关概率论与数理统计的…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023