如何将onnx转ncnn供移动端推理使用

news2024/11/28 0:58:10

ncnn是一个为手机端极致优化的高性能神经网络前向计算框架。基于 ncnn,开发者能够将深度学习算法轻松移植到手机端高效执行,开发出人工智能 APP,将 AI 带到你的指尖。

但是onnx直接转ncnn会存在很多问题,所以一般考虑都是先将onnx转化为onnxsim然后再进行simpler到ncnn的转换。

那么如何将onnx转化为onnxsim呢,网上有两种方法,第一种是直接利用安装的onnxsimple包来进行转换

python -m onnxsim cr_acc_9954.onnx cr_acc_9954-sim.onnx

但是前提是你能准确安装上onnxsimple,关于安装的时候出现的问题,在我之前的博客有提及到,可以翻看之前的博客。

还有一种就是通过代码来转换,代码如下所示:

def convert(model_name):
    input_shapes = {None: [1, 3, 32, 320]}
    model_opt, check_ok = onnxsim.simplify(model_name, input_shapes=input_shapes)
    onnx.save(model_opt, model_name[:-5]+"-sim.onnx")
    print("the model was simplified successfully")

if __name__ == '__main__':
    model_name="models/checkpoint_27_acc_0.9981.onnx"
    convert(model_name)

我本人比较喜欢第二种。

转完后会在路径下生成一个xxx-sim.onnx模型,这个就是接下来用来转ncnn的模型。

接下来就是讲怎么进行转换

/*onnx-simpler模型转ncnn模型*/

首先要完成环境配置

准备项:VS、 cmake、 protobuf

安装vs,cmake,protobuf

cmake下载地址

将解压后cmake-3.16.5-win64-x64文件夹点开进入bin将该路径添加至环境变量,

如路径为:D:\software\cmake-3.16.5-win64-x64\bin

1、protobuf安装

下载后解压,然后打开vs2019的x64命令窗口

跳转到刚解压的protobuf的根目录,然后创建build-vs2019的文件并进行cmake操作

注:protobuf-root-dir为protobuf的下载位置。逐行敲入如下命令

> cd <protobuf-root-dir>

> mkdir build-vs2019

> cd build-vs2019

> cmake -G"NMake Makefiles" -DCMAKE_BUILD_TYPE=Release -DCMAKE_INSTALL_PREFIX=%cd%/install -Dprotobuf_BUILD_TESTS=OFF -Dprotobuf_MSVC_STATIC_RUNTIME=OFF ../cmake

> nmake

> nmake install

成功后会在 .\protobuf\build-vs2019 下生成若干文件

2、ncnn安装

ncnn的下载,github上直接下载项目,并解压

使用vs2019的x64命令,与protobuf的安装类似,我们按下述代码操作,

> cd <ncnn-root-dir>

> mkdir -p build-vs2019

> cd build-vs2019

> cmake -G"NMake Makefiles" -DCMAKE_BUILD_TYPE=Release -DCMAKE_INSTALL_PREFIX=%cd%/install -DProtobuf_INCLUDE_DIR=<protobuf-root-dir>/build-vs2019/install/include -DProtobuf_LIBRARIES=<protobuf-root-dir>/build-vs2019/install/lib/libprotobuf.lib -DProtobuf_PROTOC_EXECUTABLE=<protobuf-root-dir>/build-vs2019/install/bin/protoc.exe -DNCNN_VULKAN=OFF ..

> nmake

> nmake install

注: ncnn-root-dir 为你的ncnn下载位置,而第四条命令cmake 里面所有(3个)的 protobuf-root-dir 都换成自己的protobuf路径 ,注意是绝对路径。

成功后会在 .\ncnn\build-vs2019 下生成若干文件

其中tools文件夹是我们最常用到的,里面的工具基本都集成好了

install中也包含有常用的lib、bin、include等库

3、一切准备就绪后,开始ncnn转换

用到vs2019的x64命令行,cd到 .\ncnn\build-vs2019\tools\onnx

会有onnx2ncnn.exe 应用程序,我们将上一步骤生成的xxx-simpler.onnx复制到目录下,然后输入

.\onnx2ncnn cr_71_acc_0.9910-sim.onnx  cr_71_acc_0.9910.param cr_71_acc_0.9910.bin

 回车,就会在路径下生成.param和bin文件。

转换完了并不是就此结束了,如何能够被c++去很好的调用,还得需要对.param文件进行手动修改。当然这个修改也是视你的模型结构而定的,可能有的不需要修改,有的需要修改,关于如何修改能够正常使用,将在下一节更新给大家。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/88389.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Mysql 进阶(面向面试篇)InnoDB引擎(redo log undolog readview mvcc)

1.1 逻辑存储结构 1). 表空间 表空间是InnoDB存储引擎逻辑结构的最高层&#xff0c; 如果用户启用了参数 innodb_file_per_table(在8.0版本中默认开启) &#xff0c;则每张表都会有一个表空间&#xff08;xxx.ibd&#xff09;&#xff0c;一个mysql实例可以对应多个表空间&…

【ElasticSearch 进阶】倒排索引 + FOR + RBM压缩算法

1. 倒排索引 如果有100w的数据&#xff0c;进行分词后&#xff0c;每个id按数字类型进行存储&#xff0c;假设每个行数据都包含相同的词&#xff0c;则每个词的 Posting List 需要占用约4M的空间&#xff1a; 1 int 4 Bytes 100W int 400W Bytes ≈ 4M 极大的浪费了空间。则需…

IDC:中国网络安全市场投资规模将在2026年达到319亿美元

近日&#xff0c;IDC咨询发布《IDC Market Forecast&#xff1a;中国网络安全市场预测&#xff0c;2022-2026》报告&#xff0c;对未来五年的中国网络安全市场发展走向做出分析预测。报告认为&#xff0c;中国IT安全市场投资规模逐年攀升&#xff0c;到2026年将达到319亿美元&a…

MySQL经典50题

MySQL经典50题 mysq经典50题拿来练手 文章目录MySQL经典50题创建表及信息录入1、查询"01"课程比"02"课程成绩高的学生的信息及课程分数2、查询"01"课程比"02"课程成绩低的学生的信息及课程分数3、查询平均成绩大于等于60分的同学的学生…

[阶段4 企业开发进阶] 5. Netty

文章目录1 Netty1.1 Netty介绍1.2 Netty应用场景2 Java BIO编程2.1 IO模型2.2 BIO、NIO、AIO 适用场景分析2.3 BIO3 Java NIO编程3.1 NIO基本介绍3.2 NIO和BIO的比较3.3 NIO三大核心原理1 Netty 1.1 Netty介绍 Netty 是由 JBOSS 提供的一个 Java 开源框架Netty 是一个异步的、…

技术分享 | 做为测试,那些必须掌握的测试技术体系

软件测试技术是软件开发过程中的一个重要组成部分&#xff0c;是贯穿整个软件开发生命周期、对软件产品&#xff08;包括阶段性产品&#xff09;进行验证和确认的活动过程。其目的是尽快尽早地发现在软件产品中所存在的各种问题&#xff0c;与用户需求、预先定义的不一致性。检…

Revit 中柱子附着屋顶小技巧和“柱断墙梁”方法

一、Revit 中柱子附着屋顶小技巧 Revit 中如何正确的使柱子附着于屋顶? 有的朋友绘制完结构柱后想要附着到屋顶上&#xff0c;这时候大家会选择把柱子顶部拉上去或者选择“附着顶部/底部”命令。但是这样会出现如图 1所示情况 此时柱子并未与屋顶完全相交&#xff0c;这时候有…

seata分布式事务AT模式原理解析

文章目录TC相关的表解析AT 模式如何做到对业务的无侵入写隔离读隔离AT模式特点TC相关的表解析 global_table&#xff1a;全局事务表&#xff0c;每当有一个全局事务发起后&#xff0c;就会在该表中记录全局事务的ID。branch_table&#xff1a;分支事务表&#xff0c;记录每一个…

一个简单实用的 JavaScript 日历控件源代码,不依赖第三方库,支持日期、月份、年份视图切换;支持单选、多选、范围和星期选

一个简单实用的 JavaScript 日历控件&#xff01;原生 JavaScript 编写&#xff0c;不依赖任何第三方库。支持日期、月份和年份试图切换&#xff1b;支持单选、多选、范围和星期选择模式&#xff1b;界面简介、配置简单、使用方便&#xff01; 完整代码下载地址&#xff1a;一个…

java计算机毕业设计ssm招聘信息管理平台9kvyw(附源码、数据库)

java计算机毕业设计ssm招聘信息管理平台9kvyw&#xff08;附源码、数据库&#xff09; 项目运行 环境配置&#xff1a; Jdk1.8 Tomcat8.5 Mysql HBuilderX&#xff08;Webstorm也行&#xff09; Eclispe&#xff08;IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持&#xff0…

终于有P8大佬把困扰我多年的《计算机网络原理》全部讲明白了

前言 为什么网络协议这么重要呢&#xff1f;集群规模一大&#xff0c;我们首先想到的就是网络互通的问题&#xff1b;应用吞吐量压不上去&#xff0c;我们首先想到的也是网络互通的问题。所以&#xff0c;要成为技术牛人&#xff0c;搞定大系统&#xff0c;一定要过网络这一关&…

投影仪可以当电视看吗?告诉你好用的电视应用市场,建议收藏

当初在买投影仪和买电视中纠结了很久&#xff0c;最终选择了投影仪&#xff0c;现在又想看电视了……但是又不想再买个电视&#xff0c;那么问题来了&#xff0c;投影仪可以当电视用吗&#xff1f;经过本人一番研究&#xff0c;终于找到投影仪看电视的最简单方法&#xff1a;安…

Go C 编程 第3课 魔法自动机

慧通教育 慧通教育 30.画奔驰车标志(魔法学院第3课) 难度&#xff1a;1 登录 31.画拱型(魔法学院第3课) 难度&#xff1a;1 登录 32.画正三角形(魔法学院第3课) 难度&#xff1a;1 登录 33.画棱形(魔法学院第3课) 难度&#xff1a;1 登录 魔法学院的奇幻之旅&#xff1a;…

「安全狗漏洞通告」Fortinet SSL VPN远程代码执行漏洞解决方案

安全狗应急响应中心监测到&#xff0c;Fortinet发布了FortiOS SSL-VPN的风险通告&#xff0c;漏洞等级&#xff1a;高危&#xff0c;漏洞评分&#xff1a;9.3。漏洞编号&#xff1a;CVE-2022-42475。 安全狗应急响应中心建议广大用户做好资产自查以及预防工作&#xff0c;以免遭…

理解DDR Part 1

DDR x4 x8 x16 x4 x8 x16 指的上图黑色的chip输出的位宽&#xff0c;正常的DDR bus width 需要64bit&#xff0c;所以 chip width x4 x8 x16 黑色chip数量 16 8 4 上图是最常见的x8&#xff0c;也就有8个黑色的chip颗粒。x16的性能和x8的性能相比怎么样呢? 更差&…

html悬浮事件(表格th)

<!DOCTYPE html> <html> <head> <meta charset"utf-8"> <title>菜鸟教程(runoob.com)</title> </head> <body> <h4>一行三列:</h4> <table border"1"> <tbody class"fileLi…

UE5笔记【十三】蓝图系统-血量控制系统

上一篇我们讲解了&#xff0c;蓝图中的函数功能。可以将蓝图中重复的代码&#xff0c;再次利用。演示了Smasher的效果。 这一篇中&#xff0c;我们讲解Smasher造成伤害之后&#xff0c;如何保存和计算角色的血量状态。 我们的设计思路是&#xff1a;smasher每次碰到角色是&am…

GCSE英语语言考试-角色定位

What is characterisation? 什么是角色定位&#xff1f; Characterisation is the way writers create characters and make them believable. When writing about texts, it is easy to treat characters as real people. Try to remember that the author is creating chara…

大数据 finalshell免密登录

私有云 查看私有云创建的虚拟机 本机用FinalShell连接三个虚拟机 使用浮动IP地址创建连接 设置主机名 maser虚拟机 slave1虚拟机 slave2虚拟机 IP地址与主机名映射 master虚拟机 slave1虚拟机 slave2虚拟机 ##关闭防火墙 关闭防火墙&#xff1a;systemctl stop f…

LeaRun.net代码生成器 一键生成前后端代码

自动代码生成是指根据自然语言的功能描述来生成代码。在项目开发过程中&#xff0c;有很多业务模块的代码是具有一定规律性的&#xff0c;例如controller控制器、service接口、service实现类、mapper接口、model实体类等等&#xff0c;这部分代码可以使用代码生成器生成&#x…