安霸CVFlow推理开发笔记

news2024/12/27 18:30:21

一、安霸环境搭建:

1.远程172.20.62.13

2. 打开Virtualbox,所在目录:E:\Program Files\Oracle\VirtualBox

3. 配置好ubuntu18.04环境,Ubuntu密码:amba

4. 安装toolchain,解压Ambarella_Toolchain_CNNGen_2.3.0_20210205(注意要用最新版本)

5.进入Ubuntu-18.04安装包里,运行以下脚本ubuntuToolChain-2.3.0,提前配置好pip源

6. 默认路径为/usr/local,安装parser时按照需求选择,onnxparser caffeparser以及tensorflowparser

7.安装完成后,查看/usr/local/目录下新增amba toolchain

8.搭配环境,运行source搭配开发环境

9. 尝试shell自动补全,查看gen_image_list.py,layer_compare.py,onnxparser.py程序是否存在。存在则安装成功,反之失败。

二.安霸模型转换流程:

  1. 冻结和输出CNN网络模型的框架和权重
  2. 通过Python parser 运行模型,通过使用AmbaCNN API 来修建CNNGen中的节点图
  3. CNNGen将节点图扩展乘原始图并且进行量化和减少计算量
  4. VAS将原始图扩展乘算子图(DAG)并进行低等级优化和DAG分离
  5. 在ADES上运行VAS生成DAGs验证结果和准确性
  6. 用cavalry_gen脚本生成最终执行的二进制文件并用Ambaralla接口运行在CV2X板子上

三.模型转换工具使用:

1. 将图片数据转换成bin format

gen_image_list.py
         -f test_image/                                           //图片所在目录
         -o img_dara_list.txt                                     //输入的图片列表
         -ns                                                                     //禁用随机选择
         -e data                                                           //图片格式,新增data格式
         -c 1                                                                    //图片格式 1为BGR
        -d 0,0                                                               //转换格式undesigned fix8 1,2,07为float32
         -r 96 96                                                           //图像尺寸
         -bf dra_bin/                                                   //输出目录
         -bo dra_bin_list.txt                                       //输出文件列表

2. onnx模型转换

onnxparser.py
         -m ./face_align_float_20210301.onnx                             //模型的ONNX文件,包含纯模型
         -isrc                        
“is:1,3,96,96|iq|idf:0,0,0,0 |i:data=./dra_bin_list.txt”        //多参数输入
       -o face_align_amba                                                                //输出文件名
       -of ./module                                                                             //输出文件目录
       -c act-force-fx8,coeff-force-fx8                  //第一个代表输出是8bit,第二个表示权重为8bit 高效: act-force-fx8,coeff-force-fx8 高准确率 act-force-fx16,coeff-force-fx16,模型权重参数不支持float
       -odst “o:output|odf:fp32”                                                   //模型输出由”output”转fp32

3.编译VAS代码

cd module
vas –auto –summary –show-progress –dvi face_align_amba.vas //生成vas文件

4. layer_compare比较一致性

layer_compare.py onnx
–m ./face_align_float_20210301.onnx  //onnx文件目录
–isrc “is:1,3,96,96|iq|idf:0,0,0,0|i:data=./dra_image_bin/dra_bin_list.txt” //同onnxparser参数
–c act-force=fx16,coeff-force-fx16 //同onnxparser参数
–odst “o:output|odf:fp32” //同onnxparser参数
-n face_align_amba //vas文件名
-v module  //vas文件目录,一定要精确到vas_output目录
-o ./lc     //生成的结果比较文件.xsl

5.为了生成ADES command,为了在PC上模拟运行

ades_autogen.py
–v face_align_amba //vas文件名
–p ./                           //vas文件所在目录
-l ades_module   //输出文件目录
–ib data=/media/sf_Amba/data_bin/image_align_00001.bin //data:模型input层名称
-ob output=./out.bin  // output:模型输出层名称,out.bin输出文件名,以二进制文件存储

6.模拟运行.cmd

cd ades_moudle
ades face_align_amba_ades.cmd //执行程序,得到结果

7.编译CV code,生成可以在CV2x上运行的程序,生成模型文件face_align.bin

cavalry_gen
–d ./vas_output //目录精确到vas_output
–f face_align.bin //输出模型文件名
–p ./                   //输出模型文件目录
-V 2.1.7            //版本,要与板子上的版本一致

快速执行脚本sample里有quick_start.sh脚本,一个脚本完成上述所有操作,参考CNNGen_Development_Flow 7.2章节

./quick_start.sh
–f onnx                                        //模型转换方式,支持onnx caffe和trensorflow
–d /media/image_data/         //gen_image_list的图片文件目录
-m ./face_align_float_20210301.onnx  //onnx文件

四.Amba嵌入式运行

研发网访问【Amba-cv25开发板】和【广汽8155车机】方法:
1. 使用【mstsc】远程登录【Windows host主机 192.168.122.29】,【账户密码 都是自己的域账户】,允许多个账户同时登陆 各自用各位各自的域账户+密码登录就好:
admin/kuihu2/peihuang/ycjiang/ylxiang2
2. 打开xshell6,admin密码没有,直接回车。 amba的开发版的串口是com5 频率是115200,留意不要选错登到广汽的8155车机上 广汽8155车机的串口操作失误 比如敲一个exit就蓝屏了,留意不要串口登到广汽8155上面去
3. 但串口操作有一个问题就是:我用的时候你是用不了的。换句话说:如果黄培已经通过串口登录amba开发版了,那其他人就用不了,除非黄培主动断开连接。如果发现串口连接不上,大概率是别人在用,可以用别人的账号登一下 看谁在用,总共就这几个账号。

1.将amba挂在到windows上

umount /dev/mmcblk0p8
insmod /lib/modules/4.14.183/kernel/drivers/usb/gadget/udc/ambarella_udc.ko
insmod /lib/modules/$(uname -r)/kernel/drivers/usb/gadget/libcomposite.ko
insmod /lib/modules/$(uname -r)/kernel/drivers/usb/gadget/function/usb_f_mass_storage.ko
modprobe g_mass_storage removable=y stall=0 file=/dev/mmcblk0p8

2. 放入模型和数据,然后接触挂载 

modprobe -r g_mass_storage
mkdir /mnt/p8
mount /dev/mmcblk0p8 /mnt/p8

3.配置运行环境

modprobe cavalry
cavalry_load –f /lib/fireware/cavalry.bin -r

4.运行程序

test_nnctrl –b model.bin
--in <input_0_layer_name>=<input_0_bin>
--in <input_1_layer_name>=<input_1_bin>
--out <output_0_layer_name>=< output _0_bin>
--out < output _1_layer_name>=< output _1_bin>
-v  //打印debug信息
-e  //打印vp_time

五、踩坑记录:

1.Onnx版本错误,onnx要是6.0。用python3 import onnx print(onnx.__version__)queren

2.toolchain安装时,安装使用如下脚本ubuntuToolChain,不要用installToolChainONLY,同时提前配置好pip源

3.像素值(R,G,B) –平均值(RGB) / 方差值(R,G,B) 归一化操作要放到onnxpraser里面操作,否则会严重影响准确性

4.一致性结果不同层对不上关系不大,主要看最终输出是否能保持较小误差

5.模型仿真输出和amba板子上运行输出结果有些出入,因为硬件上需要32位对齐,读取的时候需要注意

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1868533.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

成都工业学院2022级数据库原理及应用专周课程学生选课系统(基础篇)

运行环境 操作系统&#xff1a;Windows 11 家庭版 运行软件&#xff1a;Navicat Premium 16 项目内容 需求分析 学生&#xff1a;选课、退课、查看课程信息、查看选课情况等操作 教师&#xff1a;查看选课名单等操作 管理员&#xff1a;课程管理等操作 实体关系模式图 关…

js计算某个时间距离当前时间多少天,少于7天红色展示

效果图 后端返回数据格式 info:{vip_validity:"2027-09-07" }<div>到期时间&#xff1a;{{ info.vip_validity }}, 剩余<span :class"countdownDays(info.vip_validity) < 7 ? surplus : ">{{ !!info.vip_validity ? countdownDays(inf…

MySQL进阶-索引-使用规则-索引失效情况一(索引列运算,字符串不加引号,头部模糊匹配)

文章目录 1、索引列运算1.1、查询表tb_user1.2、查看tb_user的索引1.3、查询 phone177999900151.4、执行计划 phone177999900151.5、查询 substring(phone,10,2) 151.6、执行计划 substring(phone,10,2) 15 2、字符串不加引号2.1、查询 phone177999900152.2、执行计划 phone177…

强化学习详解:理论基础与核心算法解析

本文详细介绍了强化学习的基础知识和基本算法&#xff0c;包括动态规划、蒙特卡洛方法和时序差分学习&#xff0c;解析了其核心概念、算法步骤及实现细节。 关注TechLead&#xff0c;复旦AI博士&#xff0c;分享AI领域全维度知识与研究。拥有10年AI领域研究经验、复旦机器人智能…

【漏洞复现】用友GRP-U8——SQL注入

声明&#xff1a;本文档或演示材料仅供教育和教学目的使用&#xff0c;任何个人或组织使用本文档中的信息进行非法活动&#xff0c;均与本文档的作者或发布者无关。 文章目录 漏洞描述漏洞复现测试工具 漏洞描述 用友GRP-U8是一款企业管理软件&#xff0c;其系统dialog_moreUs…

客户案例|某 SaaS 企业租户敏感数据保护实践

近年来&#xff0c;随着云计算技术的快速发展&#xff0c;软件即服务&#xff08;SaaS&#xff09;在各行业的应用逐渐增多&#xff0c;SaaS 应用给企业数字化发展带来了便捷性、成本效益与可访问性&#xff0c;同时也带来了一系列数据安全风险。作为 SaaS 产品运营服务商&…

活动|华院计算受邀参加2024全球人工智能技术大会(GAITC),探讨法律大模型如何赋能社会治理

6月22至23日&#xff0c;备受瞩目的2024全球人工智能技术大会&#xff08;GAITC&#xff09;在杭州市余杭区未来科技城隆重举行。本届大会以“交叉、融合、相生、共赢”为主题&#xff0c;集“会、展、赛”为一体&#xff0c;聚“产、学、研”于一堂。值得一提的是&#xff0c;…

论文速览 | IEEE Signal Processing Letters, 2024 | 基于时空上下文学习的事件相机立体深度估计

论文速览 | IEEE Signal Processing Letters, 2024 | 基于时空上下文学习的事件相机立体深度估计 1 引言 在计算机视觉领域,立体深度估计一直是一个备受关注的研究热点。传统的基于帧的方法虽然取得了长足的进步,但在处理运动模糊、低照度和平坦区域等挑战性场景时仍面临诸多…

203. 移除链表元素【链表】【C++】

题目描述 题目描述 给你一个链表的头节点 head 和一个整数 val &#xff0c;请你删除链表中所有满足 Node.val val 的节点&#xff0c;并返回 新的头节点 。 示例 1&#xff1a; 输入&#xff1a;head [1,2,6,3,4,5,6], val 6 输出&#xff1a;[1,2,3,4,5] 示例 2&#x…

RabbitMQ的Direct交换机

Direct交换机 BindingKey 在Fanout模式中&#xff0c;一条消息&#xff0c;会被所有订阅的队列都消费。但是&#xff0c;在某些场景下&#xff0c;我们希望不同的消息被不同的队列消费。这时就要用到Direct类型的Exchange。 在Direct模型下&#xff1a; 队列与交换机的绑定&a…

爬虫是什么?

目录 1.什么是互联网爬虫&#xff1f; 2.爬虫核心? 3.爬虫的用途? 4.爬虫分类&#xff1f; 5.反爬手段&#xff1f; 1.什么是互联网爬虫&#xff1f; 如果我们把互联网比作一张大的蜘蛛网&#xff0c;那一台计算机上的数据便是蜘蛛网上的一个猎物&#xff0c;而爬虫程序…

【vue3】【vant】 移动端中国传统文化和民间传说案例

更多项目点击&#x1f446;&#x1f446;&#x1f446;完整项目成品专栏 【vue3】【vant】 移动端中国传统文化和民间传说案例 获取源码方式项目说明&#xff1a;其中功能包括项目包含&#xff1a;项目运行环境运行截图和视频 获取源码方式 加Q群&#xff1a;632562109项目说…

APP 自动化测试框架如何设计?

自动化测试框架是为了增强测试效率和准确性而设计的工具。它可以帮助开发人员和测试人员在软件开发周期中自动执行各种测试任务。在本文中&#xff0c;我们将从零开始详细介绍如何设计一个自动化测试框架。 1. 确定测试需求&#xff1a; 在设计测试框架之前&#xff0c;首先需…

本安防爆手机为什么能在石油化工行业使用

本安防爆手机专为石油化工行业等易燃易爆环境设计&#xff0c;具备严格的防爆安全标准和环境适应性&#xff0c;确保在石油化工厂的作业安全使用。这些手机不仅具备普通手机的通讯功能&#xff0c;更能有效防止电火花等潜在点火源的产生&#xff0c;为石油化工工作人员提供可靠…

Todesk远程连接Ubuntu卡100%,以及小窗口打不开

Todesk远程连接Ubuntu卡100%&#xff0c;以及小窗口打不开 使用Todesk远程连接Ubuntu一直卡100%进不去还有todesk里的小悬浮窗打开就会小时&#xff08;小下拉框会消失&#xff09; 使用Todesk远程连接Ubuntu一直卡100%进不去 还有todesk里的小悬浮窗打开就会小时&#xff08;小…

使用 Java Swing 和 XChart 创建多种图表

在现代应用程序开发中&#xff0c;数据可视化是一个关键部分。本文将介绍如何使用 Java Swing 和 XChart 库创建各种类型的图表。XChart 是一个轻量级的图表库&#xff0c;支持多种类型的图表&#xff0c;非常适合在 Java 应用中进行快速的图表绘制。 1、环境配置 在开始之前&…

Web应用安全测试-专项漏洞(一)

Web应用安全测试-专项漏洞&#xff08;一&#xff09; 专项漏洞部分注重测试方法论&#xff0c;每个专项仅列举一个例子。实际测试过程中&#xff0c;需视情况而定。 文章目录 Web应用安全测试-专项漏洞&#xff08;一&#xff09;Web组件&#xff08;SSL/WebDAV&#xff09;漏…

AI职场调研 - 被AI替代的工作分析报告

研究背景 随着人工智能(AI)技术的快速发展&#xff0c;其在职场中的应用日益广泛&#xff0c;引发了对工作被AI替代的担忧。本研究旨在分析在自由职业市场中&#xff0c;哪些工作更有可能被AI替代&#xff0c;并探讨AI对工作市场的实际影响。 研究目标 识别最有可能被AI替代…

DevExpress Office File API教程 - 如何使用AI服务增强Word文档可访问性和语言支持?

DevExpress Office File API是一个专为C#, VB.NET 和 ASP.NET等开发人员提供的非可视化.NET库。有了这个库&#xff0c;不用安装Microsoft Office&#xff0c;就可以完全自动处理Excel、Word等文档。开发人员使用一个非常易于操作的API就可以生成XLS, XLSx, DOC, DOCx, RTF, CS…

不会还有人没有用过git rebase合并分支吧?一文详解git merge与git rebase区别

文章目录 什么是git merge&#xff1f;使用git merge的场景git merge的示例 什么是git rebase&#xff1f;使用git rebase的场景git rebase的示例 git merge与git rebase的区别如何选择git merge和git rebase&#xff1f;结论 &#x1f389;欢迎来到Java学习路线专栏~探索Java中…