文章目录
- 前言
- 背景介绍
- 产品介绍
- 主要参数配置
- AI处理器——昇腾310 NPU
- 模型训练预测
- 加载resnet50模型
- 真实动物测试
- 虚拟动物测试
前言
随着人工智能和物联网技术的迅速发展,单板计算机(Single Board Computer, SBC)在创客和开发者社区中越来越受欢迎。作为一名公司研发工程师,我最近入手了一款高性能的单板计算机——Orange Pi AIpro。
背景介绍
我们的团队一直致力于开发智能化解决方案,探索各种高效的硬件平台以推动项目进展。近日,我们有幸受邀评测香橙派推出的最新AI开发板——Orange Pi AIpro。这款开发板是香橙派与华为合作的成果,内置了华为自研的昇腾310 NPU(Neural Processing Unit),基于达芬奇架构,为AI开发提供了强大的支持。
Orange Pi AIpro的引入为我们的研发工作带来了新的契机。相较于以往使用的设备,昇腾310 NPU具备更高的计算能力和能效比,使我们能够更高效地进行深度学习和推理任务。此外,华为昇腾社区提供了丰富的资源和课程,大大降低了学习和开发的难度,助力我们更快地上手并开展项目。
本文将为零基础用户提供详细的开箱体验和Orange Pi AIpro的产品介绍,帮助大家快速掌握其基本使用方法,并了解昇腾生态的强大之处。我还会展示几个简单的AI样例,分享我们的探索过程和心得体会,希望能让大家更好地了解这款强大的AI开发板。
产品介绍
首先,让我们来看看Orange Pi AIpro的全貌。这款开发板设计精美,功能强大。
主要参数配置
处理器:搭载华为昇腾310 NPU,支持高效的人工智能计算,适用于深度学习和推理任务。
内存:8GB LPDDR4内存,确保多任务处理和数据密集型应用的流畅运行。
存储:提供eMMC存储接口和MicroSD卡插槽,方便用户扩展存储空间。
接口:丰富的接口配置,包括USB 3.0、USB 2.0、HDMI、以太网口、音频输出、GPIO等,满足多种外设连接需求。
网络:内置千兆以太网接口和Wi-Fi模块,支持高速网络连接和无线传输。
操作系统:兼容多种操作系统,包括Ubuntu、Debian和Android,提供广泛的软件支持和开发环境。
AI处理器——昇腾310 NPU
昇腾310 NPU简介
Orange Pi AIpro的核心是Atlas 200计算模块,该模块集成了华为昇腾310处理器,为端侧部署深度学习推理应用提供了高效的计算能力。昇腾310的主要特点如下:
高效能低功耗:昇腾310采用7nm工艺制造,拥有高效的能耗比,在提供强大计算能力的同时保持较低的功耗,非常适合嵌入式和边缘计算应用。
强大计算能力:昇腾310能够提供多达16 TOPS(Tera Operations Per Second)的整数计算能力和8 TFLOPS(Tera Floating Point Operations Per Second)的浮点计算能力,能够高效处理复杂的深度学习模型。
丰富的接口支持:昇腾310支持多种接口,包括PCIe、I2C、UART等,方便与各种外设进行连接,适用于广泛的应用场景。
全场景AI支持:昇腾310支持图像处理、语音识别、自然语言处理等多种AI任务,提供灵活的AI推理能力。
优秀的开发工具:昇腾310配备了丰富的开发工具和软件生态,包括华为的MindSpore、TensorFlow、PyTorch等主流深度学习框架的支持,使开发者能够快速上手并进行模型训练和部署。
模型训练预测
在本文中选取了常见的四种动物数据(猫、狗、马、鸡),文件夹结构如下图所示。
在完成数据集的收集准备后,打开jupyter notebook平台,导入数据集通过以下代码可以计算出数据集的总图片数量。本次使用的数据集总图片为4000张。
import pathlib
data_dir = "./dataset/"
data_dir = pathlib.Path(data_dir)
image_count = len(list(data_dir.glob('*/*')))
print("图片总数为:",image_count)
然后划分TensorFlow的image_dataset_from_directory方法划分测试集和训练集。再构建模型。在本文中如下图所示
加载resnet50模型
model = keras.applications.ResNet50(weights='imagenet', include_top=True)
这段代码的目的是使用Keras库加载预训练的ResNet50模型,并将其应用于图像分类任务。
具体解释如下:
-
keras.applications.ResNet50: 这是Keras库中的一个函数,用于加载ResNet50模型。ResNet50是一个已经定义好的模型架构,包含了数十个卷积层、池化层和全连接层,用于图像分类任务。
-
weights=‘imagenet’: 这个参数指定了模型所使用的权重。'imagenet’是一个大规模的图像数据集,ResNet50在该数据集上进行了预训练,因此通过设置这个参数,我们可以加载已经在该数据集上训练好的权重。这样的预训练权重可以提供较好的特征表示能力,有助于提升模型在图像分类任务上的性能。
-
include_top=True: 这个参数指定是否包含模型的顶层(即全连接层)。当设置为True时,加载的模型将包含原始ResNet50模型的所有层,包括最后的全连接层,用于输出分类结果。如果我们只需要使用ResNet50的特征提取能力而不需要分类层,则可以将该参数设置为False。
然后开始训练,其训练过程如下图所示
通过上图可知,通过20轮迭代训练,在最后一轮迭代完成后,模型在测试集上面的精度为0.9875,精度还是非常高的。接下来就是打印下ACC曲线图和LOSS曲线图以及混淆矩阵图等。通过图片可知,算法的拟合度还是比较理想的。
真实动物测试
在完成模型训练后,通过model.save方法保存模型为本地文件,然后就可以基于改模型开发出非常多的应用了,比如开发出API接口给别人调用等。
在本项目中基于Django框架开发了一个网页版的动物识别界面,在该网页界面系统中,用户可以点击鼠标上传一张动物图片,然后点击按钮进行检测。同时可以将相关识别的相关信息保存在数据库中,管理员通过登录后台可以查看所有的识别信息,为模型优化提供数据支持。
- 效果图片
虚拟动物测试
虽然流程通了,但是识别一张图片要耗时 10 分钟!这推理速度,我觉得还能优化。
接着我从百度图片中下载了 12 张动物图片 — 组成十二生肖。
输入给了我手写的神经网络,希望它能正确的识别出来,顺便也测试一下开发板网络的鲁棒性。
下面是十二生肖图片的识别结果
子鼠,识别结果为 mink — 水貂,识别错误,扣一分。
不过这个老鼠是不是有那么点像水貂?
丑牛,识别为 ox - 公牛,识别正确!加一分。
而且还是公牛,是根据上翘的尾巴做的区分吗?
寅虎,识别为 tiger - 老虎,识别正确!加一分。
这萌萌的老虎特征这么明显,要是识别错,那可以下班了。
卯兔,识别为 hare - 野兔,识别正确!加一分。
这站立的姿势,警觉地竖起的耳朵,野兔无疑了。
辰龙,识别成 harp - 竖琴,识别错误,不减分。
神经网络识别不出来龙,真的不怪神经网络,因为它的类比分类里就没有中国龙这一类。
不过识别成竖琴的话,看这弯曲的身形,还确实是有点神似。
巳蛇,识别为 garter snake - 袜带蛇,识别正确!加一分。
虽然我不知道什么事袜带蛇,但它说是,就是了。
午马,识别成 Mexican hairless - 墨西哥无毛犬,识别错误,减一分。
这个不应该的。
是不是因为这匹马身上太光滑,没有马儿们标志性的鬃毛么? 但是那飘逸的尾巴,也能说明问题啊。
未羊,识别成 ram - 公羊,算是识别正确吧。
我感觉识别出是绵羊更好一些。
申猴,识别出 macaque - 猕猴,识别正确,加一分。
看这身形和毛发,这么像猕猴桃,是猕猴了!
酉鸡,识别出 cock - 公鸡,识别正确,加一分。这个是送分题。
戌狗,识别出 Samoyed - 萨摩耶,识别正确,加一分。
这一身雪白的气质,小萨独有。
亥猪,识别出 hog - 猪,识别正确,加一分。
二师兄小时候,还是很可爱的。
优化完神经网络之后,识别这 12 张图片,总共花了十来分钟。
十二生肖,共 12 种动物类别,剔除“龙”这一项,因为模型分类中没有,其他11个分类,有两个识别错误,分别是老鼠识别成了水貂,骏马识别成了墨西哥无毛犬。
整体识别成功率 81%,还算不错,如果硬件的推理速度再快一些,OrangePi AIpro开发板将无敌