前言

最近入手了一块香橙派（Orange Ai Pro）的板子，他们的口号是：为AI而生，这让一个算法工程师按捺不住了， 之前主要是在RKNN和ESP32等设备上部署AI模型，看到官方介绍的强大AI算力，很想知道能否满足工作生活中的实时视频流模型部署，也为未来公司的战略部署多做一份准备。

AIpro是一款采用昇腾AI技术路线的强大开发板，配备4核64位处理器， 8GB的LPDDR4X内存，就足以满足大部分的AI推理应用场景，AI Pro 配备8TOPS-12TOPS的AI算力，相当于英伟达的RTX3080显卡，同时很多车企早期L2级自动驾驶的算力需求也才2-2.5TOPS,所以在AI 算力方面完全是充足的。

同时开发板支持外接eMMC模块，从32GB到256GB， 充足的存储空间能够满足日常开发所需。

AI Pro还支持外接4K的高清显示器，能够利用HDMI帮我们更好的可视化操作，大大提升了开发体验，只需要自带一个小的显示屏，便可以做一台便携mini电脑。

更多的开发板信息可以参考下面的这个硬件配置图

准备

1. 一块Orange Ai Pro
   相关的硬件资料可参考：Orange Ai Pro 介绍和应用
   购买地址： 淘宝 、京东

2. 一个USB 摄像头
   主要用于实时检测素材

3. 外接鼠标、键盘

4. 显示器
   用于可视化操作Orange Ai Pro

镜像烧录

需要下载官方的烧录工具， 将镜像烧录到存储卡内，官方镜像地址：下载地址

开机登录

接好设备后，就可以点击开机按钮， 我这边的设备主要是1个摄像头，1块32G的存储卡，系统这边用的是Ubuntu系统，比较适合个人的习惯

环境准备

配置编译依赖的头文件与库文件路径

export DDK_PATH=/usr/local/Ascend/ascend-toolkit/latest 
export NPU_HOST_LIB=$DDK_PATH/runtime/lib64/stub

安装ACLLite库和ffmpeg

Tips: ACLLite是必备的库文件

apt-get install ffmpeg libavcodec-dev libswscale-dev libavdevice-dev

获取ACLLite 源码

git clone https://gitee.com/ascend/ACLLite.git

进入到项目目录进行编译, 会编译到上面设置的lib 目录

bash build_so.sh

到这里环境的基本配置已经完成了，接下来就是代码的准备和编译了

官方的Ai Demo项目

git clone https://gitee.com/ascend/EdgeAndRobotics.git

这是官方提供的sample demo ，里面有基础的图像检测，分类，人脸识别等demo，可以帮助我们快速上手，同时也适合在源码上根据需要进行二次修改。

模型转换

Orange Ai pro 需要的是.om的格式，我们需要把pt 的模型转成onnx 再利用平台的 Atc工具转成.om的格式

什么是ATC
昇腾张量编译器（Ascend Tensor Compiler，简称ATC）是昇腾CANN架构体系下的模型转换工具，类似RKNN或hisi 都有自己处理器需要的模型格式，CANN架构也不例外。

• 它可以将开源框架的网络模型（例如TensorFlow、ONNX等）转换为昇腾AI处理器支持的模型文件（.om格式），用于后续的模型推理

• 它可以将基于Ascend IR定义的单算子描述文件（*.json格式）转换为昇腾AI处理器支持的模型文件（.om格式），后续在整网中验证算子功能

如何转换

atc --model=yolov5s.onnx --framework=5 --output=yolov5s --input_shape="images:1,3,640,640"  --soc_version=Ascend310B4  --insert_op_conf=aipp.cfg

–framework：原始网络模型框架类型，5表示onnx。
–soc_version：模型转换时昇腾AI处理器的版本，例如Ascend310B1。
–model：原始网络模型文件，含扩展名。
–weight：原始网络模型权重文件路径，含文件名，仅当原始网络模型是Caffe时需要指定。
–output：转换后的*.om模型文件路径，含文件名，转换成功后，模型文件名自动以.om后缀结尾
–insert_op_conf: 模型相关的配置文件，包含图像大小，预处理等参数

tips: 内存小于8G最好将atc 的进程数减少，否则转换可能会报错

export TE_PARALLEL_COMPILER=1
export MAX_COMPILE_CORE_NUMBER=1

你也可以下载官方的yolov5 模型

#下载yolov5s的模型和转换模型
wget https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/003_Atc_Models/yolov5s/yolov5s.onnx --no-check-certificate
wget https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/003_Atc_Models/yolov5s/aipp.cfg --no-check-certificate

搭建Orange Ai Pro 垃圾检测项目

在源码demo中，进入到/ Samples / YOLOV5USBCamera / python/src中，可以看到核心的实现代码， 基本上官方已经很好的把模型的加载和推理等模块， 只需要稍加修改就能变成自己需要的。

class sampleYOLOV7(object):
    '''load the model, and do preprocess, infer, postprocess'''
    def __init__(self, model_path, model_width, model_height):
        self.model_path = model_path
        self.model_width = model_width
        self.model_height = model_height

    def init_resource(self):
        # initial acl resource, create image processor, create model
        self._resource = AclLiteResource()
        self._resource.init()
    
        self._dvpp = AclLiteImageProc(self._resource) 
        self._model = AclLiteModel(self.model_path)

    def preprocess(self, frame):
        # resize frame, keep original image
        self.src_image = frame
        self.resized_image = cv2.resize(frame, (self.model_width, self.model_height))

    def infer(self):
        # infer frame
        image_info = np.array([640, 640,
                            640, 640],
                            dtype=np.float32)
        self.result = self._model.execute([self.resized_image, image_info])

也可以参考这个官方项目： https://gitee.com/ascend/samples/tree/master/python/contrib/garbage_picture

模型准备

利用yolov5 代码训练出垃圾分类的模型， yolov5 源码可以在github 下载。
我这里是利用了之前公司做的垃圾分类数据集训练的垃圾分类模型，训练数据总共19000张，验证集3000张，准确率92%。

运行export导出onnx模型，拷贝到orange ai pro里。

转换模型

将我们的模型转成om的格式，参考上面的模型转换内容。

这里可以直接用官方的python版本进行修改

/home/HwHiAiUser/project/EdgeAndRobotics/Samples/YOLOV5USBCamera/python/

编写index.py， 加入自己的预处理和后处理逻辑

def preprocess_image(image, cfg, bgr2rgb=True):
    """图片预处理"""
    img, scale_ratio, pad_size = letterbox(image, new_shape=cfg['input_shape'])
    if bgr2rgb:
        img = img[:, :, ::-1]
    img = img.transpose(2, 0, 1)  # HWC2CHW
    img = np.ascontiguousarray(img, dtype=np.float32)
    return img, scale_ratio, pad_size


def draw_bbox(bbox, img0, color, wt, names):
    """在图片上画预测框"""
    det_result_str = ''
    for idx, class_id in enumerate(bbox[:, 5]):
        if float(bbox[idx][4] < float(0.05)):
            continue
        img0 = cv2.rectangle(img0, (int(bbox[idx][0]), int(bbox[idx][1])), (int(bbox[idx][2]), int(bbox[idx][3])),
                             color, wt)
        img0 = cv2.putText(img0, str(idx) + ' ' + names[int(class_id)], (int(bbox[idx][0]), int(bbox[idx][1] + 16)),
                           cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 0, 255), 1)
        img0 = cv2.putText(img0, '{:.4f}'.format(bbox[idx][4]), (int(bbox[idx][0]), int(bbox[idx][1] + 32)),
                           cv2.FONT_HERSHEY_SIMPLEX, 0.5, (0, 0, 255), 1)
        det_result_str += '{} {} {} {} {} {}\n'.format(
            names[bbox[idx][5]], str(bbox[idx][4]), bbox[idx][0], bbox[idx][1], bbox[idx][2], bbox[idx][3])
    return img0

在完成推理后，输出模型的推理结果同时保存推理图像

3
有害垃圾
1
厨余垃圾
2
其他垃圾
4
可回收垃圾
1
厨余垃圾
4
可回收垃圾

经过测试发现，推理一张图像耗费的时间大约为16-20ms之间，后续还有优化的空间

 handler img 18.02ms
 hanlder img 16.01ms
 handler img 19.92ms

使用总结

1、开发流程和官方文档较为完善，整个流程还是比较顺畅的，降低了使用的学习成本。
2、同时在AI算力上，推理的速度也非常给力，npu的推理速度可以满足大部分的实时处理需求，能够满足我做一些diy的智能家居方向。
3、丰富的硬件功能，Orang ai pro 配备了丰富的硬件接口，给开发更复杂的AI应用提供了更多可能性。

总体来说，Orang AI Pro 强大的AI能力和便捷的使用体验，还是给我留下了美好的印象，未来我也希望能通过Orange AI Pro 创作出更多的AI应用。