导读
2023年以ChatGPT为代表的大语言模型横空出世，它的出现标志着自然语言处理领域取得了重大突破。它在文本生成、对话系统和语言理解等方面展现出了强大的能力，为人工智能技术的发展开辟了新的可能性。同时，人工智能技术正在进入各种应用领域，在智慧城市、智能制造、智慧医疗、智慧农业等领域发挥着重要作用。
柴火创客2024年将依托母公司Seeed矽递科技在人工智能领域的创新硬件，与全球创客爱好者共建“模型仓”，通过“SenseCraft AI”平台可以让使用者快速部署应用体验人工智能技术！
本期介绍：模型案例：| 网球识别模型
ONNX
ONNX，即 Open Neural Network Exchange ，是微软和 Facebook 发布的一个深度学习开发工具生态系统，旨在让 AI 开发人员能够随着项目发展而选择正确的工具。
ONNX 是一个用于表示机器学习模型的开放格式。它定义了一组通用的算子，这些算子是机器学习和深度学习模型的构建块。ONNX 允许您在不同的机器学习框架之间交换模型，例如 TensorFlow、PyTorch 和 MXNet。
ONNX 所针对的是深度学习开发生态中最关键的问题之一，在任意一个框架上训练的神经网络模型，无法直接在另一个框架上用。开发者需要耗费大量时间精力把模型从一个开发平台移植到另一个。因此，如何实现不同框架之间的互操作性，简化从研究到生产的路径，成为了重中之重。
ONNX 的工作原理
实时跟踪某个神经网络是如何在这些框架上生成的，接着，使用这些信息创建一个通用的计算图，即符合 ONNX 标准的计算图。这样做行得通，是因为在计算方面，这些框架产生的最终结果都非常接近，虽然更高级的表达不同。
ONNX 目前支持 Caffe2、PyTorch、Microsoft Cognitive Toolkit、Apache MXNet 等工具。
ONNX 的优势
跨平台兼容性：ONNX 允许在不同的深度学习框架之间共享模型，支持多种框架如 PyTorch、TensorFlow 和 MXNet。
优化性能：ONNX 提供了优化工具，可以在不同硬件上提高模型的推理性能，支持 CPU、GPU 和其他加速器。
简化部署：通过使用 ONNX，开发者可以将模型从训练环境轻松迁移到生产环境，减少了部署的复杂性。
丰富的生态系统：ONNX 拥有广泛的社区支持和工具生态系统，包括模型转换工具、推理引擎和优化库。
标准化：ONNX 提供了一种标准化的方式来表示机器学习模型，使得模型的共享和重用变得更加容易。
支持多种算子：ONNX 定义了一组通用的算子，支持多种机器学习任务，包括图像处理、自然语言处理等。
网球识别模型
该 AI 模型由 Yolo-Word 算法生成，专为 Seeed Studio Grove Vision AI （V2） 设备设计，能够高效识别和检测网球。
应用场景
此 AI 模型解决了自动识别网球对象的需求，在运动分析、训练和广播等场景中提供了显著的优势。通过实施此模型，用户可以实现对网球物体的实时检测和监控，从而提高运营效率，并提供对球员表现和比赛动态的宝贵见解。
在体育分析：用于跟踪和分析球员的运动和球的轨迹，
在训练环境：提供即时反馈和改进球员技术
在视频监测：通过实时对象识别和跟踪来增强观众体验。
该模型优化了流程，减少了人工干预的需要，并确保准确可靠地识别网球物体，从而提高了整体生产力和运营可靠性。
在Grove - Vision AI V2模块上部署此模型
1、打开SenseCraft AI平台，如果第一次使用请先注册一个会员账号，还可以设置语言为中文。平台地址：https://sensecraft.seeed.cc/ai/#/model
2、在公共AI模型第2列表中找到【网球检测】模型，单击此模型图片，如下图所示。
3、进入【网球检测】模型介绍页面，单击“部署模型”按钮，如下图所示。
- 进入部署“网球检测”模型页面，按提示步骤先连接摄像头，再连接设备到电脑USB接口上，最后单击【连接设备】按钮，如下图所示。
5、弹出部署模型窗口，单击“确定”按钮，如下图所示。
6、弹出连接到串行端口窗口，选择端口号后单击“连接”按钮，如下图所示。
7、开始进行模型部署、固件下载、设备重启等过程，完后在预览中即可看到当前摄像头视频内容，在“设置”中调整置信率数值可以提供识别率，将摄像头对准网球相关的图片查看预测效果，如下图所示。
模型推理演示
AI模型案例 - 网球识别模型
嵌入式神经网络处理器（NPU）
嵌入式神经网络处理器（NPU）是一种特别设计用于执行神经网络计算的高效率处理器。它主要基于数据驱动并行计算架构，特别擅长处理视频、图像等大量的多媒体数据。NPU模仿了生物神经网络的架构，与CPU、GPU相比，它能够通过更少的指令（一条或几条）完成神经元的处理，因此在深度学习的处理效率方面具有明显优势。
Grove Al视觉模块 V2套装介绍
Grove Al视觉模块 V2
OV5647-62摄像头
Grove - Vision Al Module V2是一款拇指大小的人工智能视觉模块, 配备Himax WiseEye2 HX6538处理器和Arm Ethos-U55嵌入式神经网络加速单元（NPU）, 该处理器采用 ArmCortex-M55双核架构。
它具有标准的CSI接口, 并与树莓派相机兼容。它有一个内置的数字麦克风和SD卡插槽。它非常适用于各种嵌入式视觉项目。
有了SenseCraft Al算法平台, 经过训练的ML模型可以部署到传感器, 而不需要编码。它兼容XIAO系列和Arduino生态系统, 是各种物体检测应用的理想选择。
主要硬件配置
- 板卡基于WiseEye2 HX6538处理器, 采用双核ARM Cortex-M55架构
- 配备集成Arm Ethos-U55嵌入式神经网络加速单元（NPU）, 兼容的树莓派相机
- 板载PDM麦克风, SD卡插槽, Type-C, Grove接口, 丰富的外设支持样机开发
- Seeed Studio XIAO的可扩展性, SenseCraft Al的现成AI模型用于无代码部署。
- 支持各种有效的模型, 包括MobilenetV1、MobilenetV2、 Eficientnet-Lite、Yolov5和Yolov8.
写在最后
SenseCraft-AI平台的模型仓数量还很少，但是好消息是它支持自定义模型上传并输出推理结果，平台会逐渐增加模型仓的数量，敬请关注！
