导读
2023年以ChatGPT为代表的大语言模型横空出世，它的出现标志着自然语言处理领域取得了重大突破。它在文本生成、对话系统和语言理解等方面展现出了强大的能力，为人工智能技术的发展开辟了新的可能性。同时，人工智能技术正在进入各种应用领域，在智慧城市、智能制造、智慧医疗、智慧农业等领域发挥着重要作用。
柴火创客2024年将依托母公司Seeed矽递科技在人工智能领域的创新硬件，与全球创客爱好者共建“模型仓”，通过“SenseCraft AI”平台可以让使用者快速部署应用体验人工智能技术！
本期介绍：模型案例：| 野生鸟类检测模型！
FairMot
FairMot追踪模型是一个目标追踪框架，旨在通过单次检测同时完成目标检测与行人识别（Re-ID）任务，以提高追踪的精度和速度。在多个MOT挑战赛数据集上，FairMot均表现出色，证明了其在实际应用中的有效性和优越性。
FairMOT模型采用DLA-34作为骨干网络，通过深层聚合技术融合多层特征，以增强对不同尺度目标的处理能力。采用anchor-free的检测方法，在特征图上直接预测目标中心点和边界框，同时并行地估计每个像素的Re-ID特征，用于区分不同目标。
这种设计使得模型能够更有效地平衡检测与Re-ID任务，从而在保持高追踪精度的同时，实现视频速率的实时推理。
FairMOT架构
选择ResNet-34作为基础网络框架，旨在高效平衡模型的精度与计算速度。为进一步提升特征表达能力，引入了增强版深层聚合（DLA）技术，将其融入ResNet-34中，构建了DLA-34模型。与原始的DLA设计不同，在DLA-34中增加了更多跨层级的跳跃连接，这一策略类似于特征金字塔网络（FPN）的构建思路，有效促进了低级与高级特征之间的深度融合与互补。
此外，为了提升模型对不同尺度与姿态目标的适应性，在所有上采样模块中引入了可变形卷积层，这些卷积层能够根据目标的实际大小和姿态动态调整其感受野，从而更精准地捕捉目标特征，同时也有效缓解了特征对齐问题。
在DLA-34骨干网络的顶部集成了3个并行的预测头，每个头分别专注于估计关键信息：
热图（heatmap）：用于定位目标中心；
对象中心偏移（center offset）：用于精细化中心位置；
边界框大小（bounding box size）：以准确描绘目标轮廓。这种设计不仅简化了检测流程，还提高了检测精度。
每个预测头的实现方式简洁而高效：首先，对DLA-34输出的特征图应用一个3×3的卷积层（包含256个通道），以进一步融合和增强特征；随后，通过一个1×1的卷积层，直接生成所需的预测结果。这种“先融合后预测”的策略，确保了每个预测头都能从丰富的多尺度特征中受益，从而提高了整体检测性能。
野生鸟类检测模型
该 AI 模型采用先进的 Swift yolo 算法，专注于野生鸟类识别，可以在实时视频流中准确检测和标记野生鸟类。它特别适用于 Seeed Studio Grove Vision AI （V2） 设备。
应用场景
生态监测：通过识别和监测鸟类种群，研究者可以评估生态环境健康和生物多样性。
保护工作：识别濒危鸟类，可以帮助制定保护措施，监测恢复计划的效果。
鸟类研究：科学家可以研究鸟类的行为、迁徙模式和栖息地选择，为生态学研究提供数据支持。
教育与公众参与：开发移动应用或在线平台，让公众参与鸟类观察和记录，提升人们对自然环境的关注。
农业管理：在农田中监测鸟类活动，了解鸟类对害虫控制的作用，促进可持续农业实践。
城市规划：城市生态评估中，鸟类的分布和种类可以影响城市设计和绿地规划。
鸟类迁徙跟踪：对迁徙鸟类进行实时监测，以了解气候变化对其迁徙模式的影响。
在Grove - Vision AI V2模块上部署此模型
- 打开SenseCraft AI平台，如果第一次使用请先注册一个会员账号，还可以设置语言为中文。
平台地址：https://sensecraft.seeed.cc/ai/#/model
2、在公共AI模型第11列表中找到【野生鸟类检测】模型，单击此模型图片，如下图所示。
3、进入【野生鸟类检测】模型介绍页面，单击“部署模型”按钮，如下图所示。
- 进入部署【野生鸟类检测】模型页面，按提示步骤先连接摄像头，再连接设备到电脑USB接口上，最后单击【连接设备】按钮，如下图所示。
5、弹出部署模型窗口，单击“确定”按钮，如下图所示。
6、弹出连接到串行端口窗口，选择端口号后单击“连接”按钮，如下图所示。
7、开始进行模型部署、固件下载、设备重启等过程，完后在预览中即可看到当前摄像头视频内容，在“设置”中调整置信率数值可以提供识别率，将摄像头对准野生鸟类相关的图片查看预测效果，如下图所示。
模型推理演示，请看如下视频。
AI模型野生鸟类检测
野生鸟类检测报警装置
硬件清单
保定学院韩君鑫同学利用Grove AI视觉模块V2 和XIAO ESP32S3开发板设计了一个鸟类检测远程报警系统，通过视觉识别技术、嵌入式硬件和云平台，实现对鸟类的准确识别和远程手机报警功能。
韩君鑫-智能化鸟类检测远程报警提醒系统
嵌入式神经网络处理器（NPU）
嵌入式神经网络处理器（NPU）是一种特别设计用于执行神经网络计算的高效率处理器。它主要基于数据驱动并行计算架构，特别擅长处理视频、图像等大量的多媒体数据。NPU模仿了生物神经网络的架构，与CPU、GPU相比，它能够通过更少的指令（一条或几条）完成神经元的处理，因此在深度学习的处理效率方面具有明显优势。
Grove Al视觉模块 V2套装介绍
Grove Al视觉模块 V2
OV5647-62摄像头
Grove - Vision Al Module V2是一款拇指大小的人工智能视觉模块, 配备Himax WiseEye2 HX6538处理器和Arm Ethos-U55嵌入式神经网络加速单元（NPU）, 该处理器采用 ArmCortex-M55双核架构。
它具有标准的CSI接口, 并与树莓派相机兼容。它有一个内置的数字麦克风和SD卡插槽。它非常适用于各种嵌入式视觉项目。
有了SenseCraft Al算法平台, 经过训练的ML模型可以部署到传感器, 而不需要编码。它兼容XIAO系列和Arduino生态系统, 是各种物体检测应用的理想选择。
主要硬件配置
- 板卡基于WiseEye2 HX6538处理器, 采用双核ARM Cortex-M55架构
- 配备集成Arm Ethos-U55嵌入式神经网络加速单元（NPU）, 兼容的树莓派相机
- 板载PDM麦克风, SD卡插槽, Type-C, Grove接口, 丰富的外设支持样机开发
- Seeed Studio XIAO的可扩展性, SenseCraft Al的现成AI模型用于无代码部署。
- 支持各种有效的模型, 包括MobilenetV1、MobilenetV2、 Eficientnet-Lite、Yolov5和Yolov8.
写在最后
SenseCraft-AI平台的模型仓数量还很少，但是好消息是它支持自定义模型上传并输出推理结果，平台会逐渐增加模型仓的数量，敬请关注！
