模型案例：| SenseCraft Al平台模型训练与部署

导读

2023年以ChatGPT为代表的大语言模型横空出世，它的出现标志着自然语言处理领域取得了重大突破。它在文本生成、对话系统和语言理解等方面展现出了强大的能力，为人工智能技术的发展开辟了新的可能性。同时，人工智能技术正在进入各种应用领域，在智慧城市、智能制造、智慧医疗、智慧农业等领域发挥着重要作用。

柴火创客2024年将依托母公司Seeed矽递科技在人工智能领域的创新硬件，与全球创客爱好者共建“模型仓”，通过“SenseCraft AI”平台可以让使用者快速部署应用体验人工智能技术！

本期介绍：模型案例：| SenseCraft Al平台模型训练与部署

经典CNN卷积神经网络架构

卷积神经网络（Convolutional Neural Network，简称CNN）是一种深度学习算法，广泛应用于图像识别、视频分析、自然语言处理等领域。

卷积神经网络的基本结构包括输入层、卷积层、激活函数、池化层和全连接层。卷积层通过滑动窗口的方式对输入数据进行局部感知和特征提取，池化层则进行下采样，减少参数数量，降低计算复杂度。激活函数引入非线性，增强模型的表达能力。全连接层则将前面提取的特征进行整合，输出最终的预测结果。

LeNet-5架构

LeNet由Yann Lecun 提出，是一种经典的卷积神经网络，是现代卷积神经网络的起源之一。它于1998年推出，广泛用于手写方法数字识别。

LeNet-5 有 2 个卷积层和 3 个完整层，LeNet-5架构有60,000个参数。

LeNet-5 能够处理需要更大、更多 CNN 卷积层的更高分辨率图像。

AlexNNet架构

AlexNet CNN 架构在 2012 年 ImageNet ILSVRC 深度学习算法挑战赛中以较大的方差获胜，达到了 17%，而排名第二的 top-5 错误率达到了 26%！

它是由 Alex Krizhevsky（创始人姓名）、Ilya Sutskever 和 Geoffrey Hinton 引入的，与 LeNet-5 非常相似，只是更大更深，并且它首先被引入将卷积层直接堆叠在彼此模型之上，而不是在 CN 网络卷积层上堆叠一个池化层。

AlexNNet 有 6000 万个参数，因为 AlexNet 总共有 8 层，5 个卷积层和 3 个全连接层。

AlexNNet 首次将（ReLU）整流线性单元作为激活函数，这是第一个使用GPU来提高性能的CNN架构。

GoogleNet架构

GoogLeNet，也被称为 Inception-v1，是由 Google 的研究人员设计的一种深度卷积神经网络（CNN），并在 2014 年的 ImageNet 大规模视觉识别挑战赛（ILSVRC 2014）中获得了第一名。GoogLeNet 的主要设计目标是在不显著增加计算成本的前提下，提高网络的深度和宽度，从而提高模型的准确率。GoogleNet 的参数比 AlexNet 少，比例为 10:1（大约 600 万而不是 6000 万）

ResNet架构

残差网络 (ResNet)是 ILSVRC 2015 挑战赛的获胜者，由 Kaiming He 开发，其 CNN 深度极深由 152 层组成，训练如此深度网络的一个重要因素是使用跳跃连接（也称为快捷连接），进入某一层的信号被添加到堆栈中更高层的输出中。

训练神经网络时，目标是让它复制目标函数 h(x)，通过将输入 x 添加到网络的输出（跳过连接），网络可以建模 f(x) = h(x) – x，这种技术称为残差学习。

DenseNet架构

DenseNet是指Densely connected convolutional networks(密集卷积网络)。它的优点主要包括有效缓解梯度消失、特征传递更加有效、计算量更小、参数量更小、性能比ResNet9 更好。它的缺点主要是较大的内存占用。

DenseNet从特征入手，通过对前面所有层与后面层的密集连接，来极致利用训练过程中的所有特征，进而达到更好的效果和减少参数。

SenseCraft Al平台

SenseCraft Al平台，是柴火母公司矽递科技旗下的AI平台，支持Grove-Vision AI V2和XIAO ESP32S3 Sense和NVIDlA Jetson设备的模型部署、模型训练和数据输出。SenseCraft Al平台为使用者提供海量模型，简化模型训练过程并提供专业的AI视觉工作空间。

在Grove - Vision AI V2模块上训练和部署模型

SenseCraft Al平台提供和简单、方便的AI模型训练和部署功能，可以让技术小白也能快速进行特定场景的AI模型训练和部署，下面以我办公桌上常用到的剪刀和马克笔为例，设计一个分类识别模型，并部署到Grove - Vision AI V2模块，并在SenseCraft Al平台显示预测结果。

打开SenseCraft AI平台，如果第一次使用请先注册一个会员账号，还可以设置语言为中文，在顶部菜单栏单击【模型训练】选项，如下图所示。

平台地址：https://sensecraft.seeed.cc/ai/#/model

2、进入【模型训练】页面后单击左侧的【分类识别类别】选项，如下图所示。

3、将Grove - Vision AI V2模块先连接到电脑的USB接口上，在右侧可以看到“Webcam”选项，单击此下拉菜单选择“Grove Vision AI （V2）”，如下图所示。

选择完成后单击【连接】按钮，弹出连接到串口窗口选中端口号后单击【连接】按钮，如下图所示。

5、设备连接后可以在右边看到视频预览窗口，左侧有两个默认的Class1和Class2类别名称，单击修改图标可以修改类别名称，如果有多个类别可以单击底部的【添加类别】按钮，如下图所示。

6、这里设置三个类别分别是：剪刀（scissor）、马克笔（marker）、其他（other），如下图所示。

7、选中剪刀（scissor）类别，会显示为绿色边框，将Grove - Vision AI V2模块的摄像头对准要采集的剪刀图片后按下【按住可录制】按钮，就会能采集多个剪刀图片，这里采集了31张图片，也可根据需要多采集不同形态的图片，如下图所示。

8、接着选中马克笔（marker）类别，先单击【停止预览】按钮，在单击【开启预览】按钮这样视频预览窗口就可以重新工作了，如下图所示。

选中马克笔（marker）类别，将Grove - Vision AI V2模块的摄像头对准要采集的马克笔图片后按下【按住可录制】按钮，这样就可以采集马克笔的图片了，如下图所示。

选中其他（other）类别并重新启动下预览功能，采集些桌面上其他图片，如下图所示。

11、三个类别的图片素材采集完成后，在第二步：模型训练中单击“高级设置”可以设置周期数、批次大小和学习速率参数设置选项，根据需要调整相应的参数。比如预测结果不好可以增加训练周期数，这里采用默认设置。最后，单击【开始训练】按钮，注意设备类型要选中“Grove - Vision AI V2”如下图所示。

12、可以看到训练的进度，如下图所示。

13、模型训练结束后，会有显示训练完后，在右侧“效果预览”中可以看到预测的结果，单击【停止预览】后再单击【启动预览】即可重新打开摄像头功能，这样就可以对准剪刀和马克笔来预测下结果，如下图所示。

14、单击“点击此处”前往使用模型，如下图所示。

15、进入“模型列表”中，先选择设备类型，再选择Grove - Vision AI V2，选中新训练的模型文件，单击【部署到设备】按钮，如下图所示。

16、进入部署模型窗口，单击【确定】按钮，如下图所示。

17、弹出连接串口窗口，选中串口号后单击【确定】按钮，如下图所示。

等待一段时间后，进行烧录和部署模型，将Grove - Vision AI V2对准剪刀或马克笔后在预览中可以看到预测结果，如下图所示。

模型推理演示，请看如下视频。

AI模型训练与应用 - 剪刀与马克笔分类预测

嵌入式神经网络处理器（NPU）

嵌入式神经网络处理器（NPU）是一种特别设计用于执行神经网络计算的高效率处理器。它主要基于数据驱动并行计算架构，特别擅长处理视频、图像等大量的多媒体数据。NPU模仿了生物神经网络的架构，与CPU、GPU相比，它能够通过更少的指令（一条或几条）完成神经元的处理，因此在深度学习的处理效率方面具有明显优势。