引言
本用户手册指导了基于 IDE 逐步构建用于 STM32 微处理器的完整人工智能(AI)项目,自动转换预训练好的神经网络(NN)并集成所生成的优化库。本手册还介绍了 X-CUBE-AI 扩展包,该扩展包与 STM32CubeMX 工具完全集成。本用户手册还介绍了可选插件式 AI 测试应用程序或者用于 AI 系统性能和验证的实用工具。
本文档的第一部分是快速生成 STM32 AI 项目的实践性学习。采用一个 NUCLEO-F746ZG 开发套件和公开的几个用于深度学习(DL)的模型作为实践范例。任何 STM32 开发套件或者基于 STM32F3、STM32F4、STM32L4STM32L4+、STM32F7、STM32H7 或 STM32WB 系列微控制器的客户板也可在稍作修改后使用。
本文档的第二部分详细说明了 X-CUBE-AI 自动生成的 NN 库,以及嵌入式客户端推理 API。这里还介绍了使用 X-CUBE-AI 实现AI 性能和验证,以及各种 DL 工具箱中使用的功能。
1 概述
X-CUBE-AI 扩展包专门用于基于 STM32 Arm® Cortex®-M 的 MCU 上运行的 AI 项目。
当前版本用户手册中的描述基于:
• X-CUBE-AI r3.3.0
• 嵌入式推理客户端 API 1.0.0
用于本文档中各示例的预训练 Keras DL 模型包括:
• https://github.com/Shahnawax/HAR-CNN-Keras:在 Keras 中利用 CNN 实现人类活动识别
• https://github.com/Shahnawax/KWS-ANN-KERAS:KWS-ANN-KERAS - 关键词识别
提示 Arm 是 Arm Limited(或其子公司)在美国和/或其他地区的注册商标。
1.1 STM32Cube™是什么?
STM32Cube™源自意法半导体,旨在通过减少开发工作量、时间和成本,明显提高设计人员的生产率。
STM32Cube™涵盖整个 STM32 产品系列。
STM32Cube™包括:
• 一套用户友好的软件开发工具,覆盖从构想到实现的整个项目开发过程,其中包括:
– STM32CubeMX 图形软件配置工具 STM32CubeMX,可通过图形向导自动生成初始化 C 代码。
– STM32CubeProgrammer(STM32CubeProg),图形版本和命令行版本中可用的编程工具。
– STM32CubeMonitor-Power(STM32CubeMonPwr),测量并帮助优化 MCU 功耗的监控工具。
• STM32Cube™ MCU 包,针对于每个微控制器系列的综合嵌入式软件平台(例如,STM32F4 系列的STM32CubeF4),它包括:
– STM32Cube™硬件抽象层(HAL),确保在 STM32 各个产品之间实现最大限度的可移植性。
– STM32Cube™底层 API,通过硬件提供高度用户控制,确保最佳性能和内存开销
– 一套一致的中间件,比如 RTOS、USB、TCP/IP 和图形。
– 配备完整外设和应用示例的全部嵌入式软件实用工具
1.2 X-CUBE-AI 如何补充 STM32Cube™?
X-CUBE-AI 通过提供在计算和存储器(RAM 和闪存)方面均已优化的自动神经网络库生成器扩展STM32CubeMX,该生成器将预训练的神经网络从最常用的 DL 框架(如 Caffe、Keras、Lasagne 和 ConvnetJS)转换为自动集成到最终用户项目的库。项目自动完成设置,准备好在 STM32 微控制器上进行编译和执行。X-CUBE-AI 还为项目创建添加特定 MCU 过滤,从而选择符合用户 NN 特定标准要求(如 RAM 或闪存大小)的正确设备,进而扩展 STM32CubeMX。
X-CUBE-AI 工具可生成三种项目:
• STM32 MCU 上运行的系统性能项目,可精确测量 NN 推理 CPU 负载和存储器使用情况
• 验证项目,在桌面 PC 和 STM32 Arm® Cortex®-M 的 MCU 嵌入式环境下递增地验证 NN 在随机或用户测试数
据激励下返回的结果。
• 应用模板项目,可构建包括多网络支持的应用程序
1.3 X-CUBE-AI 内核引擎
X-CUBE-AI 内核引擎,如图 1 和图 2 所示,是 X-CUBE-AI 扩展包的一部分,之后将在第 1.3 节 介绍。它提供一个自动且先进的 NN 映射工具,利用有限并受约束的硬件资源为嵌入式系统的预训练神经网络(DL 模型)生成并部署优化且稳定的 C 模型。生成的 STM32 NN 库(专用和通用部分)可直接集成到 IDE 项目或者基于 makefile 的构建系统。
还可导出定义明确且特定的推理客户端 API(参考第 8 节 嵌入式推理客户端 API),用于开发客户端基于AI 的应用程序。支持各种用于深入学习的框架(DL 工具箱)和层(参考第 12 节 支持的深度学习工具箱和层深度学习)。
配备一个简单的配置接口。使用预训练的 DL 模型文件时,仅需要较少的参数:
• 名称:表示生成的 C 模型的名称(默认值为“network”)
• 压缩:表示用于减小权重/偏差参数大小的压缩系数(参考第 6.1 节 图形流和存储器布局优化器)
• STM32 系列:选择优化的 NN 内核运行时库
图 2,总结了上传的 DL 模型和目标子系统运行时的主要支持功能。
• 仅支持简单的张量输入和简单的张量输出
– 4 维形状:批、高度、宽度、通道(参考第 8.1 节 输入和输出 x-D 张量布局)
– 仅浮点类型
• 仅支持 32 位浮点生成的 C 模型
– 生成过程块(参考第 6.1 节 图形流和存储器布局优化器)
– 通过结构保证预训练模型的精度
1.4 STM32CubeMX 扩展
STM32CubeMX 是用于 STM32 微处理器的软件配置工具。单击一下,它即可利用图形向导(如引脚分配冲突处理器、时钟树设置助手等)为 STM32 创建完整的 IDE 项目,包括生成用于设备和平台设置(引脚、时钟树、外设和中间件)的 C 初始化代码。
从用户的角度来看,集成 X-CUBE-AI 扩展包可以视为添加 IP 或中间件 SW 组件。基于 X-CUBE-AI 内核,提供了以下主要功能:
• 利用可选特定 AI 过滤器移除内存不足的设备,扩展 MCU 过滤器选择器。如启用,将直接滤除没有 Arm®Cortex®-M4 或-M7 内核的 STM32 设备。
• 提供完整的 AI UI 配置向导,可上传多个 DL 模型。包括在桌面 PC 和目标上对生成的 C 代码进行的验证过程。
• 扩展 IDE 项目生成器,辅助生成优化 STM32 NN 库并将其集成到选定 STM32 Arm® Cortex®-M 内核与 IDE。
• 可选插件式应用程序可生成完整的即用型 AI 测试应用程序项目,包括生成的 NN 库。用户必须已将其导入到首选 IDE 内,才能生成固件映像并进行刷写。最终用户无需附加代码或修改。
1.5 缩写、缩略语和定义
表 1 详细列出了本文档中所用的特定缩略词和缩写词。
1.6 先决条件
必须安装以下软件包(参考第 2 节 安装 X-CUBE-AI):
• STM32CubeMX 5.0.1 或更高版本
• 附加软件包 - STM32CubeMX AI 3.3.0 包
必须安装用于 STM32 的一个以下工具链或 IDE:
• TrueSTUDIO® 适用于 STM32 v9.0.1 或更高版本的 TrueSTUDIO®(atollic.com/truestudio)
• IAR Embedded Workbench™ IDE - ARM v8.x or v7.x(www.iar.com/iar-embeddedworkbench)
• µVision® V5.25.2.0 - Keil® MDK-ARM 专业版(www.keil.com)
• System Workbench for STM32(SW4STM32)
• GNU Arm Embedded Toolchain(developer.arm.com/open-source/gnu-toolchain/gnu-rm)
可以使用 STM32CubeMX 支持的所有操作系统:
• Windows® 10 和 Windows® 7
• Ubuntu® 18.4 和 Ubuntu® 16.4(或衍生版本)
提示 • macOS®(x64)(已在 OS X® El Capitan 和 Sierra 上测试)
1.7 Ubuntu®是 Canonical Ltd.的注册商标
macOS®和 OS X®是苹果公司在美国及其他国家注册的商标。
授权
X-CUBE-AI 根据 Mix Ultimate Liberty+OSS+3rd-party V1 软件许可协议(SLA0048)交付。
登录大大通,了解更多详情,解锁1500+完整应用方案,更有大联大700+FAE在线答疑解惑!