导读
2023年以ChatGPT为代表的大语言模型横空出世,它的出现标志着自然语言处理领域取得了重大突破。它在文本生成、对话系统和语言理解等方面展现出了强大的能力,为人工智能技术的发展开辟了新的可能性。同时,人工智能技术正在进入各种应用领域,在智慧城市、智能制造、智慧医疗、智慧农业等领域发挥着重要作用。
柴火创客2024年将依托母公司Seeed矽递科技在人工智能领域的创新硬件,与全球创客爱好者共建“模型仓”,通过“SenseCraft AI”平台可以让使用者快速部署应用体验人工智能技术!
本期介绍:模型案例:| 音频识别-报警器声音识别模型
Anaconda介绍
Anaconda,中文大蟒蛇,是一个开源的专注于数据分析的Python发行版本,包含了conda、Python等190多个科学包及其依赖项。
Anaconda可以便捷获取包且对包能够进行管理,包括了python和很多常见的软件库和一个包管理器conda。常见的科学计算类的库都包含在里面了,使得安装比常规python安装要容易,同时对环境可以统一管理的发行版本。
Anaconda对于python初学者而言及其友好,相比单独安装python主程序,选择Anaconda可以帮助省去很多麻烦,Anaconda里添加了许多常用的功能包,如果单独安装python,这些功能包则需要一条一条自行安装,在Anaconda中则不需要考虑这些,同时Anaconda还附带捆绑了两个非常好用的交互式代码编辑器(Spyder、Jupyter notebook)。
conda介绍
conda是一个包管理器,环境管理器。可以通过命令行(Anaconda prompt 或者终端)来使用它。在Windows中是Anaconda prompt,在Linux和macOS中是终端。
conda 是一个python项目,但是它支持的许多语言,例如: Python, R, Ruby, Lua, Scala, Java, JavaScript, C/ C++, FORTRAN。
报警器声音识别模型
在城市的道路上,有着各种特殊用途的汽车会发出不同的报警声,比如消防车报警的声音、救护车报警的声音、警车报警的声音是不一样的声音效果,对于一些听力受损的汽车驾驶员来说,希望能及时提醒驾驶员相关车辆正在接近,让驾驶员可以及时避让或减少发生事故的风险。
该模型用于对报警器声音的识别,采用MFCC识别技术,生成TensorFlow Lite INT8格式文件。
应用场景
家庭安全:通过识别烟雾报警器、煤气泄漏报警器等声音,及时通知用户或监控中心,提升家庭安全。
智能家居系统:集成在智能家居系统中,实时监测报警器的声音,自动执行相应的安全措施,比如联动打开窗户或启动排风扇。
工业安全:在工厂、仓库等场所,监测火灾报警器或者其他安全警报,确保在危险情况下能够快速响应。
车辆安全:在汽车中集成声音识别技术,识别防盗报警器的声音,并通知车主或采取自动防盗措施。
公共场所监控:在商场、机场等公共场所,实时监测报警声音,及时响应可能的安全事件,提高公共安全。
应急响应系统:与紧急服务系统(如警察、消防队)整合,能够快速识别报警信号,并自动联系相关部门。
健康监测:在老人院或护理机构,监测紧急报警器声音,确保老人的安全与健康,及时响应紧急情况。
识别模型Arduino 库文件下载
请在网盘中下载Arduino 库识别模型
https://share.weiyun.com/uh2s9DAU
模型推理Arduino程序下载
https://share.weiyun.com/cL8NDWS6
边缘端部署
可以将此模型直接部署在XIAO Esp32S3 Sense 开发板上,实现无网络环境下也能进行预测推理。
硬件清单
为了连接Oled显示屏,需要提前将XIAO ESP32S3(Sense)焊接上针脚,并按下图所示进行接线。
添加Arduino推理库文件
1、打开Arduino IDE软件,单击“工具” 》“导入库” 》“添加ZIP库”,如下图所示。
2、找到并选择报警器声音识别库文件,单击“打开”按钮,如下图所示。
3、推理库文件添加成功后,打开语音识别Arduino程序,添加此库文件到程序的头部,如下图所示。
4、打开PSRAM选项,设置好开发板类型和端口号后,即可上传程序了,如下图所示。
- 程序上传成功后,oled显示屏可以输出预测结果和置信率。可以输出两个结果:Noise 代表背景噪音,SIREN 代表报警器声音。也可以打开串口监视器,查看预测结果,如下图所示。
下面是上传成功后的演示视频:
报警声音识别
另,关于程序部署如果用到困难,建议先看一下此教程
具体部署教程参考如下:
https://wiki.seeedstudio.com/edgeimpulse/#fruit-identification-apples-bananas-grapes-arduino-library
原型设计
基于AI+硬件的思路,可以设计开发出一款在汽车上进行报警声音监测的边缘计算装置,并监测到报警声音后提醒驾驶员,也为其他开发者提供原型设计思路。
XIAO ESP32S3 Sense 套装介绍
XIAO ESP32S3(Sense)
强大的 MCU 板:集成ESP32S3 32 位双核 Xtensa 处理器芯片,运行频率高达 240 MHz,安装多个开发端口,支持 Arduino/MicroPython
高级功能:可拆卸OV2640相机传感器,分辨率为1600*1200,兼容OV5640相机传感器,集成附加数字麦克风
超强内存,带来更多可能性:提供 8MB PSRAM 和 8MB 闪存,支持 SD 卡插槽,用于外部 32GB FAT 内存
出色的射频性能:支持2.4GHz Wi-Fi和BLE双无线通信,连接U.FL天线时支持100m+远程通信
拇指大小的紧凑型设计:21 x 17.5mm,采用XIAO的经典外形,适用于可穿戴设备等空间有限的项目
来自 SenseCraft Al 的用于无代码部署的预训练 Al 模型。
写在最后
SenseCraft-AI平台的模型仓数量还很少,但是好消息是它支持自定义模型上传并输出推理结果,平台会逐渐增加模型仓的数量,敬请关注!