【机器学习】TinyML的介绍以及在运动健康领域的应用

news2024/11/25 3:31:44

🧑 作者简介：阿里巴巴嵌入式技术专家，深耕嵌入式+人工智能领域，具备多年的嵌入式硬件产品研发管理经验。

📒 博客介绍：分享嵌入式开发领域的相关知识、经验、思考和感悟,欢迎关注。提供嵌入式方向的学习指导、简历面试辅导、技术架构设计优化、开发外包等服务，有需要可私信联系。

🗄️ 专栏介绍：本文归属于专栏《嵌入式解决方案》，专注嵌入式开发中的解决方案，持续更新中，欢迎大家免费订阅关注。

TinyML的介绍以及在运动健康领域的应用

  • 1. 机器学习是什么解决什么问题？
    • 1.1 机器学习是什么？
    • 1.2 解决什么问题？
    • 1.3 有什么解决方案？
  • 2. TinyML简介
    • 2.1 什么是TinyML
    • 2.2 TinyML优势和局限
      • 2.2.1 TinyML的优势
      • 2.2.2 TinyML的局限
    • 2.3 TinyML为什么可以做得很小
      • 2.3.1 Quantization(模型量化)
      • 2.3.2 Weight Pruning(权重稀疏)
      • 2.3.3 Knowledge Distillation (知识蒸馏)
    • 2.4 TinyML核心组件
  • 3. TinyML Workflow
    • 3.1 TinyML模型选择
    • 3.2 TinyML模型转换
    • 3.3 TinyML模型性能评估和优化
  • 4. TinyML应用场景
  • 5. TinyML在运动健康领域的实践
    • 5.1 运动健康领域的应用场景
    • 5.2 实践操作步骤
      • 5.2.1 运动数据/姿态数据采集
      • 5.2.2 运动模型训练
      • 5.2.3 模型训练结果分析
      • 5.2.4 TinyML在嵌入式芯片上的移植应用
  • 6. 总结

1. 机器学习是什么解决什么问题？

1.1 机器学习是什么？

  • 涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。
  • 深度学习是机器学习领域中的一个研究方向。

1.2 解决什么问题？

  • 分类问题：图像识别，分类，垃圾邮件识别等
  • 回归问题：根据数据样本的特征，预测一个连续值的结果，例如股票预测，销量预测，图像分割。
  • 聚类问题（无监督学习）：新闻分类

1.3 有什么解决方案？

  • DNN（Deep Neural Network）深度神经网络
  • CNN（Convolutional Neural Network）卷积神经网络，处理图像分类，特征提取
  • RNN(Recurrent Neural Network）循环神经网络，处理自然语言，语音数据，手势姿态等
    在这里插入图片描述

2. TinyML简介

2.1 什么是TinyML

在这里插入图片描述

随着深度学习技术的发展，已有数种深度学习框架，例如TensorFlow、Caffe、Caffe2、Theano、Torch、MXNet和CNTK，支持卷积神经网络、递归神经网络等模型结构。

其中，TensorFlow由Google Brain团队的研究员和工程师研发，已成为业界最受欢迎的机器学习项目。TensorFlow框架的优秀特性，主要包括：

  • 支持异构设备的分布式计算，可有效地利用机器资源进行模型训练。
  • 支持卷积、循环神经等网络结构，这些都是在计算机视觉、语音识别、自然语言处理方面最流行的深度神经网络。
  • 支持模型从研究团队到生产环境的快速迁移，构建起模型研究到生产使用的桥梁。
  • 支持移动端开发，及智能终端产品的嵌入式开发。
  • 具备出色的版本管理和详细的官方文档，模型众多，生态系统比较完备。

而TensorFlow Lite 是 TensorFlow 的轻量级版本，专为移动和嵌入式设备设计。它优化了模型的大小和运行效率，使得深度学习模型可以在资源有限的设备上运行，如智能手机、平板电脑和IoT设备。TFLite 允许开发者将训练好的TensorFlow模型转换为一个优化的格式，以便在这些设备上实时运行。

TinyML（Machine Learning with TensorFlow Lite on Arduino and Ultra-Low-Power Microcontrollers（基于Arduino和超低功耗微控制器的TensorFlow Lite机器学习））是指在极低功耗的微控制器和其他小型计算设备上运行的机器学习应用。这通常涉及到将已经训练好的机器学习模型压缩和优化，以使其适应更小的内存和处理能力。TinyML 的目标是在这些设备上实现AI功能，同时保持低能耗和低成本。虽然TinyML不是一个具体的产品或库，但TensorFlow Lite for Microcontrollers（一个TFLite的分支）是专门针对微控制器优化的，常被用在TinyML项目中。

2.2 TinyML优势和局限

2.2.1 TinyML的优势

在这里插入图片描述

  • 模型精简，低算力，低功耗
  • 数据不上云，本地处理，对数据隐私有保护作用
  • 数据本地处理，不上云，反应及时，低时延
  • 模型精简，模型体积比较小，适用大多数微处理器
  • 在保证模型体积小的基础上，能够满足精度需求

2.2.2 TinyML的局限

由于MCU性能有限，所以TinyML的应用领域、性能、效率方面相比TensorFlow是有一定局限性的，比如：

应用领域微控制器上的TinyML服务器上的TensorFlow
异常检测能，模型尺寸有限能，大模型
图像识别能，分辨率和实时性不强能，分辨率和实时性不强
语音识别仅能识别唤醒词/命令词全自然语言处理

2.3 TinyML为什么可以做得很小

TensorFlow为了能够运行到微控制上，主要做了下面3方面的优化：

  • Quantization 模型量化，减小模型体积，提高运行速度
  • Weight Pruning 剪枝，减少神经元，减少通道数
  • Knowledge Distillation 知识蒸馏，知识迁移

2.3.1 Quantization(模型量化)

在这里插入图片描述
模型量化即以较低的推理精度损失将连续取值（或者大量可能的离散取值）的浮点型模型权重或流经模型的张量数据定点近似（通常为int8）为有限多个（或较少的）离散值的过程，它是以更少位数的数据类型用于近似表示32位有限范围浮点型数据的过程，而模型的输入输出依然是浮点型，从而达到减少模型尺寸大小、减少模型内存消耗及加快模型推理速度等目标。

主要目的：把float类型转化为int型，降低模型内存大小

量化参数： DEFAULT, OPTIMIZE_FOR_SIZE, OPTIMIZE_FOR_LATENCY

2.3.2 Weight Pruning(权重稀疏)

在这里插入图片描述
模型剪枝可以帮助使模型的表示更紧凑。从广义上讲，剪枝试图去除对输出预测没有多大用处的神经元。

这通常与较小的神经权重相关联，而较大的权重由于在推理过程中的重要性而保持不变。

然后在剪枝后的体系结构上重新训练网络，以微调输出。
主要手段：通道剪枝，神经元剪枝。

2.3.3 Knowledge Distillation (知识蒸馏)

在这里插入图片描述
“Teacher”是一个经过训练的神经网络模型。教师的任务是将其“知识”转移到参数较少的较小网络模型“student”。

该过程用于将相同的知识存储在较小的网络中，提供了一种压缩知识表示的方法，从而压缩了神经网络的大小，从而可以将其用于更多内存受限的设备上。

2.4 TinyML核心组件

在这里插入图片描述

  • Converter

    1. 将TF模型转化为TFLite模型
    2. 减少模型体积，保持模型精度。

  • Interpreter

    1. 支持多系统
    2. 透出标准API
    3. 解析TFLite模型

3. TinyML Workflow

在这里插入图片描述

3.1 TinyML模型选择

  • 预训练模型
    • 图像分类
    • 物体检测
    • 智能回复
    • 姿态估计
    • 语义分割
  • 重新训练模型
    • 迁移学习
    • 重新训练已有模型
  • 自训练模型
    • 自主化训练

3.2 TinyML模型转换

在这里插入图片描述

3.3 TinyML模型性能评估和优化

在这里插入图片描述

  • TinyML性能评估
    模型进行性能分析和基准测试。TensorFlow Lite 基准测试工具有内置的性能分析器，可展示每个算子的性能分析数据。这能帮助理解性能瓶颈，以及哪些算子占据了大部分计算时间。

  • TinyML模型优化
    Tensorflow提供了优化工具包，主要是通过模型量化，剪枝，聚类的方式进行优化。

4. TinyML应用场景

  • 语音识别类

    • 唤醒词/命令词识别：唤醒词训练和识别
    • 哭声检测：

  • 运动健康类

    • 运动检测：羽毛球，足球，游泳等运动模式检测
    • 健康监控：心率，血氧，呼吸统计，饮水提醒，久坐提醒
    • 疾病防治：监控血糖，自动释放胰岛素

  • 物体识别类

    • 物体识别：野生环境生物识别
    • 人脸识别：统计人流量

  • 农业，智慧城市

    • 精细化灌溉，施肥，病虫害防治，城市环境，空气质量监控等

5. TinyML在运动健康领域的实践

5.1 运动健康领域的应用场景

在这里插入图片描述

  • 健康监控
    识别低头，抬头，运动动作，并统计时间，对健康数据进行统计展示，为健康建议提供数据。
  • 久坐提醒
    统计久坐时长，统计时长，在1个小时时间内，低头时间超过40分钟，发送健康提醒。
  • 接听/挂断电话
    当电话接入时，收到广播，开始进行点头和摇头动作识别，识别导点头，接听电话，识别导摇头，挂断电话。
  • 运动健康训练
    识别点头，抬头，颈部左移动，颈部右移动动作。统计次数，完成运动指标。

5.2 实践操作步骤

在这里插入图片描述

5.2.1 运动数据/姿态数据采集

通过特定应用程序，在设备端数据采集，并保存为csv文件
在这里插入图片描述
在这里插入图片描述

5.2.2 运动模型训练

运动模型训练工具是在线训练，利用已有的训练模型，上传本地采集的数据进行训练。训练工具地址：https://colab.research.google.com/github/tensorflow/docs/blob/master/site/en/tutorials/audio/simple_audio.ipynb
，数据训练集：
http://download.tensorflow.org/models/tflite/magic_wand/data.tar.gz。
在这里插入图片描述

5.2.3 模型训练结果分析

  • 训练结果符合预期
    在这里插入图片描述在这里插入图片描述

  • 训练结果不符合预期

在这里插入图片描述
在这里插入图片描述

5.2.4 TinyML在嵌入式芯片上的移植应用

  • 代码下载
    https://github.com/tensorflow/tflite-micro.git
    下载tflite-micro 仓库代码
  • 代码编译
    • Toolchain指定
      在cortex_m_generic_makefile.inc 中指定编译器的路径
    • 编译
      make -f tensorflow/lite/micro/tools/make/Makefile TARGET=cortex_m_generic TOOLCHAIN=gcc TARGET_ARCH=cortex-m33
    • 产物
      libtensorflow-microlite.a
  • 训练生成物
    20K大小的模型model.cc （xxd -i model.tflite > /content/model.cc）
  • 实际运行
    模型替换，代码添加到工程，调用入口函数，执行。

6. 总结

随着TinyML技术的不断演进和成熟，我们见证了其在运动健康领域中潜力的全面释放。通过在可穿戴设备和嵌入式系统中集成微型机器学习模型，运动健康应用能够在不牺牲精度和反应速度的前提下，实现更低的能耗和更高的可访问性。

随着技术的不断进步和创新，我们期待TinyML能够帮助更多的人实现健康管理的自我赋能，同时为运动健康产业带来更加智能化和个性化的服务。无疑，TinyML在推动健康科技进步的道路上，将扮演着越来越重要的角色。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1531467.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

前端基础篇-深入了解 Ajax 、Axios

前端基础篇-深入了解 Ajax 、Axios

🔥博客主页： 【小扳_-CSDN博客】 ❤感谢大家点赞👍收藏⭐评论✍ 文章目录 1.0 Ajax 概述 2.0 Axios 概述 3.0 综合案例 1.0 Ajax 概述 通过 Ajax 可以给服务器发送请求，并获取服务器响应的数据。异步交互是指，可以在不…
阅读更多...
高效编写产品规格书的秘诀与注意事项

高效编写产品规格书的秘诀与注意事项

高效编写产品规格书的秘诀：学会利用简单的工具，写出效果最佳的产品规格书。比如，你可以使用HelpLook、Markdown编辑器、LaTeX、notion等。 在快节奏的商业环境中，产品规格书是企业向市场展示产品特性和优势的重要工具。一份清晰、…
阅读更多...
Linux——进程通信（三）命名管道

Linux——进程通信（三）命名管道

前言 我们在之前学习了匿名管道与匿名管道的应用——进程池，但是匿名管道的通信，需要有血缘关系的进程（通过fork创建的进程们），如果我想让两个毫不相干的进程进行通信，可以采样命名管道的方式（…
阅读更多...
如何在Windows系统使用VS Code制作游戏网页并实现无公网IP远程访问

如何在Windows系统使用VS Code制作游戏网页并实现无公网IP远程访问

文章目录 前言1. 编写MENJA小游戏2. 安装cpolar内网穿透3. 配置MENJA小游戏公网访问地址4. 实现公网访问MENJA小游戏5. 固定MENJA小游戏公网地址 前言 本篇教程，我们将通过VS Code实现远程开发MENJA小游戏，并通过cpolar内网穿透发布到公网，分…
阅读更多...
提升Java编程安全性-代码加密混淆工具的重要性和应用

提升Java编程安全性-代码加密混淆工具的重要性和应用

在Java编程领域中，保护代码安全性和知识产权至关重要。本文旨在探讨代码加密混淆工具在提升代码安全性和保护知识产权方面的重要性。我们将介绍几款流行的Java代码加密混淆工具，如ProGuard、DexGuard、Jscrambler、DashO和ipaguard，并分析它们…
阅读更多...
【RabbitMQ】【Docker】基于docker-compose构建rabbitmq容器

【RabbitMQ】【Docker】基于docker-compose构建rabbitmq容器

本文通过docker-compose构建一个单体的rabbtimq容器。 1，docker、docker-compose环境 首先需要有docker和docker-compose环境，docker安装[1]，docker-compose安装[2]。 通过下列命令确定docker、docker-compose是否安装成功。 [root192 ge…
阅读更多...
单片机LED灯闪烁

单片机LED灯闪烁

延时函数计算&#xff08;相关代码生成&#xff09;&#xff1a; #include "reg52.h" #include <INTRINS.H> void Delay500ms() //11.0592MHz {unsigned char i, j, k;_nop_();_nop_();i 22;j 3;k 227;do{do{while (--k);} while (--j);} while (--i); }vo…
阅读更多...
利用Xinstall，实现安装页面快速拉起App，推广效果倍增！

利用Xinstall，实现安装页面快速拉起App，推广效果倍增！

在移动互联网时代&#xff0c;App推广已成为广告主和开发者的重要任务。然而&#xff0c;面对激烈的市场竞争&#xff0c;如何提升推广效率、洞悉推广效果并衡量广告ROI&#xff0c;成为摆在他们面前的难题。今天&#xff0c;我们将聚焦一个关键环节——安装页面拉起App&#x…
阅读更多...
Grid数据增强算法

Grid数据增强算法

算法原理 class Grid(object):def __init__(self, d1, d2, rotate1, ratio0.5, mode0, prob0.8):self.d1 d1self.d2 d2self.rotate rotateself.ratio ratioself.mode modeself.st_prob self.prob probdef set_prob(self, epoch, max_epoch):self.prob self.st_prob …
阅读更多...
Debezium vs OGG vs Tapdata：如何实时同步 Oracle 数据到 Kafka 消息队列？

Debezium vs OGG vs Tapdata：如何实时同步 Oracle 数据到 Kafka 消息队列？

随着信息时代的蓬勃发展&#xff0c;企业对实时数据处理的需求逐渐成为推动业务创新和发展的重要驱动力。在这个快速变化的环境中&#xff0c;许多企业选择将 Oracle 数据库同步到 Kafka&#xff0c;以满足日益增长的实时数据处理需求。本文将深入探讨这一趋势的背后原因&#…
阅读更多...
Java并发基石ReentrantLock：深入解读其原理与实现

Java并发基石ReentrantLock：深入解读其原理与实现

码到三十五 &#xff1a; 个人主页 心中有诗画&#xff0c;指尖舞代码&#xff0c;目光览世界&#xff0c;步履越千山&#xff0c;人间尽值得 ! 在Java的并发编程库中&#xff0c;ReentrantLock是一种非常重要的同步工具&#xff0c;它提供了一种比内置synchronized关键字更加…
阅读更多...
基于ArcGIS等多技术融合提升环境、生态、水文、土地、农业、大气等领域科研技术应用

基于ArcGIS等多技术融合提升环境、生态、水文、土地、农业、大气等领域科研技术应用

基于ArcGIS等多技术融合提升环境、生态、水文、土地、农业、大气等领域科研技术应用 原文链接https://mp.weixin.qq.com/s?__bizMzUyNzczMTI4Mg&mid2247667012&idx5&snd2c5af65851b06ff7ee14a744c16009e&chksmfa771279cd009b6f8beff1c61c6b3b73087bf93e7d440…
阅读更多...
顺序表的动态分配基本操作

顺序表的动态分配基本操作

#include <stdio.h> #include <stdlib.h>// 顺序表存储空间动态分配 #define InitSize 10 // 顺序表初始长度 typedef int ElemType; // int类型重命名为ElemType&#xff0c;方便后续调整typedef struct { // 定义结构体ElemType *data; // 用静…
阅读更多...
“垃圾不落地，捡跑来助力”学雷锋志愿服务暨党支部党日活动

“垃圾不落地，捡跑来助力”学雷锋志愿服务暨党支部党日活动

指导思想 紧紧围绕建设和谐社会主题&#xff0c;以创建文明为契机&#xff0c;学习雷锋精神&#xff0c;为人民服务为宗旨&#xff0c;大力开展志愿捡跑活动&#xff0c;激发大家积极参与志愿活动的热情&#xff0c;大力弘扬奉献、友爱、互助、进步的志愿服务精神。 活动启动 …
阅读更多...
维度建模理论之事实表

维度建模理论之事实表

事实表概述 事实表作为数据仓库维度建模的核心&#xff0c;紧紧围绕着业务过程来设计。其包含与该业务过程有关的维度引用&#xff08;维度表外键&#xff09;以及该业务过程的度量&#xff08;通常是可累加的数字类型字段&#xff09;。 事实表特点 事实表通常比较“细长”…
阅读更多...
N 皇后00

N 皇后00

题目链接 N 皇后 题目描述 注意点 1 < n < 9 解答思路 首先想到的是使用深度优先遍历回溯找到所有的情况&#xff0c;基本思路是&#xff1a;逐行确定Q在该行的位置&#xff0c;且每一行Q都是从第0列到第n - 1列全部考虑&#xff0c;在确定Q在任意一行的某一列时&am…
阅读更多...
Java集合Collection之LinkedList

Java集合Collection之LinkedList

LinkeList LinkedList&#xff08;双向链表&#xff09;是一种常见的线性数据结构&#xff0c;但是并不会按线性的顺序存储数据。它由一系列节点组成&#xff0c;每个节点包含数据部分和一个指向下一个节点的引用。相比于数组&#xff0c;链表具有动态大小、插入和删除效率高的…
阅读更多...
练习实践-TLS协议01-Wireshark对https数据的解密

练习实践-TLS协议01-Wireshark对https数据的解密

参考来源&#xff1a; https://zhuanlan.zhihu.com/p/36669377 https://blog.csdn.net/u010726042/article/details/53408077 思路&#xff1a; wireshark抓到的https流量包经过了ssl加密&#xff0c;那么我们如何才能查看解密的数据呢&#xff1f;Firefox和Chrome浏览器都支…
阅读更多...
Godot 学习笔记(2):信号深入讲解

Godot 学习笔记(2):信号深入讲解

文章目录 前言相关链接环境信号简单项目搭建默认的信号先在label里面预制接收函数添加信号 自定义无参数信号为了做区分&#xff0c;我们在label新增一个函数 自定义带参数信号Button代码label代码连接信号 自定义复杂参数信号自定义GodotObject类ButtonLabel连接信号 父传子Ca…
阅读更多...
国内超好用且免费的 AI 写作工具有哪些？

国内超好用且免费的 AI 写作工具有哪些？

目前&#xff0c;市面上这类AI工具实在是太多了&#xff0c;比如依托于清华大学开发的智谱清言&#xff0c;或亦是百度的文心一言&#xff0c;还是阿里云的通义千问&#xff0c;这些AI工具在功能是类似的&#xff0c;但是依托于大模型的不同&#xff0c;可能回答的结果迥然不同…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023