物联网技术-第5章-物联网数据处理

news2024/11/17 11:57:11

目录

1.物联网数据特征

2.物联网数据处理

(1)数据清洗

(2)数据存储

(3)数据融合

(4)数据挖掘

3.大数据基本概念

4.云计算基本概念

(1)背景

(2)模式

(3)分类 

(4)特征

(5)优势

(6)体系结构

(7)服务流程

5.致谢


1.物联网数据特征

(1)时序性:物联网数据是在时间序列上生成的,每个数据点都附带有时间戳,这有助于分析数据的时效性、完整性和一致性,并进行时间序列分析,发现数据中的趋势、周期性和异常。

(2)结构化:数据通常具有固定格式和类型,便于以表格或数据库形式存储管理。这些数据多为数值型(如温度、湿度测量值)或枚举型(如设备状态)。

(3)稀疏性:数据集中可能包含大量缺失值或无效值,源于传感器故障、网络问题等,需要预处理以确保数据分析的准确性。

(4)海量性:物联网系统生成的数据量极为庞大,要求高效的数据存储、压缩及传输技术以应对数据管理和分析的挑战。

(5)多样性:数据源自多种类型和功能的设备,不同设备的数据格式、精度、采集频率各异,需要数据融合与标准化处理。

(6)实时性:数据通常需要实时处理和分析,以支持快速决策和响应,这对数据处理系统的实时计算能力提出了高要求。

(7)数据源唯一性:每个采集点的数据源是唯一的,这有助于追踪数据源头并保证数据的准确性和可信度。

(8)极少更新或删除:一旦数据被记录,很少进行修改或删除操作,数据管理更侧重于新增和按期限淘汰。

(9)写多读少:操作模式上,数据写入频繁而读取相对较少,系统设计需优化写入性能。

(10)基于时间段和地理区域的查询:分析需求常聚焦于特定时间段或地理区域内的数据趋势,而非单一数据点。

(11)数据保留期限:数据通常按预定的保留策略定期删除,以管理存储资源。

(12)实时计算与统计:数据往往需要实时的统计和聚合处理,以支撑即时的业务洞察和决策。

(13)流量平稳:尽管数据量大,物联网数据流量相对平稳,可预测性较强,有利于资源规划。

2.物联网数据处理

物联网数据流程包括:数据清洗、数据存储、数据融合、数据挖掘、智能决策等步骤

(1)数据清洗

数据清洗(Data Cleaning) 是对数据进行审查和校验的过程, 目的在于删除重复信息、纠正存在的错误(处理无效值和缺失值)、 保证数据的一致性

(2)数据存储

数据存储(Data Storage) 是对信息(数据)进行 归档 整理 共享 的过程——将数据以某种格式记录在计算机内部或外部存储介质上。
常用的存储介质有:磁带、磁盘、光盘、U盘等。
MapReduce 是Google公司工程师Jeffrey Dean提出的处理大规模数据集(大于1TB)的 分布 式并行计算 编程模型,是Google云计算的核心技术
HDFS (Hadoop Distributed File System)是一种高度容错的 分布式文件系统模型 ,由Java语言开发实现。HDFS可以部署在任何支持Java运行环境的普通机器或虚拟机上,而且能够提供高吞入量的数据访问。
                        

(3)数据融合

数据融合(Data Fusion) 技术是指利用计算机对按时序获得的若干观测信息,在一定准则下加以自动分析、综合,以完成所需的决策和评估任务而进行的信息处理技术。
        

(4)数据挖掘

数据挖掘(Data Mining) 是指应用一定的分析方法,从大量数据中提取出一些有价值的信息和知识的过程。

3.大数据基本概念

大数据(Big Data)又称为巨量资料,指需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产。
                                
大数据的“ 5V ”特征
大体量 (Volume):数据量达到数百TB到数百PB,甚至是EB的规模
多样性 (Variety):数据为各种格式与各种类型
时效性 (Velocity):数据需要在一定的时间限度下得到及时处理
准确性 (Veracity):处理结果要保证一定的准确性
大价值 (Value):分析挖掘的结果可以带来重大的经济效益与社会效益

4.云计算基本概念

(1)背景

互联网 使得人们对软件的认识和使用模式发生了潜移 默化的改变。计算模式的变革必将会带来一系列的挑战。
如何获取 海量的存储和计算资源
如何在互联网这个无所不包的平台上更 经济地运营 服务 ?
如何才能使互联网服务更加 敏捷 、更 随需应变 ?
如何让企业和个人用户更加 方便 、透彻地理解与运 用层出不穷的服务?
所有这些问题的答案就是--云计算!!!
在“云计算”中,用户所面对的不再是真实的 物理设备 ,不再是针对某一用户而设计,而是可以为多个用户(租户) 服务 。具体的计算环境、信息存储都在 云端

(2)模式

云计算是一种计算模式,它是将计算与存储资源、软件与应用作为服务,通过网络提供给用户
用户可以像使用水、电一样按需购买和使用云计算资源

(3)分类 

IaaS —基础设施即服务,只涉及到租用硬件,是一种最基础的服务
PaaS —平台即服务,已经从硬件的基础上,租用一个特定的操作系统与应用程序,来自
己进行应用软件的开发
SaaS —软件即服务,在云平台提供的定制软件上,直接部署自己的应用系统
云计算分类
分类服务类型运用的灵活性运用的难易程度
基础设施云 IaaS
接近原始的计算
存储能力
平台云 PaaS
应用的托管环境
应用云 SaaS
特定功能的应用

(4)特征

(5)优势

1.优化产业布局
云计算促使IT从以前那种自给自足的作坊模式, 转化为具有规模化效应的工业化运营,一些小规模的 单个公司专有的数据中心将被淘汰,取而代之的是规 模巨大而且充分考虑资源合理配置的大规模数据中心。
2.推进专业分工
云计算提供商普遍采用大规模数据中心,比中小 型数据中心更专,管理水平更高,提供单位计算所需 的成本更低廉; 同时,专业的云计算提供商可以有更多的科研和 经费投人来推动数据中心的技术革新。
3.提升资源利用率
4.减少初期投资
云计算帮助用户降低IT成本体现在两个方面:
第一,用户不再需要进行巨大的一次性IT投资,彻 底省去了购置、安装、管理软、硬件的费用,因为 可以从云计算提供商那里租用这些IT基础设施;
第二,用户在使用这些IT资源时,可以按照自己的 实际使用量付费 , 这种在类型和时间上更加细粒度 的计费模型将有助于用户进一步降低IT成本。
5.降低管理开销
在虚拟化技术的支持下,Web应用可以被 做成虚拟器件,当需要启动服务的时候,被快
速部署到云计算环境中; 当服务不再需要时,可以取消部署以释放占 用的资源。可见,云计算可以在软件和解决方 案等不同层次提供极大的灵活性与自动化。

(6)体系结构

(7)服务流程

物联网设备 深入人类生活各个角落,实现感知功能的大范围覆盖
云计算技术 利用高性能与大规模的服务器集群,实现对海量数据的快速处理
物联网云平台 作为物联网设备与云服务的桥梁,结合二者的优势,向下管理各种边缘设备、向上为云服务提供各种帮助

5.致谢

 后续会陆续更新分享物联网技术课程相关知识,大家可以关注留言哈!希望可以和大家一起学习物联网技术,感受物联网技术的魅力!作者水平有限,不足之处还请大家批评指正!希望能和大家一起进步哟

                        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​        ​​​​​​​   

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1859034.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Python学习笔记18:进阶篇(七)常见标准库使用之OS模块

前言 入门到进阶的知识点基本都学习了,可能有一些遗漏的请谅解,不过只要坚持学习下去,在后面的学习中进行查缺补漏。 根据Python crash course书中的进度,要准备开始写小项目了。在这之前,我看了Python的官方教程&am…

Redis-主从复制-配置主从关系

文章目录 1、修改配置文件中的 bind ,注释该配置,取消绑定仅主机登录2、修改protected-mode 为no,取消保护模式3、查看redis的进程状态4、配置6380是6379的从机5、配置6381是6379的从机6、查看主机 6379 的主从信息 1、修改配置文件中的 bind ,注释该配置,取消绑定仅主机登录 …

Linux 运维 | 4.从零开始,文件目录特殊权限管理实践

[ 知识是人生的灯塔,只有不断学习,才能照亮前行的道路 ] 0x00 前言简述 描述:前一章,学习了Linux系统中的用户与用户组的管理,此章节我们将继续学习Linux系统中比较基础且重要的文件权限设置与属性管理,在L…

Zoho邮箱怎么注册?最强完整指南

Zoho企业邮箱,凭借其16年的产品历程和卓越的服务品质,已经成为全球超过1800万企业级客户的信赖之选。今天,我们将手把手教你如何注册Zoho邮箱。 一、Zoho邮箱是什么? Zoho邮箱是Zoho Workplace套件中的核心产品,专门…

2024年通信技术与计算机科学国际学术会议(ICCTCS 2024)

2024年通信技术与计算机科学国际学术会议(ICCTCS 2024) 2024 International Academic Conference on Communication Technology and Computer Science(ICCTCS 2024) 会议简介: 2024年通信技术与计算机科学国际学术会议…

[数据集][目标检测]花生米计数霉变检测数据集VOC+YOLO格式387张2类别

数据集格式:Pascal VOC格式YOLO格式(不包含分割路径的txt文件,仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件) 图片数量(jpg文件个数):387 标注数量(xml文件个数):387 标注数量(txt文件个数):387 标注类别…

如何提高LabVIEW开发的效率?

提高LabVIEW开发效率对于工程师和研究人员来说非常重要,因为这不仅能缩短开发周期,还能提高系统的可靠性和可维护性。以下从多个角度详细分析如何提高LabVIEW开发的效率。 1. 项目规划与管理 1.1 明确需求 在项目开始前,详细明确项目需求&…

网络构建关键技术_2.IPv4与IPv6融合组网技术

互联网数字分配机构(IANA)在2016年已向国际互联网工程任务组(IETF)提出建议,要求新制定的国际互联网标准只支持IPv6,不再兼容IPv4。目前,IPv6已经成为唯一公认的下一代互联网商用解决方案&#…

苍穹外卖-管理端

课程安排 软件开发介绍 软件开发流程 角色分工 软件环境 项目介绍 产品原型 技术选型 开发环境搭建 niginx反向代理 完善登录功能 导入接口文档 Swagger注解 员工管理 新增员工 ThreadLocal 员工分页查询 启用禁用功能 修改员工信息 导入分类模块需求代码 公共字段自动填充 菜…

《中国尘肺病农民工调查报告(2023)》

这份报告由中华社会救助基金会大爱清尘基金发布。 《中国尘肺病农民工调查报告(2023)》是一份深入探讨中国尘肺病农民工现状与挑战的研究报告。报告不仅详细记录了尘肺病患者的生存困境、经济与医疗状况,还对政策的实施效果进行了评估,并提出了针对性的建议。通过对不同地区、…

Promise类型

Promise类型 Promise类型Promise是一个类型,与C#中的Task类似,是用来包装异步操作的容器。 (1)Promise有三种状态:pending(进行中)fulfilled/resolved(已成功)和rejected(已失败&am…

react笔记-04redux篇

redux和react-redux笔记,以及项目中如何使用,对redux的封装,让其使用类似于vuex一样方便。 一、redux 1. redux工作流程 流程:创建action > dispatch分发action > 交给store > reducer加工数据返回给store 2. redux的…

Python 类对象

Python 类对象 经典迭代器 可迭代对象的定义: 使用内置的iter可以获取迭代器的对象。如果对象实现了能返回迭代器的__iter__方法,那么对象就是可迭代的。序列都可以迭代。实现了__getitem__方法,而且接受从0开始的索引,这种对象也…

2024年,AI的机会在行业大模型吗?

前言 随着科技的不断进步,人工智能(AI)正以前所未有的速度改变着我们的世界。而在2024年,AI的机会无疑将更加聚焦于行业大模型。这些模型不仅代表着技术的巅峰,更是推动行业创新、提升效率、优化体验的关键力量。 行…

UE5 场景物体一键放入蓝图中

场景中,选择所有需要加入到蓝图的模型或物体。 点击 蓝图按钮,点击“将选项转换为蓝图” 在创建方法中,选择“子Actor”或着 “获取组件” 如果需要保持相对应的Actor的父子级别(多层),那么选择“获取组件…

分布式事务msb

分布式事务使用场景 添加商品看库存够不够。库存扣减,扣完给订单服务一个响应,如果新加商品出问题了怎么回滚。 分布式事务概念 XA规范 XA规范:总之一句话: 就X/Open DTP 定义的 事务协调者与数据库之间的接口规范(即…

2024 年计算机专业是否依旧稳坐就业市场的黄金宝座?

引言:选择的十字路口 随着 2024 年高考的结束,一股新的就业浪潮即将席卷全国 - 百万计的高三毕业生站在了人生的十字路口,面对着选专业这一重大决策。 计算机科学及相关领域,长久以来被誉为就业市场的“黄金门票”,吸…

代码随想录训练营第十六天 513找树左下角的值 112路径总和I 113路径总和II 106从中序和后序遍历序列构造二叉树

第一题: 原题链接:513. 找树左下角的值 - 力扣(LeetCode) 思路:用回溯的思想: 这题就是求最大深度,当遍历到第一个最大深度的时候,记录下的节点值就是最左边的元素。 参数和返回…

声波的种类

声波可以根据不同的特性进行分类,主要包括频率和传播方式两个方面: ### 按频率分类: 1. **次声波**:频率低于20Hz的机械波,这类波通常不能被人耳感知。 2. **可闻声波**:频率在20Hz至20kHz之间的机械波&am…

5. Revit API: Application

5. Revit API: Application 前言 上一篇中,讲到了UI篇的Ribbon(界面),并提到要创建 RibbonPanel,需要使用UIControlledApplication.CreateRibbonPanel(..)方法,还在结尾说到要写“UI”开头的那些个类&…