时序数据库是什么:概念、特点与分类简析

news2024/11/26 10:29:23

1f0161ffd33d762413483636d6f8b7b7.jpeg

时序数据与时序数据库的“保姆级”科普!

作为将数据价值转化为产能能效的“核心大脑”,数据库的发展依然处于加速期,面向不同数据类型的数据库类型也在不断增加。

在众多细分领域数据库类型中,伴随制造业数字化转型的行业趋势和多项政策推动,赋能智慧工业管理的时序数据库愈发受到关注。

对于数据库的概念大家应该并不陌生,但是‘时序’是什么?时序数据库有哪些特点,基本架构是什么,市面上又有哪些产品类型?

本文将一一为你解答上述问题。

01 什么是时序数据

时序数据库顾名思义,是“管理时序数据的数据库”,所以在了解时序数据库之前,首先需要了解什么是时序数据。

时序数据是按时间维度,记录系统、设备状态变化的数据类型。它的基本结构特点就是数据中自带数据产生的时间,也就是数据带有时间戳。在网络良好的情况下,时序数据是以时间顺序上报的。

87602bc135f8f2b31bfaf39969ac32ca.png

时序数据举例

物联网、工业物联网、金融、医疗等领域各种类型的设备和传感器网络都会产生海量的时序数据,时序数据的应用场景主要分为两个目的:

  • 降本:面向生产设备进行状态监控、实时告警、故障预测,降低系统运维成本与故障风险。

  • 增效:面向工艺步骤、生产流程展开深入分析,加快工艺改进,提高生产效率。

因此,时序数据为企业提供的新的利润增长点是非常可观的

以风机运行场景为例,测风仪可能随着环境因素(震动,腐蚀等)出现偏差,主控系统依据错误风向数据偏航导致迎风角错误,将会导致风机发电效率衰减,影响产能。

此时如果实现了对风机时序数据的全量存储与充分分析,及时判断是否需要对测风仪误差进行补偿,每台风机每年即可多发电数万元,每年可能为业主带来上亿元经济收益。

可以说,数字化的基础是对联网设备进行状态检测,而产生的时序数据就是机器设备的“心电图”

02 时序数据库的特点

时序数据库是一种专门用于存储、管理和处理时序数据的数据库管理系统。因为时序数据一般存在采样频次高、实时性强、数据量大等显著特点,导致写入要求高、存储代价大、处理难度高,一旦时序数据体量增加,单靠传统数据库可能力不从心。

而时序数据库在管理时序数据方面就存在很多性能优势,主要包括:

  • 高吞吐写入能力:时序数据往往体量庞大,并可能存在高频数据上报。时序数据库通过优化数据结构和存储机制,可以在高并发的情况下保持高效的写入性能。

  • 高压缩存储能力:使用传统方法的情况下,海量时序数据的存储往往占用空间大、存储成本高。而时序数据库可以通过时序数据处理的相关技术,来大幅减少存储空间。

  • 低延迟查询能力:时序数据时间属性强,时序数据库能够支持用户用更简单的代码逻辑,实时进行基于时间范围的多类查询,方便灵活地获取所需结果。

  • 支持多维数据分析和数据可视化:管理时序数据的目的是监控设备状态、优化生产流程。时序数据库通过工具/组件,支持数据大屏、报表等多形式的可视化成果,实现数据实时监控,并结合机器学习等前沿技术,进一步完成数据结果的深入分析。

  • 高可扩展性:工业场景中伴随业务发展,设备数量往往将不断增加。时序数据库底层架构易于扩展建模,以管理更多设备数据。

  • 灵活、安全的数据传输:工业场景中,设备一般在多个场站持续上报时序数据,在场站初步处理后,往往需要汇总至中心/集团侧进行进一步分析。同时,生产网、办公网可能相互隔离并搭建单向网闸,因此,支持灵活、简便、安全的数据同步方案对于时序数据库至关重要。

03 时序数据库中的基本概念

讲完时序数据库的整体侧重点,下面以时序数据库 IoTDB 为例,为大家介绍几个时序数据库数据模型的基本概念:

  • 设备/实体(Device/Entity):实际场景中拥有物理量的设备或装置,可以是一个物理设备、测量装置、传感器集合等。

  • 时间戳(Timestamp):代表数据点到来的时间。

  • 物理量/测点/字段(Measurement/Meter/Field):实际场景中设备所记录的测量维度,例如传感器上报的温度、湿度等,记录随时间戳而变化的数据。

  • 数据点(Data Point): 一个“时间戳-值”对,也就是一个时间点,一个设备上报的一个数据值,或重新二次计算的一个数据值,称为一个数据点。

可以看到,设备/实体上报的时序数据涵盖实时时间戳、多个物理量和不断变化的数据点,而多个时序数据可被高效管理于时序数据库中。

不同的时序数据库也可能根据自己的数据模型衍生出其他概念。比如 IoTDB 采用了树形模型,按照物联网实际管理层级(集团层-厂站层-实体层-物理量层)组织数据,以从根节点 ROOT 到物理量叶子节点的路径(Path)来命名一个时间序列,如 root.ln.wf01.wt01.status。IoTDB 也支持用户将任意前缀路径,比如 root.ln 设置成数据库(Database),方便数据的物理隔离。

e7ccff1b9bc996a69a87d7f023aff04e.png

IoTDB 树形模型

04 时序数据库的类型与产品

从 1999 年出现 RRDtool(Round Robin Database Tool)提出了专门面向时序数据存储、处理的方法开始,时序数据库发展至今已超过 20 年。

在没有专门管理时序数据的数据库之前,人们通常使用关系型数据库管理时序数据,因此部分时序数据库的架构是基于关系型数据库进行优化的。

还有一类基于 KV (key-value)存储的时序数据库,通过扩展 NoSQL 数据库实现时序数据存储,并使用分布式文件系统保障其扩展性。

随着大数据时代到来,2010 年之后,时序数据爆发式增长,时序数据库的发展走上了“快车道”。为了适应更多的场景,实现更好的性能,面向时序数据存储全新研发的原生时序数据库也越来越多。

目前,市场上已有多种时序数据库产品,对应上述的不同架构类型,典型代表列举如下:

  • TimescaleDB:TimescaleDB 基于 PostgreSQL 的时序数据库扩展,兼具关系型数据库和时序数据库的特点。通过在 PostgreSQL 的查询计划器、数据模型和执行引擎添加钩子,TimescaleDB 可以构建高度定制化的扩展层,并可以利用 PostgreSQL 丰富的第三方工具。

  • OpenTSDB:OpenTSDB 是一款基于 HBase 的分布式时序数据库,采用键值对的数据模型,运用针对写入密集的工作负载优化的 LSM-tree 结构,OpenTSDB 能够应对时序数据高通量写入的应用场景,并能保障扩展性。

  • InfluxDB:InfluxDB 在其类似 LSM-tree 的 TSM-tree 结构中,引入了 series-key 的概念,根据时间特征对数据进行分类,从而减少冗余存储,提高数据压缩率,并支持设置标签(Tag)和字段(Field),方便用户进行多维度查询。

  • IoTDB:IoTDB 是一款国产全自研、低成本、高可用的时序数据库产品。以自研的时序数据标准文件格式 Apache TsFile 为基底,合并乱序数据处理、时序大模型、端边云同步方案等多项技术,保障时序数据库的高吞吐、高压缩、低延迟查询性能,并提供丰富的数据分析功能与低流量、高安全性的数据同步功能。同时,IoTDB 实现了单机版、分布式版、边缘版等多类形态部署,数据模型具有高扩展性,能够有效满足企业在多种计算资源条件下、多种终端配置下,构建物联网时序数据管理解决方案的需要。

05 总结

作为全面数字化、服务转型升级的基础,时序数据管理对于工业、金融等领域至关重要。由于时序数据的特性与管理难点,时序数据库成为了构建智能化、一体化时序数据解决方案的重要一环。

随着物联网、云计算、大数据等技术的发展,时序数据库在未来将迎来更多的发展机会和挑战。在实时数据处理、智能分析、跨平台兼容性、数据安全性等方面,时序数据库还在持续创新。

之前的文字中,我们对于时序数据库的发展过程选型指标分类对比都进行了详细梳理,并归纳了时序数据库 IoTDB 的主要功能,欢迎各位扩展阅读并和我们讨论!

规上企业应用实例

能源电力:中核武汉|国网信通产业集团|华润电力|大唐先一|上海电气国轩|清安储能|某储能厂商|太极股份

航天航空:中航机载共性|北邮一号卫星

钢铁冶炼:宝武钢铁|中冶赛迪

交通运输:中车四方|长安汽车|城建智控|德国铁路

智慧工厂与物联:PCB 龙头企业|博世力士乐|德国宝马|京东|昆仑数据|怡养科技|绍兴安瑞思

ee331b0e01da95f89d49c140c764ffc8.gif

60af234d0d1874585d46691f3225bdac.jpeg

acf5da03f0333debdc829026be94abff.jpeg

1f2c5b056bdcf3d8f87dc0cffaf8a5aa.jpeg

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2232099.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【创建型】单例模式

单例模式使用的场景:需要频繁的进行创建和销毁的对象、创建对象时耗时过多或耗费资源过多(即:重量级对象),但又经常用到的对象、工具类对象、频繁访问数据库或文件的对象(比如数据源、session工厂等) 1. 饿汉式(静态常量&#xf…

6.0、静态路由

路由器最主要的功能就是转发数据包。路由器转发数据包时需要查找路由表(你可以理解为地图),管理员可以直接手动配置路由表,这就是静态路由。 1.什么是路由? 在网络世界中,路由是指数据包在网络中的传输路…

工业通信网关的各项功能解析-天拓四方

在工业自动化和智能制造的浪潮中,工业通信网关作为连接工业现场与互联网的重要桥梁,发挥着至关重要的作用。它不仅实现了不同网络协议之间的转换,还在数据采集、设备控制、网络管理等方面展现出强大的功能。 一、协议转换功能 工业通信网关…

数据结构与算法——Java实现 53.力扣938题——二叉搜索树的范围和

生命的意义 在于活出自我 而不是成为别人眼中的你 —— 24.11.3 938. 二叉搜索树的范围和 给定二叉搜索树的根结点 root,返回值位于范围 [low, high] 之间的所有结点的值的和。 示例 1: 输入:root [10,5,15,3,7,null,18], low 7, high 15 …

TensorRT-LLM的k8s弹性伸缩部署方案

Scaling LLMs with NVIDIA Triton and NVIDIA TensorRT-LLM Using Kubernetes | NVIDIA Technical Blog 一共涉及4个k8s组件: 1. Deployment:跑起来N个pod;指定NVIDIA官方的triton&trt-llm的docker image,指定好model放在哪个…

高亮无惧烈日,强力巨彩租赁屏点亮户外“视”界

在户外显示领域,一款性能出色、适应性强、维护便捷的租赁屏无疑是众多主办方和广告商的首选。强力巨彩旗下的幻云系列租赁屏具备画面清晰、无水波纹、性能稳定、高亮度等诸多优势,可应用于各大户外显示场所,是户外租赁屏市场的明星产品。   …

批量删除redis数据【亲测可用】

文章目录 引言I redis客户端基础操作key的命名规则批量查询keyII 批量删除key使用连接工具进行分组shell脚本示例其他方法III 知识扩展:控制短信验证码获取频率引言 批量删除redis数据的应用: 例如缓存数据使用了新的key存储,需要删除废弃的key。RedisTemplate的key序列化采…

Mysql开发规范

开发规范 对象命名 命名规范的对象,是指数据库SCHEMA、表TABLE、字段COLUMN、索引INDEX、约束CONSTRAINTS等 【强制】凡是需要命名的对象,其标识符不能超过30个字符【强制】名称必须以英文字母开头,不得以 _(下划线) 作为起始和终止字母【…

Web应用性能测试工具 - httpstat

在数字化时代,网站的性能直接影响用户体验和业务成功。你是否曾经在浏览网页时,遇到加载缓慢的困扰?在这个快速变化的互联网环境中,如何快速诊断和优化Web应用的性能呢?今天,我们将探讨一个强大的工具——h…

(57)MATLAB使用迫零均衡器和MMSE均衡器的BPSK调制系统仿真

文章目录 前言一、仿真测试模型二、仿真代码三、仿真结果四、迫零均衡器和MMSE均衡器的实现1.均衡器的MATLAB实现2.均衡器的性能测试 总结 前言 本文给出仿真模型与MATLAB代码,分别使用具有ISI的三个不同传输特性的信道,仿真测试了使用迫零均衡器和MMSE…

用ChatGPT提升工作效率:从理论到实际应用

伴人工智能技术的迅速演进,像ChatGPT这类语言模型已成为提升工作效率的关键工具。这类模型不仅具备处理海量数据的能力,还能自动化许多日常任务,从而提高决策的准确性。本文将深入探讨如何在工作中利用ChatGPT等AI工具提升效率,涵…

MySQL FIND_IN_SET 函数详解

文章目录 1. 基本语法2. 使用场景3. 实战示例3.1 基础查询示例3.2 与其他函数结合使用3.3 动态条件查询 4. 性能考虑5. 常见问题和解决方案5.1 大小写敏感问题5.2 空值处理5.3 模糊匹配 6. 总结 1. 基本语法 FIND_IN_SET 函数的基本语法如下: FIND_IN_SET(str, st…

「Mac畅玩鸿蒙与硬件15」鸿蒙UI组件篇5 - Slider 和 Progress 组件

Slider 和 Progress 是鸿蒙系统中的常用 UI 组件。Slider 控制数值输入,如音量调节;Progress 显示任务的完成状态,如下载进度。本文通过代码示例展示如何使用这些组件,并涵盖 进度条类型介绍、节流优化、状态同步 和 定时器动态更…

ZDH权限-扩展支持数据权限

目录 项目源码 预览地址 安装包下载地址 ZDH权限模块 ZDH权限扩展更细粒度方案 第一种方案: 第二种方案: ZDH权限扩展支持数据权限-新增属性 总结 感谢支持 项目源码 zdh_web: GitHub - zhaoyachao/zdh_web: 大数据采集,抽取平台 预览地址 后…

私有化视频平台EasyCVR海康大华宇视视频平台视频诊断技术是如何实时监测视频质量的?

在现代视频监控系统中,确保视频流的质量和稳定性至关重要。随着技术的进步,视频诊断技术已经成为实时监测视频质量的关键工具。这种技术通过智能分析算法对视频流进行实时评估和处理,能够自动识别视频中的各种质量问题,并给出相应…

Java 用户随机选择导入ZIP文件,解压内部word模板并入库,Windows/可视化Linux系统某麒麟国防系统...均可适配

1.效果 压缩包内部文件 2.依赖 <!--支持Zip--><dependency><groupId>net.lingala.zip4j</groupId><artifactId>zip4j</artifactId><version>2.11.5</version></dependency>总之是要File类变MultipartFile类型的 好像是…

论文笔记(五十四)pi0: A Vision-Language-Action Flow Model for General Robot Control

π0: A Vision-Language-Action Flow Model for General Robot Control 文章概括摘要I. INTRODUCTIONII. RELATED WORKIII. OVERVIEWIV. π 0 \pi_0 π0​模型V. 数据收集和培训配方A. 预训练和后训练B. 语言和高级策略C. 机器人系统细节 VI. 实验评估A. 基础模型评估B. 遵循语…

《AI产品经理手册》——解锁AI时代的商业密钥

在当今这个日新月异的AI时代&#xff0c;每一位产品经理都面临着前所未有的挑战与机遇&#xff0c;唯有紧跟时代潮流&#xff0c;深入掌握AI技术的精髓&#xff0c;才能在激烈的市场竞争中独占鳌头。《AI产品经理手册》正是这样一部为AI产品经理量身定制的实战宝典&#xff0c;…

论文略读:Self-Knowledge Guided Retrieval Augmentation for Large Language Models

2023 emnlp findings RAG 召回的辅助信息不总是有用&#xff0c;甚至可能起负作用 原本对“德牧能不能进机场”这样的问题&#xff0c;ChatGPT是高度认可德牧作为导盲犬的但是检索模块召回了一段“老德牧是一类 balabala 某种狗的争议性名称”的百科介绍作为额外上文输入后&am…

使用Postman进行API测试

&#x1f493; 博客主页&#xff1a;瑕疵的CSDN主页 &#x1f4dd; Gitee主页&#xff1a;瑕疵的gitee主页 ⏩ 文章专栏&#xff1a;《热点资讯》 使用Postman进行API测试 Postman 简介 安装 Postman 创建请求 组织请求 发送请求 查看响应 使用环境变量 编写测试脚本 示例测试…