三分钟了解什么是时序数据库

news2024/11/16 4:43:15

在介绍时序数据库之前,我们先来看看什么是时序数据。时序数据就是基于时间排序的数据,再通过时间坐标将这些数据连接起来,形成一个折线图,直观地展示一个指标在过去一段时间内的走势和规律,帮助定位数据异常点。

时序数据库就是用来存储这些时序数据的数据库。与传统数据库相比,时序数据库需要能够长时间保存数据,且需要实时展示,这就要求时序数据库能做到持久化存储,以及数据读写的高性能。此外,对于一些复杂的场景,比如广告业务的多维度多指标,时序数据库还需要做到多维查询、指标聚合等。

一、时序数据库的特点

  1. 数据写入
  • 数据实时写入。
  • 高并发写入。
  • 无须更新或删除操作(除了修复数据)。
  • 连续性:时序数据会按照指定的时间粒度持续写入。
  1. 数据读取
  • 写多读少:时序数据的写入是持续的,但是一般并不会持续地读取数据,只有在需要的时候才会查询最近一段时间内的指定维度指标。
  • 多时间粒度读取:一般来说,我们会对最近7天的数据以一个比较细的时间粒度来存储一个相对精确的值,而对于7天或者一个月以前的数据,通常会把它们聚合成一个比较粗的时间粒度存储,比如按照小时或者天来存储,以便节省磁盘空间,提高读取历史数据的效率。
  • 指定维度读取:在广告业务中,时序数据存储的维度可能有成百上千个,那么在读取数据时不会把所有的维度都读取出来,因为这样做不仅没必要,而且对系统的I/O也是一个极大的考验。所以,只会选择读取所需要的维度和指标。
  • 实时聚合:通常实时的时序数据存储的是不同维度下的一个比较细的时间粒度数据,查询时需要在不同维度下对一个或多个指标进行各种聚合的操作,如 sum、max、avg等。
  1. 数据存储
  • 按列存储:通过数据的查询特征,可以发现时序数据更适合将一个指标放在一起存储,任何列都能被作为索引。在读取数据时,只会读取所需要的维度所在的列,这样就可以大大减小I/O的损耗和内存的使用,提高执行效率。
  • 以不同的时间粒度存储:数据的读取特征决定了可以将历史数据聚合成一个比较粗的粒度存储,将最近的数据以一个比较细的粒度存储,这样可以大大减少磁盘的使用空间。
  • 冷热存储:通常我们只会查询最近一天或者7天的数据,而半年或一年以前的数据使用率很低,因此可以把历史的冷数据和最近的热数据分开存储,以提高读取数据的效率,减少磁盘的使用空间。

二、时序数据库的特性

上面介绍的时序数据库的这些特点,决定了时序数据库具有以下特性。

  • 高并发、高吞吐量,实时写入和读取数据。
  • 高可用性、高可靠性,分布式架构、数据分片。
  • 支持海量数据存储,一般时序数据都是TB或PB级别的体量。
  • 支持数据聚合分析,满足实时的多维聚合分析。

三、时序数据库的组成

  • Timestamp:这是时序数据库的关键所在,因为是以时间排序的数据,所以需要记录所有数据的时间。
  • Metric:需要存储的指标数据有很多,比如在广告业务中,分析用到的指标更是成千上万,那么在时序数据库中就需要通过Metric字段来标识每个指标数据,如QPS、Status等。
  • Dimension:数据的属性,比如数据类型、地域、年龄、性别等。而一般指标的结果都是基于单维度或多维度分析得到的。比如在广告业务中,一个指标有时需要上百个维度经过不同的组合得到不同的结果。

四、时序数据库的模型

下图显示了在同一个时间、不同维度下QPS的变化情况。其中地域和性别就是Dimension,北京、上海等就是地域维度的类别,QPS就是Metric,QPS列的数据就是QPS指标每秒钟在地域和性别组合维度下的值。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/431449.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Oracle中Archived redolog的生成

目录 一、问题预览 二、问题解答 一、问题预览 大家都知道 Oracle 中 online redolog切换后会生成 archived redolog,心里默认的就是 online redolog 切换后 archived redolog 已经生成。切换示意图,如下图所示。 但事实真的是这样吗? 二、…

C++ 23 实用工具(一)

C 23 实用工具(一) 工具函数是非常有价值的工具。它们不仅可以用于特定的领域,还可以应用于任意值和函数,甚至可以创建新的函数并将它们绑定到变量上。 常用函数 你可以使用各种变体的 min、max 和 minmax 函数来对值和初始化列…

【使用ChatGPT自动化】批量转换.xls文件为.xlsx文件

第1次提问: 我:我想使用Python批量转换.xls文件为.xlsx文件,请你提供代码 它: 当涉及到批量处理文件时,我们通常需要使用Python中的os模块和glob模块。os模块用于管理文件和目录,glob模块用于匹配文件路径名…

Visual Studio Code 1.77 发布!

欢迎使用 Visual Studio Code 2023 年3月版。此版本有许多更新,其中一些主要亮点包括: 无障碍改进:新的悬停、通知和 Sticky Scroll 快捷键 复制 GitHub 深度链接:在编辑器内创建永久链接和 HEAD 链接 笔记本保存格式&#xff1…

软件测试流程进阶----四年软件测试总结

工作四年了,我一直希望让自己每年对测试的理解更深入一层。工作一年的时候,我谈轮了自己对各种测试的理解,这一年来,虽然对那些理概念的有所加强,自我感觉没有什么质的变化。前些天听我们公司的一位测试经理讲《敏捷测…

精准抓住核心要点!!!十名面试官总结出这样一份面试通关答案,还不赶紧开始“作弊”通关!!!

金三银四求职季,但最近很多朋友私信说: 熬过了去年的寒冬,却没躲过如今的内卷; 打开Boss直拒,一排已读不回; 大部分回复的都是外包,薪资低于预期,对技术水平要求却远超从前&#x…

大数据和 CRM系统:它们如何帮助中小企业?

作为中小企业主,你可能在想,"大数据与我有什么关系?"但如果你使用某些类型的业务应用,即使预算很少,你也可以从大数据中获益。一个最好的例子是客户关系管理(CRM)系统,它提…

二极管反向恢复过程详细解析

二极管反向恢复过程,现代脉冲电路中大量使用晶体管或二极管作为开关, 或者使用主要是由它们构成的逻辑集成电路。而作为开关应用的二极管主要是利用了它的通(电阻很小)、断(电阻很大) 特性, 即二极管对正向及反向电流表现出的开关作用。二极管和一般开关的不同在于,…

在线帮助中心对企业的作用及解决方案

帮助中心对于一款互联网产品来说,重要性不言而喻。随着公司客户服务水平的不断提高,越来越多的公司逐渐重视客户服务。一个好的在线帮助中心必定能提高客户的转化率。那么,在线帮助中心对企业的帮助和作用有哪些呢? 在线帮助中心的作用 1.快…

3.10——常类型

常类型的引入,就是为了既保证数据共享又防止数据被改动。常类型是指使用类型修饰符const说明的类型,常类型的变量或对象成员的值在程序运行期间是不可改动的。 常引用 如果在说明引用时用const修饰,则被说明的引用为常引用。如果用常引用作为…

adb环境变量配置

adb环境变量配置Android一. 简介二. 环境变量配置1.JDK安装2.SDK安装3. 资源共享4. 配置环境变量4.1 方式一:4.2 方式二:5. adb常用命令的使用6. 结果Android List of ADB Commands and Fastboot Commands for Android 如果你是一个android用户&#xf…

paddleocr,windows pip 安装巨坑 lanms 库

安装 lanms 最佳参考: paddleocr,windows pip 安装巨坑 lanms 库 防丢失,直接抄录的一份 paddleocr最后几个库一个比一个难装,特别是 lanms 库,巨难装,拒绝任何花里胡哨,十分钟,三步…

HTML5 <menu> 标签

HTML5 <menu> 标签 实例 HTML5 <menu>标签用于定义菜单列表。 两个菜单按钮系列选项实例&#xff08;"File" 和 "Edit"&#xff09;&#xff1a; <menu type"toolbar"> <li> <menu label"File"> &…

Linux-初学者系列——篇幅4_系统运行相关命令

系统运行相关命令-目录一、关机重启注销命令1、重启或者关机命令-shutdown语法格式&#xff1a;常用参数&#xff1a;01 指定多久关闭/重启系统02 指定时间关闭/重启系统03 实现立即关闭/重启系统04 取消关闭/重启系统计划2、重启或者关机命令-halt/poweroff/reboot/systemctl语…

Lucene Solr Elasticsearch三者之间的关系,怎么选?

Lucene简介&#xff1a; Lucene主要用于构建文本搜索应用程序&#xff0c;包括Web搜索引擎、桌面搜索工具和商业应用程序。它提供了诸如单词分析、查询解析、搜索结果排序等功能&#xff0c;可以轻松地在大量文档中快速搜索和查找相关信息。 Lucene具有以下特点&#xff1a; …

Linux -- 进阶 Web 服务器 基础前瞻 ( 一 )

目录 WWW 简介 &#xff1a; 组件一个网站得需要哪些东西呢 &#xff1f;&#xff1f; 1 得有 响应用户申请网页服务 的软件 2 服务器主机 3 那就需要数据了 4. 浏览器 预备知识 &#xff1a; 网址及HTTP 简介 &#xff1a; URL : http 请求方法 &#xff1a;…

关于使用云渲染的五大优势

在不影响质量或性能的情况下节省时间、金钱和资源&#xff0c;对于需要在通常较短且严格的期限内创建高质量 3D 内容的专业人士来说&#xff0c;云渲染都是最好的选择&#xff01;云渲染作为数字媒体生产的最新趋势&#xff0c;与传统的渲染农场和机器相比具有许多优势&#xf…

每个程序员都应该知道的 5 个基本 Matlab 提示和技巧

当今软件开发和数据分析领域中&#xff0c;Matlab 是一种十分常用的工具。然而&#xff0c;对于许多程序员而言&#xff0c;它的高级特性可能并不为人所知。在本文中&#xff0c;我们将分享每个程序员都应该知道的 5 个基本 Matlab 提示和技巧&#xff0c;以帮助你更好地使用这…

【红队APT】反朔源流量加密CSMSF证书指纹C2项目CDN域前置

文章目录背景交代&#xff1a;常见红蓝对抗中红队面临问题&#xff1a;蓝队发现处置情况&#xff1a;NC-未加密&加密后-流量抓包对比MSF-流量通讯特征修改-证书-openssl解决HTTPS-SSL通讯证书被特征标示问题impersonate_ssl模块CS-流量通讯特征修改-证书指纹-keytool1.修改…

【C++】哈希的应用——bitset(STL)位图

哈希的应用——bitset(STL)位图 文章目录 哈希的应用——bitset(STL)位图一、bitset的介绍1.位图的引入2.位图的概念3.位图的应用 二、bitset的使用1.bitset的构造方式2.bitset成员函数的使用3.bitset运算符的使用 三、bitset位图的模拟实现1.位图的基本框架2.成员函数2.1.构造…