时序数据库选型

news2024/11/23 21:41:52

目录

    • 一、当前主流的时序数据库
    • 二、各库特性
      • 1、Influxdb
      • 2、Timescale
      • 3、Druid
      • 4、Kdb+
      • 5、Graphite
      • 6、RRDtool
      • 7、OpenTSDB
      • 8、TDengine
      • 9、DolphinDB
    • 三、优缺点对比

  因为个人用的go,所以调研及对比主要针对适配了go语言的数据库。
 

一、当前主流的时序数据库

  排名参考于https://db-engines.com
请添加图片描述

 

二、各库特性

1、Influxdb

   流行度很高,支持Go语言,社区活跃度高。

特性:

  • 高效的时间序列数据写入性能。自定义TSM引擎,快速数据写入和高效数据压缩。
  • 无额外存储依赖。
  • 简单,高性能的HTTP查询和写入API。
  • 以插件方式支持许多不同协议的数据摄入,如:graphite,collectd,和openTSDB
  • SQL-like查询语言,简化查询和聚合操作。
  • 索引Tags,支持快速有效的查询时间序列。
  • 保留策略有效去除过期数据。
  • 连续查询自动计算聚合数据,使频繁查询更有效。

缺点:

  • 分布式未开源

 

2、Timescale

【不支持GO】

  一个基于传统关系型数据库postgresql改造的时间序列数据库

优点:

  • PostgreSQL原生支持的所有SQL,包含完整SQL接口(包括辅助索引,非时间聚合,子查询,JOIN,窗口函数)
  • 用PostgreSQL的客户端或工具,可以直接应用到该数据库,不需要更改。
  • 时间为导向的特性,API功能和相应的优化。
  • 透明时间/空间分区,用于放大(单个节点)和扩展
  • 高数据写入速率(包括批量提交,内存中索引,事务支持,数据备份支持)
  • 单个节点上的大小合适的块(二维数据分区),以确保即使在大数据量时即可快速读取。
  • 块之间和服务器之间的并行操作

劣势:

  • 因为TimescaleDB没有使用列存技术,它对时序数据的压缩效果不太好,压缩比最高在4X左右
  • 目前暂时不完全支持分布式的扩展(正在开发相关功能),所以会对服务器单机性能要求较高

 

3、Druid

【不支持GO】

   Druid是一个实时在线分析系统(LOAP)。其架构融合了实时在线数据分析,全文检索系统和时间序列系统的特点,使其可以满足不同使用场景的数据存储需求。

优点:

  • 采用列式存储:支持高效扫描和聚合,易于压缩数据。
  • 可伸缩的分布式系统:Druid自身实现可伸缩,可容错的分布式集群架构。部署简单。
  • 强大的并行能力:Druid各集群节点可以并行地提供查询服务。
  • 实时和批量数据摄入:Druid可以实时摄入数据,如通过Kafka。也可以批量摄入数据,如通过Hadoop导入数据。
  • 自恢复,自平衡,易于运维:Druid自身架构即实现了容错和高可用。不同的服务节点可以根据响应需求添加或减少节点。
  • 容错架构,保证数据不丢失:Druid数据可以保留多副本。另外可以采用HDFS作为深度存储,来保证数据不丢失。
  • 索引:Druid对String列实现反向编码和Bitmap索引,所以支持高效的filter和groupby。
  • 基于时间分区:Druid对原始数据基于时间做分区存储,所以Druid对基于时间的范围查询将更高效。
  • 自动预聚合:Druid支持在数据摄入期就对数据进行预聚合处理。

缺点:

  • 不支持多时间维度,所有维度为String类型
  • 只支持流式写入,不支持实时数据更新,更新可以使用批处理作业完成。
  • 不支持精准去重

 

4、Kdb+

  kdb+ 号称最快的内存数据库之一。列式存储的特性,使得对于某个列的统计分析操作异常方便。

优点:

  • 单体架构,轻松支持 billion以上数据
  • 分布式扩展,无性能损耗
  • 超低延迟+高并发支持
  • 列式存储+内存数据库
  • 灵活的Q语言,内置非常多的统计计算方法

缺点:

  • 搭配的Q 语言,学习难度较高

5、Graphite

【不支持GO】

  Graphite通常用于监控基础设施级别的度量,比如CPU、内存、I/O利用率、网络吞吐量和延迟,当然Graphite在应用程序级的度量和业务级的度量方面也很不错。

  

6、RRDtool

【不支持GO】

  RRDtool 代表 “Round Robin Database tool” , 所谓的“Round Robin” 其实是一种存储数据的方式,使用固定大小的空间来存储数据,并有一个指针指向新的数据的位置。

优点:

  • 使用RRD(Round Robin Database)存储格式,数据等于放在数据库中,可以方便地调用。比如,将一个RRD文件中的数据与另一个RRD文件中的数据相加。
  • 可以定义任意时间段画图,可以用半年数据画一张图,也可以用半小时内的数据画一张图。
  • 能画任意个DS,多种图形显示方式。
  • 数据存储与绘图分开,减轻系统负载。
  • 能任意处理RRD文件中的数据,比如,在浏览监测中我们需要将数据由Bytes转化为bits,可以将原始数据乘8

缺点:

  • RRDTool的作用只是存储数据和画图,它没有MRTG中集成的数据采集功能
  • 在命令行下的使用非常复杂,参数极多
  • 无用户、图像管理功能

  

7、OpenTSDB

  OpenTSDB 是一个开源框架,使用 HBase 作为核心平台来存储和检索所收集的指标数据,可以灵活地增加指标,也可以支持采集上万台机器和上亿个数据点,具有高可扩展性。

优点:

  • 在数据压缩上,时间戳采用 delta 编码进行压缩,数据值采用 XOR 进行压缩
  • 存储与计算解耦,为 IoT 场景海量数据、动态热点的数据特征量身打造,方便按照并发度和存储量按需独立扩容。采用分布式架构,支持横向水平扩展
  • 较强的时序数据计算能力,主要体现为:插值,缺失的数据点,支持线性插值数据补全
  • 降精度,支持预降精度和实时降精度计算,满足高效查询需求
  • 空间聚合,支持按照不同的 tag 进行空间聚合和分组计算

缺点:

  • 数据查询和分析的能力不足,不是所有的查询场景都能适用,在GroupBy和Downsampling的查询上,也未提供Pre-aggregation和Auto-rollup的支持,查询效率不如其他数据库
  • 依赖HBase,较为笨重

  

8、TDengine

   TDengine 是一款开源、高性能、分布式、支持 SQL 的时序数据库,其时序数据库核心代码包括集群功能全部开源,同时 TDengine 还带有内建的缓存、流式计算、数据订阅等系统功能,能大幅减少研发和运维的复杂度

优点:

  • 支持水平扩展,有开源的分布式集群解决方案
  • 读写性能远高于InfluxDB,压缩率高
  • 采用标准 SQL 做查询语言(不完全兼容),并且采用关系数据库模型,学习成本低

缺点:

  • 单条插入性能很低,必须成批写入,增加了系统开发和维护的复杂度与运营成本

(调研的时候相关的软广较多,号称性能吊打其他所有库,暂不知真假)

  

9、DolphinDB

  DolphinDB是一款高性能分布式时序数据库。DolphinDB集成了功能强大的编程语言和高容量高速度的流数据分析系统,为海量数据(特别是时间序列数据)的快速存储、检索、分析及计算提供一站式解决方案。

优点:

  • 列式混合引擎(基于内存和磁盘),支持单表百万级别的分区数,大大缩减对海量数据的检索响应时间
  • 内嵌的分布式文件系统自动管理分区数据及其副本,为分布式计算提供负载均衡和容错能力
  • 支持命令式编程、函数式编程、向量编程、SQL编程和RPC(远程函数调用)编程
  • 内置Web服务器,用于集群管理、性能监控和数据访问

缺点:

  • 安装复杂
  • 默认把数据存到内存,对数据源大小有限制,一旦关闭软件,自动释放
  • 对收费用户提供高质量的服务

 
 

三、优缺点对比

InfluxDBOpenTSDBDolphinDBTDengine
成熟度成熟一般一般一般
集群付费支持支持(HBase)支持支持
读写速度较快较快
使用复杂性一般(类sql)较高一般(类sql)低(标准sql)
部署复杂性简单复杂较复杂较简单

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/58579.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

基于PHP+MySQL动漫专题网站系统的设计与实现

随着时代的发展,人们兴趣爱好也越来越广泛,动漫是当前年轻人比较钟爱的一个兴趣爱好之一,每年都会有大量的动漫爱好者定期的举办一些交流活动等,但是线下的这种交流方式明显不能满足当前动漫爱好者的需求,为此我开发了…

Zen of Python(python之禅)

在python中导入import this就会显式: 以下是中文英文翻译: Beautiful is better than ugly. 优美比丑陋好 Explicit is better than implicit. 清晰比晦涩好 Simple is better than complex. 简单比复杂好 Complex is better than complicated. 复杂比错…

【全干工程师必学】一文搞懂Vue2.0

一文搞懂Vue2.0一、前端工程化二、WebPack是什么基本使用实现奇偶行变色1.初始化包管理工具2.安装jquery3.在项目中安装webpack4.在项目中配置webpack5.运行代码mode 的可选值developmentproductionwebpack.config.js 文件的作用webpack 中的默认约定自定义打包的入口与出口web…

uni-app开发常用操作速查记录

记录一下uni-app中常用的使用方法或是操作步骤,方便后期速查使用. 1.设置对象属性 2.组件中数据变化监听方法 3.微信开发者工具中全局搜索与局部搜索 4.Page对象与Componet对象组成 5.tabbar页面切换方法 6.组件中自定义函数的参数传递 7.m…

Android Jetpack Compose的基本介绍

目录一、引言:Android Jetpack1.Jetpack是什么?2. 常用的Jetpack库二、Compose的基本概念1.什么是Jetpack Compose2.Compose的编程思想三、 Compose简单的案例: 一个倒计时效果1.构建一个Compose项目2.声明一个倒计时的UI3.利用线程使其动起来4.实现效果…

快速了解Docker

目录 1.简介 2.Docker的安装及环境配置 2.1.查看是否是root用户 2.2.查看当前内核版本 2.3.更新yum源 2.4.安装Docker所需要的工具包 2.5.设置yum源 2.6.下载安装Docker 2.7.启动Docker并且设置开机自启动 2.8.测试是否安装成功 3.Docker阿里云镜像仓库配置 4.Docker常…

C++ vector

目录 1.vector的介绍及使用 1.1 vector的介绍 1.2 vector的使用 1.2.1 vector的定义 1.2.2 vector iterator 的使用 1.2.3 vector 空间增长问题 1.2.3 vector 增删查改 1.2.4 vector 迭代器失效问题。(重点) 1.2.5 vector 在OJ中的使用 2.vec…

【Linux】Linux的常见指令详解(上)

目录 前言 ls pwd cd mkdir touch rm man tree nano cp mv cat echo more/less 前言 🧁Linux作为相较于windows的另一种操作系统,同时基于其开源的优越性,使得其在各各企业的使用率极高。因此学好Linux操作系统对我们来说是…

Mongoose应用和文件文件的上传和下载

一、Express框架访问MongoDB数据库 1、目的: ​ (1)mongoose模块的使用 ​ (2)学会代码的封装:dao层、service层、接口层 ​ (3)MVC设计思想:M(Model)、V(View)、C(C…

[附源码]Python计算机毕业设计Django基于SpringBoot的演唱会购票系统论文2022

项目运行 环境配置: Pychram社区版 python3.7.7 Mysql5.7 HBuilderXlist pipNavicat11Djangonodejs。 项目技术: django python Vue 等等组成,B/S模式 pychram管理等等。 环境需要 1.运行环境:最好是python3.7.7,我…

c#与mysql连接和操作教程(增、删、改、查)

一、mysql的连接(使用的是vs2019) 1. 在一个项目中选择 工具 > NgtGet包管理器 > 管理解决方案的NuGet程序包 2. 搜索MySql.Data,然后下载,并在右边选着对应的项目进行安装(ps:每个项目要连接数据库…

【身份证识别】基于BP神经网络实现身份证识别附matlab代码

✅作者简介:热爱科研的Matlab仿真开发者,修心和技术同步精进,matlab项目合作可私信。 🍎个人主页:Matlab科研工作室 🍊个人信条:格物致知。 更多Matlab仿真内容点击👇 智能优化算法 …

代码随想录刷题|LeetCode 300.最长递增子序列 674. 最长连续递增序列 718. 最长重复子数组

目录 300.最长递增子序列 思路 1、dp[i]的定义 2、递推公式 3、dp数组初始化 4、确定遍历顺序 5、推导dp数组 最长递增子序列 674. 最长连续递增序列 思路 最长连续递增序列 动态规划 贪心算法 718. 最长重复子数组 思路 1、确定dp数组的含义 2、确定递推公式 3、dp数组初始化…

docker 命令

目录 Docker 环境信息命令 docker info docker version 系统日志信息常用命令 docker events docker logs docker history 容器的生命周期管理命令 docker create docker run 常用选项 系统 网络 健康检查 命名空间选项 cgroup资源限制选项 CPU CPUset devi…

李宏毅《DLHLP》学习笔记7 - Voice Conversion 1

视频链接:https://www.youtube.com/watch?vJj6blc8UijY&listPLJV_el3uVTsO07RpBYFsXg-bN5Lu0nhdG&index9&ab_channelHung-yiLee 课件链接:https://speech.ee.ntu.edu.tw/~tlkagk/courses/DLHLP20/Voice%20Conversion%20(v3).pdf 1. 语音转…

永磁同步电机恒压频比(V/F)开环控制系统Matlab/Simulink仿真分析及代码生成到工程实现(二)

文章目录前言一、SVPWM二、永磁同步电机恒压频比开环控制系统Matlab/Simulink仿真分析2.1.仿真电路分析2.1.1.恒压频比控制算法2.1.2.输出处理2.1.3.主电路2.2.仿真结果分析三、永磁同步电机恒压频比开环控制系统代码生成及工程实现3.1.恒压频比开环控制算法代码生成3.2.仿真验…

计算机毕业论文Java项目源码下载基于SSM的旅游资讯网站含前台与后台

💖💖更多项目资源,最下方联系我们✨✨✨✨✨✨ 目录 Java项目介绍 资料获取 Java项目介绍 《ssm地方旅游资讯网站》该项目采用技术:jsp 、springmvc、spring、mybatis 、css、js、jQuery、bootstrap、easyui等相关技术&#x…

在云服务器上部署jupyter服务器环境(with conda-forge)

tags: Python Conda Tips Server 写在前面 最近想折腾点服务器的新花样(总是空着太可惜了), 想到前阶段配置的jupyter, 发现这不就能部署在服务端吗?还不走流量的那种(指安装包时候), 话不多说, 开整! 下面的用户名以及组都是test, 用于测试. 大家需要改成自己的用户名. 安装…

【Nginx】负载均衡、动静分离理论篇

一、负载均衡 1. 应用场景: 2. 负载均衡是什么? 在当业务系统服务器无法支撑当前的业务量时,用户可以选择更高性能的服务器。 但更为合理的做法是通过在既有业务服务器基础上,增量的方式增加相同功能的服务器,将处理…

Linux操作系统(基础操作)

文章目录一、文件操作命令1. 目录和文件操作2. 查看文件内容3. 重定向4. 管道二、信息系统相关命令1. 查看系统进程 -- ps2. 查看系统监听端口 -- netstat3. 查看日志信息命令 -- head / tail三、用户权限和管理1. linux中的权限2.修改用户权限chmod3.增加用户、查看登录用户4.…