一文走进时序数据库性能测试工具 TSBS

news2024/11/17 5:49:37

一、背景

在物联网、车联网等时序数据场景中，数据的高速写入能力至关重要，会对产品方案的可用性、可靠性和扩展性产生影响。

以物联网为例，当面临千万甚至上亿设备、平均每个设备采集几十个到几百个指标时，每秒生成的数据将达到数十亿至数百亿。能否及时可靠的插入这种量级的数据，是评价一个时序数据库的核心要素和第一需求。

因此，对于时序数据库的性能进行测试也就尤为重要，TSBS 作为一款对时序数据库批量加载性能和查询执行性能的开源测试工具，得到了越来越多的应用。

二、TSBS 介绍

Time Series Benchmark Suite (TSBS) 是一个使用 go 语言编写的，用于生成时序数据集的基准测试工具，可以对各种时序数据库的读写性能进行基准测试。TSBS 具有可扩展性， 可以对各种时序数据场景（例如 devops，IoT 等）进行批量写入性能和查询执行性能基准测试。

目前 TSBS 支持 IOT 及 Devops 两种场景:

  • IoT 场景：模拟物联网环境中的数据负载，这个用例模拟来自一个虚构的卡车公司的一组卡车的数据流，包括来自每辆卡车的诊断数据和指标，并引入了相关的环境因素，例如 out-of-order 数据和批量摄取（对于离线一段时间的卡车）。它还跟踪卡车元数据，并使用它将度量和诊断作为查询集的一部分联系在一起。
  • Devops 场景：“开发操作”用例，有两种形式。完整形式用于生成、插入和测量 9 个“系统”中的数据，这些数据可以在真实的devops场景(e.g.、CPU、内存、磁盘等）中进行监控。这 9 个系统一起在每个读取间隔生成 100 个度量。另一种形式只关注CPU指标，以实现更简单、更精简的用例。这个用例每次读取生成 10 个 CPU 指标。除了度量读数之外，还为数据集中的每个主机生成“标记”（包括主机的位置、操作系统等）。

目前支持的数据库：

  • Akumulie

  • Cassandrae

  • ClickHousee

  • CrateDBe

  • InfluxDB

  • MongoDB

  • SiriDBe

  • TimescaleDB

  • VictoriaMetricse

未支持 TSBS 的时序数据库，可自行适配数据库类型后开展性能测试工作。

三、TSBS 测试工具

1. TSBS 测试工具安装

（1）使用 go get 对 TSBC 及其相关应用进行下载

$ go get github.com/timescale/tsbs

（2）切换到 cmd 下使用 go install 进行部分应用的安装

#Install desired binaries. At a minimum this includes tsbs_generate_data,

（3）切换到 cmd 下使用 go install 进行剩下的安装

#Optionally, install all binaries:

2. TSBS 测试工具使用

TSBS 基准测试分为 3 个阶段：数据生成和查询语生成、数据写入/插入测试、查询测试。下面 TSBS 测试工具三个阶段的使用以 IOT 场景和 timescaledb 数据库为例进行介绍。

（1）数据生成

通过 TSBS 生成基准测试的数据，将其作为基准测试阶段的输入。需要的变量，如下：

  • –use-case：使用场景，包括iot、devops、cpu-only，例如iot；

  • –seed：用于确定性生成的 PRNG 种子。例如：123；

  • –scale：要生成的卡车/设备数量。例如：50000；

  • –timestamp-start：数据中时间戳的开始时间。例如：2016-01-01T00:00:00Z；

  • –timestamp-end：数据中时间戳的结束时间。例如：2016-01-01T00:10:00Z；

  • –log-interval：每个设备的每次读取之间应该间隔多长时间，以秒为单位。例如：10s；

  • –format：需要生成的数据库，例如: timescaledb。

可自行设置变量在自定义目录下生成数据文件，示例：如使用上述变量生成数据集（在自定义目录/tmp/下生成 tsdb-data 数据文件）。

上面示例会生成一个伪 -CSV 文件，用于将数据批量加载到 TimescaleDB 中。每个数据库都有自己的格式，用于存储数据，使其数据库对应的加载器最容易写入数据。

（2）查询生成

需要的变量，如下：

  • 与数据生成中的用例、卡车数量、开始时间相同；

  • –timestamp-end：数据生成后一秒的结束时间，例如：对于 2016-01-01T00:10:00Z 使用 2016-01-01T00:10:01Z；

  • –queries：生成的SQL语句的查询数，例如：1000；

  • –query-type：要生成的SQL语句查询类型，例如：" specific-sub-table "；

例如：下列为生成 timescaledb 单类型一组查询的例子，可以通过改变查询类型 --query-type 一项来生成其他查询语句类型（查询类型的完整列表见末尾附录内容）：

$ tsbs_generate_queries --use-case="iot" --seed=123 --scale=50000 \

（3）数据插入/写入测试

TSBS 通过获取上一步中生成的数据并将其用作特定于数据库的命令行程序的输入来测量插入/写入性能。tsbs_load 可执行文件可以在任何受支持的数据库中加载数据。可使用预生成的数据文件作为输入。每个加载程序确实共享一些公共标志——例如，batch-size 批处理大小（一起插入的读取数）、worker（并发插入的客户端的数量）、连接详细信息（主机和端口）等。要查找特定数据库的标志，请使用 -help 标志(例如，tsbs_load_timescaledb -help）。

例如：

#use insert

会在 TimescaleDB 中创建一个名为 benchmark 的新数据库，存储数据。在加载完整数据集时除最后两行之外的所有行都包含 CSV 格式的数据，标题中包含列名。这些列名对应于：时间戳、期间每秒的指标、插入总指标、每秒总体指标、期间每秒行数、总行数、每秒总行数。最后两行为插入指标数目（和适用的行），时间和平均写入速率。可以通过更改 --workers 的值以控制同时运行的并行 load 的级别，通过更改 --partitions 的值改变分区数。

（4）查询测试

要测量 TSBS 中的查询执行性能，您首先需要使用上一节加载数据并生成如前所述的查询。加载数据并生成查询后，只需为正在测试的数据库使用相应的 tsbs_run_queries_ 二进制文件，通过更改数据库以及数据库对应自定义目录下生成的查询语句类型来实现各类型的查询性能测试。缺少的条件也可以根据 -help 进行查询。

例如：

对于 timescaledb 数据库查询“specific-sub-table”：

$ cat /tmp/timescaledb-queries- specific-sub-table.gz | \

可以通过更改 --workers 的值以控制同时运行的并行查询的级别。

四、实践

1. 测试环境

在这里插入图片描述

2. 导入性能测试

测试使用 TSBS 测试工具生成 IoT 场景下卡车运输公司的卡车数据集（约 9.9G），测试：TimescaleDB 在 workes=2 下 partitions 分别为 1、50、100、150 下的导入/查询性能；

workes=1、2、4、8 下 TimescaleDB 的导入/查询性能。

测试结果：
在这里插入图片描述

workers=2 下 TimescaleDB 测试不同 partitions，partitions=50 下具有最优导入性能。具体如下图所示：
在这里插入图片描述

在 partitions=50 时测试不同 workers 下 TimescaleDB 的导入性能，TimescaleD 导入性能如下所示：
在这里插入图片描述
在这里插入图片描述

在 partitions=50 时测试不同 workers 下 TimescaleDB 的导入性能，TimescaleD 导入性能如下所示：

3. 查询性能测试

测试 workers=2，不同 partitions(1, 50, 100, 150)下 TimescaleDB 的查询性能；

不同 workers(1, 2, 4, 8)下 TimescaleDB 的查询性能。

（1）查询语句：

query-specific-sub-table**：**

SELECT t.driver, r.latitude, r.longitude
FROM tags t 
INNER JOIN LATERAL (SELECT latitude, longitude, name FROM readings)       
      AS r ON r.name = t.name 
WHERE t.name IS NOT NULL
AND t.name = GetRandomName()

query-stationary-trucks-avg-velocity：

SELECT t.name, t.driver, avg(r.velocity) as avg_velocity
FROM tags t 
INNER JOIN readings r ON r.name = t.name
WHERE time >= Start() 
AND time < End()AND t.name IS NOT NULL
AND t.fleet = GetRandomFleet() 
GROUP BY 1, 2

（2）测试结果：

query-stationary-trucks-avg-velocity：

在这里插入图片描述
在这里插入图片描述

specific-sub-table：
在这里插入图片描述
在这里插入图片描述

五、查询类型

1. Devops/cpu-only

在这里插入图片描述

2. IoT

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/853034.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

使用JavaScript开发网页地图导航

使用JavaScript开发网页地图导航

使用JavaScript开发网页地图导航 导航是生活中的一个常见需求&#xff0c;而在互联网时代&#xff0c;网页地图导航成为了人们获取信息和帮助的重要工具。在网页中开发一个地图导航功能&#xff0c;能够提供用户位置定位、路线规划、交通情况等有用的信息&#xff0c;提供便利…
阅读更多...
企业权限管理（五）-订单分页

企业权限管理（五）-订单分页

订单分页查询 PageHelper介绍 PageHelper是国内非常优秀的一款开源的mybatis分页插件&#xff0c;它支持基本主流与常用的数据库&#xff0c;例如mysql、oracle、mariaDB、DB2、SQLite、Hsqldb等。 PageHelper使用 集成 引入分页插件有下面2种方式&#xff0c;推荐使用 Maven …
阅读更多...
【Redis】Spring/SpringBoot 操作 Redis Java客户端

【Redis】Spring/SpringBoot 操作 Redis Java客户端

目录 操作 Redis Java客户端SpringBoot 操作Redis 步骤 操作 Redis Java客户端 1.Jedis 2.Lettuce(主流) <-Spring Data Redis SpringBoot 操作Redis 步骤 1.添加Redis 驱动依赖 2.设置Redis 连接信息 spring.redis.database0 spring.redis.port6379 spring.redis.host…
阅读更多...
售后服务行业呼叫中心系统解决方案

售后服务行业呼叫中心系统解决方案

随着社会经济的不断发展和消费者对售后服务需求的不断提高&#xff0c;在售后服务行业中&#xff0c;越来越多的企业使用呼叫中心系统来帮助企业提高售后服务质量和效率&#xff0c;提高客户满意度&#xff0c;增强企业竞争力。 一、呼叫中心系统的定义和功能 呼叫中心系统是指…
阅读更多...
[mongo]性能机制，分析工具

[mongo]性能机制，分析工具

性能机制 应用端 应用端-选择节点 对于复制集读操作&#xff0c;选择哪个节点是由readPreference决定的 primary/primaryPreferredsecondary/secondaryPreferrednearest 如果不希望一个远距离节点被选择 将它设置为隐藏节点通过标签&#xff08;Tag&#xff09;控制可选的节点…
阅读更多...
分享Java技术下AutojsPro7云控代码

分享Java技术下AutojsPro7云控代码

引言 有图有真相&#xff0c;那短视频就更是真相了。下面是三大语言的短视频。 Java源码版云控示例&#xff1a; Java源码版云控示例在线视频 核心技术&#xff1a;各个编程语言的WebSocket技术。 Java&#xff1a;Nettey、Net&#xff1a;Fleck、Python&#xff1a;Tornad…
阅读更多...
Android Framework底层原理之WMS的启动流程

Android Framework底层原理之WMS的启动流程

一 概述 今天&#xff0c;我们介绍 WindowManagerService&#xff08;后续简称 WMS&#xff09;的启动流程&#xff0c;WMS 是 Android 系统中&#xff0c;负责窗口显示的的服务。在 Android 中它也起着承上启下的作用。 如下图&#xff0c;就是《深入理解 Android》书籍中的…
阅读更多...
模拟实现消息队列项目(完结) -- 基于MQ的生产者消费者模型

模拟实现消息队列项目(完结) -- 基于MQ的生产者消费者模型

目录 前言 1. 生产者 2. 消费者 3. 启动消息队列服务器 4. 运行效果 结语 前言 在上一章节,我们完成了消息队列的客户端部分,至此我们整个消息队列项目就构建完成了,那我们做的这个消息队列到底有什么效果,以及如何去使用我们自己的消息队列呢?那么本文,就将我们的MQ进行实战操…
阅读更多...
GSEA富集分析结果详解

GSEA富集分析结果详解

1. GSEA富集分析原理图 2. GSEA富集分析过程 1. 计算富集分数&#xff08;ES&#xff09; 富集分数&#xff1a;S 反应基因集&#xff08;比如某个通路内的基因集&#xff09;成员 s 在排序基因集 L&#xff08;比如根据 logFC 排序的差异基因集&#xff0c;默认降序&#xf…
阅读更多...
“为爱起航，一村一书院”在阳朔落地

“为爱起航，一村一书院”在阳朔落地

2023年8月1-5 日&#xff0c;“关爱祖国下一代&#xff0c;助力乡村振兴” 之为爱起航项目在阳朔举行。 本次活动由千里思乡村振兴促进会联合中国文化交流大使组委会携同大湾区19位师生加入到首批“为爱起航&#xff0c;一村一书院”项目中&#xff0c;同时&#xff0c;本项目得…
阅读更多...
分页查询从接口到实现，统一对日期类型进行格式化处理

分页查询从接口到实现，统一对日期类型进行格式化处理

编写Service实现类编写Mapper的sql&#xff0c;但复杂的sql语句需要写到mapper对应的xml文件中日期类型格式化处理 /*** 扩展springmvc框架的消息转换器* param converters*/Overrideprotected void extendMessageConverters(List<HttpMessageConverter<?>> conve…
阅读更多...
初识Container

初识Container

1. 什么是Container&#xff08;容器&#xff09; 要有Container首先要有Image&#xff0c;也就是说Container是通过image创建的。 Container是在原先的Image之上新加的一层&#xff0c;称作Container layer&#xff0c;这一层是可读可写的&#xff08;Image是只读的&#xff0…
阅读更多...
天津农商银行智能加密锁管理工具常见问题

天津农商银行智能加密锁管理工具常见问题

天津农商银行智能加密锁管理工具&#xff0c;在使用过程中&#xff0c;可能出现一些莫名的错误&#xff0c;针对亲身遇到的坑&#xff0c;分享给大家&#xff0c;以备不时之需。 一、转账业务导入文件中文汉字出现乱码&#xff0c;如下图。 原因是文件编码不正确&#xff0c;…
阅读更多...
MySQL：表的约束和基本查询

MySQL：表的约束和基本查询

表的约束 表的约束——为了让插入的数据符合预期。 表的约束很多&#xff0c;这里主要介绍如下几个&#xff1a; null/not null,default, comment, zerofill&#xff0c;primary key&#xff0c;auto_increment&#xff0c;unique key 。 空属性 两个值&#xff1a;null&am…
阅读更多...
【设计模式——学习笔记】23种设计模式——备忘录模式Memento（原理讲解+应用场景介绍+案例介绍+Java代码实现）

【设计模式——学习笔记】23种设计模式——备忘录模式Memento（原理讲解+应用场景介绍+案例介绍+Java代码实现）

案例引入 游戏角色有攻击力和防御力&#xff0c;在大战Boss前保存自身的状态(攻击力和防御力)&#xff0c;当大战Boss后攻击力和防御力下降&#xff0c;可以从备忘录对象恢复到大战前的状态 传统设计方案 针对每一种角色&#xff0c;设计一个类来存储该角色的状态 【分析】…
阅读更多...
cpu util margin，cpu freq margin

cpu util margin，cpu freq margin

【cpufreq governor】cpu util 和 cpu margin怎么计算的_悟空明镜的博客-CSDN博客 cpu util margin&#xff0c;cpu freq margin 根据policy_util schedtune_margin 作为算力选对应的cpu cluster或调频
阅读更多...
EXCEL表格操作

EXCEL表格操作

1.带格式合并&#xff1a;D6&"欢迎光临"&E6 2.带格式复制粘贴&#xff1a;ctrlc 复制&#xff0c;选择对于单元格点击选择性粘贴&#xff1a;粘贴值和数字格式
阅读更多...
docker-compose 安装kafka集群

docker-compose 安装kafka集群

点击关注《golang技术实验室》公众号****&#xff0c;将****获取更多干货 介绍 Kafka是一种高性能的分布式流处理平台&#xff0c;它的集群工作原理如下&#xff1a; 假设你是一个快递员&#xff0c;Kafka集群就是一个快递中转站。在这个中转站中&#xff0c;有很多个小窗口…
阅读更多...
基于TF-IDF+TensorFlow+词云+LDA 新闻自动文摘推荐系统—深度学习算法应用（含ipynb源码）+训练数据集

基于TF-IDF+TensorFlow+词云+LDA 新闻自动文摘推荐系统—深度学习算法应用（含ipynb源码）+训练数据集

目录 前言总体设计系统整体结构图系统流程图 运行环境Python 环境TensorFlow环境方法一方法二 模块实现1. 数据预处理1&#xff09;导入数据2&#xff09;数据清洗3&#xff09;统计词频 2. 词云构建3. 关键词提取4. 语音播报5. LDA主题模型6. 模型构建 系统测试工程源代码下载…
阅读更多...
分布式 - 消息队列Kafka：Kafka生产者发送消息流程和3种方式

分布式 - 消息队列Kafka：Kafka生产者发送消息流程和3种方式

文章目录 1. Kafka 生产者2. kafaka 命令行操作3. Kafka 生产者发送消息流程4. Kafka 生产者发送消息的3种方式1. 发送即忘记2. 同步发送3. 异步发送 5. Kafka 消息对象 ProducerRecord 1. Kafka 生产者 Kafka 生产者是指使用 Apache Kafka 消息系统的应用程序&#xff0c;它们…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023