轻松应对大数据挑战!利用ETLCloud实现TDengine数据库的高效查询与数据迁移

news2024/11/24 16:39:54

TDengine 是一款开源、云原生的时序数据库,专为物联网、工业互联网、金融、IT 运维监控等场景设计并优化。它能让大量设备、数据采集器每天产生的高达 TB 甚至 PB 级的数据得到高效实时的处理,对业务的运行状态进行实时的监测、预警。

根据TDengine文档上的示例部署运行,TDengine查询速度非常快,因其底层特殊的数据结构,插入速度也非常快,几百万条数据的插入用小编的电脑测试了下,2s内左右。

但是TDengine也存在一些问题,TDengine因为是针对时序数据存储和查询场景的数据库一般用于物联网设备数据存储,因此相比于一般的数据库,其灵活性相对较差。所以在需要分析非时序的数据时,需要把数据进行处理并传输到其他数据库中通过BI来进行展示或者让其他业务系统进行关联。

但由于TDengine的生态相对较小,作为一个相对于年轻的开源项目,社区方面不是很丰富,会存在一些学习成本以及使用时存在的问题难以解决,而通过ETLCloud可以快速实现数据抽取。

下面我们介绍怎么样通过ETLCloud数据集成平台来解决TDengine与数仓以及其他数据库的对接问题,ETLCloud它将对TDengine的操作封装成了相应的组件,真正做到了开箱即用,十分的方便。

另外ETLCloud现支持上百种数据库,在未来将持续往该领域挖掘。

 (ETLCloud TDengine数据处理组件)

ETLCloud通过实现自动化流程查询TDengine数据库

Joe是一家公司的技术负责人,他们公司业务数据库的数据量非常庞大,查询起来非常的不方便,所以他们引入了时序数据库来解决这个问题。但慢慢地发现两个数据库之间的数据迁移以及数据同步都特别麻烦,配置或者说执行起来特别繁琐。而且多种类的数据库来回切换,难免会发生数据遗漏,不利于数据的有效整合,这是一个很严重的问题。因此Joe时常在想有没有一款工具/平台能解决当前的这个问题呢?

Joe选择了通过ETLCloud搭建一个自动化流程来实现对TDengine 数据库的查询,利用自动化流程来将数据迁移到其他数据库,Joe通过可视化界面配置了对TDengine 数据库的读写组件,并将数据经过运算后输出到mysql数据库(如下图所示)

 图1 流程概览

 图2 TDengine组件基本配置

 图3 TDengine组件请求配置

 图4 TDengine组件支持自定义SQL,使数据处理更加灵活多变

 ​图5 流程执行结果

 ​图6 数据预览

通过上述的ETLCloud的可视化流程只需要几分钟就可以实现与TDengine时序数据库的链接和数据抽取操作,大幅节省了数据价值变现时间,加速IOT与IT的融合。

更多场景示例:

1.TDengine 数据库组件+数据转换系列组件+Orecal数据库组件:从时序数据库TDengine读取到数据,使用数据清洗转换组件,可以对数据做一些数据转换、脱敏、补全等转换操作,待确定好转换后的数据达到用户预期时,将转换好的数据同步到Orecal数据库。

2.TDengine 数据库组件+多流Join合并组件+Excel输出组件:添加多个TDengine输入组件,从不同的数据库表读取数据,使用多流Join合并组件将多个数据流进行处理,将其合并为一个数据流,使得数据更加集中以及完整。处理好数据后,添加Excel输出组件,配置存储路径,它会在指定存储路径创建一个Excel,自动将数据写入到Excel表中,方便做数据统计以及打印。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/616827.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

算法--递归--基础

定义 计算机科学中,递归是一种解决计算问题的方法,其中解决方案取决于同一类问题的更小子集 递归是一种非常高效、简洁的编码技巧,一种应用非常广泛的算法。 如求100以内的和 那么就等同于求10099以内的和 99以内和等同于9998以内的和 … 依…

复杂SQL优化实例

SQL语句的执行顺序: 执行计划指标查看 优化实例一 LIMIT 语句 分页查询是最常用的场景之一,但也通常也是最容易出问题的地方。比如对于下面简单的语句,一般 DBA 想到的办法是在 type, name, create_time 字段上加组合索引。这样条件排序都能…

面对市面上众多的商城系统,我们该如何选择?

数字化时代,传统的实体店铺发展进入瓶颈。越来越多的消费者选择在网上购物,这也催生了各种各样的电商平台和商城系统,如SHOP、Magento等。但是,对于那些想要进入电子商务领域的企业来说,如何选择适合自己的商城系统&am…

[BigGAN] Large Scale GAN Training for High Fidelity Natural Image Synthesis

1、目的 在大型数据集上训练class-conditional GAN,并探索相关的trick 2、贡献 1)数据集的扩大使得GAN的表现也随之提升。文章的网络参数量是之前工作的2~4倍,batch size是之前的8倍。文章分别从两方面对performance进行提升:sca…

计算机视觉:语义分割理论及实战

语义分割 语义分割(Semantic Segmentation)是指将一张图像分割成若干个区域,并对每个区域赋予语义标签的任务。它是计算机视觉中的一种重要技术,被广泛应用于自动驾驶、医学图像分析、地理信息系统等领域。 与传统的图像分割任务…

奇安信应急响应-Linux

Linux需要经常关注的目录 /etc/passwd用户信息文件:我们需要看一下里面到底是什么,保存的用户信息 /etc/rc.d/rc.loacl:开机启动项:类似于Windows的开机启动项,有可能攻击者会在里面写一个后门文件,需要重…

EM算法实现对iris数据集和meat数据集的分类【MATLAB版本】

摘要:本章实验主要是对于学习 EM 算法的原理,掌握并实现混合高斯模型非监督学习 的 EM 算法,要求在两个数据集上面实现混合高斯模型的非监督学习的EM算法。混合模型是相对于单高斯模型而言的,对于某个样本数…

【高级篇】分布式事务

分布式事务 1.分布式事务问题 1.1.本地事务 本地事务,也就是传统的单机事务。在传统数据库事务中,必须要满足四个原则: 1.2.分布式事务 分布式事务,就是指不是在单个服务或单个数据库架构下,产生的事务&#xff0c…

Nginx:Tomcat部署及优化(二)

Nginx:Tomcat部署及优化(二) 一、Tomcat 优化1.1 内核参数优化1.2 Tomcat 配置文件参数优化1.3 Java 虚拟机(JVM)调优 二、NginxTomcat 负载均衡、动静分离 一、Tomcat 优化 Tomcat 默认安装下的缺省配置并不适合生产…

9款超级实用的网页设计工具,快来看看有没有你用过的

随着网络时代的快速发展,游戏、购物、音乐、影视和社交网站的兴起都表明了网页设计的重要性! 网页设计工具作为网页设计师的生产工具,自然要选择好的。 让我们分享9个高质量的网页设计工具,让您的设计效率悄然提高! …

【Python TDD和BDD】零基础也能轻松掌握的学习路线与参考资料

Python TDD和BDD的学习路线 TDD(测试驱动开发)和BDD(行为驱动开发)在软件开发中的作用越来越受到重视。TDD通过先写测试代码,再编写生产代码的方式,使得开发者可以在开发过程中确保代码质量和正确性&#…

黑客学习-xss漏洞总结

1、什么是xss 先来看案例 在一个输入框中,输入js代码,存放alter()其弹窗,结果可以看到,代码成功执行。这个就是xss漏洞 XSS攻击全称跨站脚本攻击,是一种在Web应用中常见的安全漏洞,它允许用户将恶意代码植入到Web页面…

分布式事务 2PC

tip:作为程序员一定学习编程之道,一定要对代码的编写有追求,不能实现就完事了。我们应该让自己写的代码更加优雅,即使这会费时费力。 文章目录 一、简介二、2PC 的运行流程三、2PC 一定能保证数据的一致性吗?四、2PC 的…

软件测试——未来软件测试的5个主要趋势

全球各地的企业每天都在发展变化着,以应对市场挑战,满足日益成熟的客户需求。即使是正在进行的技术进步也会使软件测试专家在实践的过程中更加专注和精确。 2021年给软件测试领域带来了新的技术解决方案,以及质量保证和软件测试的实现。与此同…

Springcloud--异步通信RabbitMq快速入门

RabbitMQ 1.初识MQ 1.1.同步和异步通讯 微服务间通讯有同步和异步两种方式: 同步通讯:就像打电话,需要实时响应。 异步通讯:就像发邮件,不需要马上回复。 两种方式各有优劣,打电话可以立即得到响应&am…

YOLOv5改进系列(8)——添加SOCA注意力机制

【YOLOv5改进系列】前期回顾: YOLOv5改进系列(0)——重要性能指标与训练结果评价及分析 YOLOv5改进系列(1)——添加SE注意力机制

动态查找表

动态查找表 1.二叉排序树1.1. 定义1.2. 查找过程1.3. 插入过程1.4. 创建二叉排序树1.5. 删除操作(1)被移除的结点是叶子结点(2)被移除的结点只有左子树或者只有右子树;(3)被移除的结点既有左子树…

两张图理解MR与XR

我们知道,AR是在现实世界上叠加虚拟信息和图像,VR是完全模拟的虚拟世界,那么对于MR和XR的概念会稍显复杂,本文试图通过2张图来理解它们,如有不对,祈请纠正。 MR 关于MR,先来看看下面第一张图。 …

vue 3 第三十四章:nextTick

nextTick是Vue3中的一个非常有用的函数&#xff0c;它可以在下一次DOM更新循环结束后执行回调函数。这个函数可以用来解决一些异步更新视图的问题&#xff0c;例如在修改数据后立即获取更新后的DOM节点。以下是一个简单的示例&#xff1a; <template><div><p&g…

华硕无畏灵耀破晓原装Windows10/11系统

第一步&#xff1a;下载原装系统文件 第二步&#xff1a;灵耀/无畏/破晓需要自备16g空u盘安装 第三步&#xff1a;创建u盘分区&#xff0c;第一个分区格式为FAT32(存放TLK引导文件)&#xff0c;第二个分区大小为NTFS&#xff08;存放底包&#xff1a;HDI.OFS.SWP.EDN.KIT&…