SpringBoot,TDengine时序数据库,实现物联网,车联网大批量数据更新最佳实践。

news2024/11/17 3:26:10

简介

TDengine 是一款专为物联网、工业互联网等场景设计并优化的大数据平台,它能安全高效地将大量设备、数据采集器每天产生的高达 TB 甚至 PB 级的数据进行汇聚、存储、分析和分发,对业务运行状态进行实时监测、预警,提供实时的商业洞察。其核心模块是高性能、集群开源、云原生、极简的时序数据库 TDengine OSS

官网地址:https://www.taosdata.com/

文档地址:https://docs.taosdata.com/get-started/package/

注意事项

  1. 安装步骤及配置文件配置信息请参考官网,有详细说明
    1. 密码设定 alter user root pass ‘youpassword’
    2. 登录: taos 或者 taos -u root -p
  2. sql遵循sql规范,对于大部分mysql 语法有较好的兼容性,因为数据记录而生故不存在修改语法,如需修改可直接根据timestamp直接使用insert
  3. 数据迁移请参考datax 组件手册,地址:https://gitcode.com/alibaba/datax/tree/master,迁移方法请参考:https://blog.csdn.net/u013810234/article/details/130910778
  4. 链接方式分为两种,taosc远程链接及REST 连接链接(此连接方式需要启动taosAdapter服务),原生链接方式效率比rest方式 提升30%
  5. 数据建模方面,超级表与子表概念类似分表,语法参考官网,数据查询查询超级表即可,数据插入可用超级表语法或者子表语法都可
  6. TDengine无普通字段索引,索引都为标签索引(类型分表规则字段)
  7. 函数,mysql 切换为TDengine时,注意不可使用特定语法,或者需要自定义函数(仅支持python 和 c 语言)
  8. TDengine字段无默认值设定,自增键,事务等,请程序指定处理
  9. 建议:行数据可排除非必要字段,存关键性信息,可增加存储效率及查询效率
  10. mybatis中插入不可使用insert标签,报 api 不支持错误,需要使用update标签
  11. 分组查询最新数据时,不可使用主键(timestamp标签),作为最新标准
  12. 使用druid 数据源时 设置属性druid.stat.mergeSql = false,会mergeSql错误

项目中使用情况

  1. pom引入依赖

    <dependency>
              <groupId>com.taosdata.jdbc</groupId>
              <artifactId>taos-jdbcdriver</artifactId>
              <version>3.2.4</version>
     </dependency>
    
  2. 设置JDBC 数据源,例如

    slave:
            # 从数据源开关/默认关闭
            enabled: true
            driverClassName: com.taosdata.jdbc.TSDBDriver
            url: jdbc:TAOS://123.57.23.160:8630/digital_constr?charset=UTF-8&locale=en_US.UTF-8
            username: root
            password: JoygisIot@2023
            validationQuery: select server_status()
    
  3. 添加DruidTaosDataProperties,详情见代码

image.png

image.png

  1. 不可使用 ifnull,ROUND等mysql函数变动请查看CompactionDataMapper.xml.back和CompactionDataMapper.xml,空判断或者小数位,请代码判断

客户端工具

  1. 安装TDengine客户端工具 ,地址: https://www.taosdata.com/assets-download/3.0/TDengine-client-3.2.2.0-Windows-x64.exe
  2. 安装dbeaver工具(字符串类型请以服务器类型做对比,**script查询可能存在字符集问题,**显示为16进制的ASCLL码,为工具问题
  3. 选择数据源为TDengine
    image.png
  4. 原生连接请选择url连接方式,方法如上
  5. 也可使用可视化工具TDengineGUI

数据迁移

利用阿里云开源项目 datax 进行数据迁移,需要用到python环境,请自行安装python3

注意: 原生包不支持 TDengine3 请参考上述”注意点“中文档

  1. 创建tag 中需要分片的所有表,例如:DataMigration.createTaosTables
  2. 将目标表名,添加到datax中
  3. 生成迁移数据查询sql,并添加到datax.json 源数据中
  4. 执行python datax.py …/job/datax.json

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1409648.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

.NET 跨平台图形库 SkiaSharp 基础应用

写在前面 SkiaSharp 是适用于 .NET 和 C# 的 2D 图形系统&#xff0c;由开源 Skia 图形引擎提供支持&#xff0c;在 Google 产品中广泛使用。 可以在应用程序中使用 SkiaSharp Xamarin.Forms 绘制 2D 矢量图形、位图和文本。支持跨平台&#xff0c;Windows、Linux、Anroid、IO…

IDEA 创建maven项目没有src

环境&#xff1a; IntelliJ IDEA 2022.3.3 (Ultimate Edition) JDK 17 Windows 11 10.0 Maven 3.9.5 创建maven项目的时候没有src目录 试过网上说的重新配置maven库&#xff0c;增加vm-options&#xff0c;并没有什么用。直到我看见了 正常创建就好了。

Spring-简介

一、概念 在向读者描述Spring时&#xff0c;笔者不打算从某处粘贴一段常见的概念性文字糊弄完本专栏的第一篇文章&#xff0c;而是用易于理解的话向读者指出几个重点。 &#xff08;1&#xff09;是框架。何谓框架&#xff1f;就像搭房子一样&#xff0c;框架就如同是墙体结构…

HCIP复习课(重发布实验)

1、ip配置&#xff1a; R1&#xff1a; R2&#xff1a; R3&#xff1a; R4&#xff1a; 2、rip&#xff0c;ospf配置&#xff1a; R1&#xff1a; R2&#xff1a; R3&#xff1a; R4&#xff1a; 3、重发布配置&#xff1a; R1&#xff1a; R2&#xff1a; R3&#xff1a; 检…

Docker网络配置与自定义IP容器通信

目录 前言 一、docker网络配置 1. bridge 虚拟网桥 2. host 网络模式 3. none 网络模式 4. 自定义container网络模式 二、自定义IP容器通信 1. 自定义IP 2. 创建所需容器&#xff08;mysql&#xff0c;tomcat&#xff09; 3. 准备项目资源 4. 构建Nginx实现负载均衡…

内推机会来啦!网络、云计算、数据库岗位招人,最高25K/月!

PaaS工程师任职要求&#xff1a; 1.熟练掌握Java开发语言&#xff0c;具备编程开发能力和脚本维护能力&#xff1b;懂微服务&#xff08;springcloud&#xff09;&#xff1b;熟悉JavaScript语言。 2.熟悉docker镜像原理&#xff0c;dockerfile制作命令与流程&#xff1b;熟悉K…

独立站怎么建设对seo好?

现如今市面上就有不少开源的建站程序可供挑选&#xff0c;哪怕你不懂技术&#xff0c;不懂代码&#xff0c;也能建自己的独立站&#xff0c;效果比不少所谓的用自己技术开发的站都要好&#xff0c;本身做一个网站不难&#xff0c;但你做网站的目的是什么&#xff1f;是为了在搜…

常见の算法

前言本文主要使用Java 什么&#xff0c;是快乐星球#&#xffe5;%……什么是算法&#xff1f; 算法是一组完成任务的指令。任何代码片段都可视为算法&#xff0c;但我们主要介绍常见算法 一、引入——二分查找 二分查找是一种算法&#xff0c;其输入是一个有序的元素列表。如…

51单片机ESP8266

一、MQTT透传AT固件 安信可提供的烧录WiFi固件工具&#xff1a; 链接: https://docs.ai-thinker.com/%E5%BC%80%E5%8F%91%E5%B7%A5%E5%85%B72 安信可提供的固件库链接: https://docs.ai-thinker.com/%E5%9B%BA%E4%BB%B6%E6%B1%87%E6%80%BB 经过测试&#xff0c;选择这个不可以…

6.jmeter非GUI命令及Beanshell组件

一、非GUI&#xff08;界面&#xff09;命令详解 1. -n 使用非gui方式&#xff0c;不能单独使用&#xff0c;必须和-t&#xff08;指定jmeter的脚本&#xff09;一起用。 #cmd命令行模式下&#xff0c;进入存放测试jmx文件的目录下 jmeter -n -t hello.jmx只会生成一个log日…

linux clickhouse 安装

1、官网下载clickhouse安装包 下载地址&#xff0c; clickhouse分lts和stable版本&#xff0c;lts是长期版本&#xff0c;一般选择安装lts版本。 其中clickhouse-server是clickhouse服务&#xff0c;就是用来访问数据存储数据&#xff0c;clickhouse-client是用来通过命令访问数…

Windows11 鼠标拖动文件到CMD控制终端窗口无效,无法显示具体文件路径

对于某些用户来说&#xff0c;他们可能会在Windows 11上遇到鼠标拖动文件到CMD控制终端时&#xff0c;无法显示具体文件路径的情况。 系统更新&#xff0c;习惯基础操作无效了&#xff0c;真的有点烦&#xff0c;不会提问就无计可施。 果然善于提问&#xff0c;才有果子吃 问…

Java日期和时间学习记录2

1、Java的LocalDate类当前时间往未来几天和过去时间几天 import java.time.LocalDate;public class Main {public static void main(String[] args) {// 获取当前日期LocalDate currentDate LocalDate.now();System.out.println("当前日期&#xff1a;" currentDa…

Go 定时器:如何避免潜在的内存泄漏陷阱

这篇文章将探讨的是 Go 中如何高效使用 timer&#xff0c;特别是与select 一起使用时&#xff0c;如何防止潜在的内存泄漏问题。 引出问题 先看一个例子&#xff0c;我们在 Go 中的 select 使用定时器&#xff0c;实现为消息监听加上超时能力。 核心代码&#xff0c;如下所示…

java安装,从java1.8升级到java11.0,java,javac,javaw,javaws,jdk,jre

最近在学习 PyFlink&#xff0c;需要安装Java11环境&#xff0c;但是本机已经安装了java1.8&#xff0c;在升级的过程中遇到了一些问题&#xff0c;在这里记录一下。 windows下安装JDK11 下载JDK11&#xff1a;https://www.oracle.com/java/technologies/downloads/#java11-w…

MyBatis入门基础篇

MyBatis基础篇 MyBatis是一款优秀的特久层框架&#xff0c;用于简化JDBC开发。其是Apache的一个开源项目iBatis,2010年这个项目由apache software foundation迁移到了google code,并且改名为MyBatis。2013年11月迁移到Github。由于MyBatis中的大部分API参数与数据库事务息息相…

详细介绍 Go 中如何实现 bitset

文章目录 bitset 结构元素位置代码实现构造函数BitSet 的方法基础方法containsclearadd 集合方法computeSize方法定义intersectuniondifference 遍历集合的元素总结 最近尝试在 B 站录些小视频&#xff0c;我的 B 站主页。录视频当是为了彻底搞懂某个知识点的最后一步吧&#x…

【C++】stack、queue的使用及模拟实现

目录 一、stack1.1 stack的使用1.2 stack的模拟实现 二、queue2.1 queue的使用2.2 queue的模拟实现 一、stack 1.1 stack的使用 stack是一种容器适配器&#xff0c;它的特点是后进先出&#xff0c;只能在容器的一端进行插入和删除操作。 stack的使用很简单&#xff0c;主要有…

代码随想录算法训练营31期day4,力扣24+19+02.07+142

24&#xff0c;动指针 class Solution { public:ListNode* swapPairs(ListNode* head) {//建立虚拟头结点auto dummynew ListNode(-1);dummy->nexthead;for(auto pdummy;p->next&&p->next->next;){auto ap->next;auto ba->next;p->nextb;a->n…

图像旋转角度计算并旋转

#!/usr/bin/python3 # -*- coding: utf-8 -*- import cv2 import numpy as np import timedef Rotate(img, angle0.0,fill0):"""旋转:param img:待旋转图像:param angle: 旋转角度:param fill&#xff1a;填充方式&#xff0c;默认0黑色填充:return: img: 旋转后…