云边端协同时序数据库的挑战与解决方案

news2024/11/26 1:39:51

现今,时序数据库在经济金融、环境监控、医疗生物等多个领域有着极为广泛的需求。其中,在环境监控等领域,时序数据库主要部署在云边端架构中。但如何实现云边端协同是目前TSDB所面临的巨大挑战。由于云、边和端的计算、存储资源状况和对数据管理的需求各不相同,云边端协同时序数据管理存在异构性、高维性、实时性和鲁棒性的需求特点。行业急需要在传统数据管理的基础上,进一步考虑云边端协同计算的特点,提出新型的时序数据管理理论和方法。

针对行业云边端协同问题,CnosDB计划开展相应的云边端协同时序数据库研究工作,力求找到合适的解决方案。首先,我们会建立面向云边端协同的时序数据管理基础理论,奠定理论基础。其次,面向云边端协同时序数据管理的存储、时序数据特点及时序数据管理需要,我们将研究面向云边端协同的弹性分层存储技术,实现高效、高可用、高可靠的云边端协同时序数据存储。最后,在此基础之上研究面向云边端协同的索引结构和查询处理与优化方法,为面向云边端协同的时序数据管理提供高效、可扩展的查询技术。

具体来看,CnosDB会进行以下四方面工作:

第一,面向云边端协同的时序数据模型。我们将研究面向云边端协同的新型时序数据模型包括数据结构、基本数据操作、数据完整性约束理论,从云边端协同场景出发,考虑到云边端三方面的不同需求以及云边端协同数据存取的需求,设计契合云边端协同的数据模型,为设计新型面向云边端协同的数据管理系统奠定理论基础。

第二,面向云边端协同的时序数据弹性分层存储技术。我们将研究面向云边端的数据弹性分层存储技术,设计自适应分层数据存储模型与云边端协同智能存储方案,针对冷热数据进行分级处理,同时为使压缩效果达到最理想的效果,利用深度学习等方法,为各级数据设计弹性压缩机制,解决云边端协同中海量高维时序数据存储和压缩问题,进而降低数据存储成本和传输成本。

第三,面向云边端协同的索引技术。我们将研究可更新的云边端分布式索引结构;针对云边端不同设备计算任务的不同设计自适应的索引结构以分别服务于不同计算任务的设备,针对云边端通信任务设计加速通信数据读取的索引结构。

最后,面向云边端协同的查询处理和优化。我们将研究云边端协同的数据拉取策略搜索算法和基本数据操作算法;基于面向云边端协同的数据操作算法,研究基于深度学习、强化学习和MCTS的智能逻辑查询优化和物理查询优化方法,设计端边节点上的按需抽样算法和Any-time近似查询算法,降低端边节点在高维时序数据流上的查询延迟。

我们不惧怕问题,CnosDB希望将科研成果服务于实践,为行业发展奉献自己的绵薄之力。

本文特邀撰稿作者:

哈尔滨工业大学计算机学部

王宏志教授

海量数据计算研究中心主任,数据科学与大数据技术专业负责人,青年龙江学者。研究方向为大数据管理与分析。在国内外重要会议和期刊发表学术论文300余篇,出版学术专著4本,授权发明专利30余项。获黑龙江省自然科学一等奖和教育部高等学校科技进步一等奖,获黑龙江省青年科技奖等。先后主持国家自然科学基金重点项目。任ACM SIGMOD中国秘书长、中国数据库专业委员会常务委员,曾任CCF哈尔滨分部主席。

CnosDB简介

CnosDB是一款高性能、高易用性的开源分布式时序数据库,现已正式发布及全部开源。

欢迎关注我们的社区网站:https://www.cnosdb.com

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/403210.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【LeetCode】剑指 Offer(21)

目录 题目:剑指 Offer 39. 数组中出现次数超过一半的数字 - 力扣(Leetcode) 题目的接口: 解题思路: 代码: 过啦!!! 题目:剑指 Offer 40. 最小的k个数 -…

论文阅读和分析:A Tree-Structured Decoder for Image-to-Markup Generation

目录1.主要内容:2.树解码器3、损失函数4、结论:参考:1.主要内容: (1、提出创新的树结构解码器来表示树、输出树、优化基于注意力的编解码框架; (2、设计一个问题说明特别是在复杂结构时字符解…

AidLux AI 应用案例悬赏征集活动正式启动!

ChatGPT爆火之后,AI领域的人才需求迎来了疯狂增长,AI学习也一跃成为业界大热门。 但AI囊括知识广、学习周期长,要克服理论、实战等多重阻碍并不容易。 而持续降低AI学习门槛是我们一直在做的事情。 为此,我们举办了多期AidLux …

R语言基础(五):流程控制语句

R语言基础(一):注释、变量 R语言基础(二):常用函数 R语言基础(三):运算 R语言基础(四):数据类型 6.流程控制语句 和大多数编程语言一样,R语言支持选择结构和循环结构。 6.1 选择语句 选择语句是当条件满足的时候才执行…

【麒麟服务器操作系统忘记开机密码怎么办?---银河麒麟服务器操作系统更改用户密码】

银河麒麟服务器操作系统更改用户密码 1.启动主机进入 grub 菜单,如图 1.1 以最新版本 Kylin-Server-10-SP2-x86-Release-Build09-20210524 为例。 图 1.1 grub 菜单 2 编辑 kernel 2.1按下”e”输入,输入用户名和密码(root/Kylin123123&…

【数据结构初阶】由浅入深学习链表

目录 前言 链表的概念及结构 链表的分类 单链表的实现 接口实现 1.结构体 2.创建一个新结点 3.打印链表数据 4.尾插数据 5.尾删数据 6.头插数据 7.头删数据 8.任意位置删除 9.查找位置 10.pos之前插入 11.pos之后插入 12.释放内存 完整源码 总结 前言 在我们…

Java Web 实战 07 - 多线程基础之单例模式

大家好 , 这篇文章给大家带来的是单例模式 , 单例模式中分为懒汉模式和饿汉模式 , 懒汉模式是需要用的到的时候才去创建实例 , 而饿汉模式是程序一启动就立刻创建实例 , 在这其中还有很多其他问题需要我们去研究 推荐大家跳转到这里 , 观看效果更加 上一篇文章的链接我也贴在这…

1641_strchr函数的功能分析以及peek功能实现分析

全部学习汇总: GreyZhang/g_unix: some basic learning about unix operating system. (github.com) 继续分析shell例程代码,再次遇到了一个陌生的库函数strchr。 1. 从这里看,这个是一个库函数无疑了。 2. 这个函数,或者说这三个…

2个步骤就能批量给视频添加滚动字幕

现在很多小伙伴在剪辑视频的时候都会给自己的视频添加适配的字幕,但是有很多的视频想要添加一样的滚动字幕时,有一个能批量添加剪辑的工具非常重要,今天小编就给大家分享一个可以批量剪辑大量视频的工具,下面一起看看具体的操作步…

超导百年:物理学“圣杯”是如何诞生的?

最近科技圈流传的大新闻,大家都知道了吧?简单来说,美国物理学会的三月会议上,来自罗彻斯特大学的Ranga Dias宣布,他们团队在近环境压强下实现了室温超导。这个消息在中文互联网流传之后,很快就有了详细的解…

刷题(第三周)

目录 [CISCN2021 Quals]upload [羊城杯 2020]EasySer [网鼎杯 2020 青龙组]notes [SWPU2019]Web4 [Black Watch 入群题]Web [HFCTF2020]BabyUpload [CISCN2021 Quals]upload 打开界面以后&#xff0c;发现直接给出了源码 <?php if (!isset($_GET["ctf"]))…

网络工程师面试题(面试必看)(3)

作者简介:一名云计算网络运维人员、每天分享网络与运维的技术与干货。 座右铭:低头赶路,敬事如仪 个人主页:网络豆的主页​​​​​​ 前言 本系列将会提供网络工程师面试题,由多位专家整合出本系列面试题,包含上百家面试时的问题。面试必考率达到80%,本系列共86道题…

银行管理系统--课后程序(Python程序开发案例教程-黑马程序员编著-第7章-课后作业)

实例1&#xff1a;银行管理系统 从早期的钱庄到现如今的银行&#xff0c;金融行业在不断地变革&#xff1b;随着科技的发展、计算机的普及&#xff0c;计算机技术在金融行业得到了广泛的应用。银行管理系统是一个集开户、查询、取款、存款、转账、锁定、解锁、退出等一系列的功…

一文分析Linux v4l2框架

说明&#xff1a; Kernel版本&#xff1a;4.14 ARM64处理器&#xff0c;Contex-A53&#xff0c;双核 使用工具&#xff1a;Source Insight 3.5&#xff0c; Visio 1. 概述 V4L2(Video for Linux 2)&#xff1a;Linux内核中关于视频设备驱动的框架&#xff0c;对上向应用层提供…

Transformer-XL:打破序列长度限制的Transformer模型

❤️觉得内容不错的话&#xff0c;欢迎点赞收藏加关注&#x1f60a;&#x1f60a;&#x1f60a;&#xff0c;后续会继续输入更多优质内容❤️&#x1f449;有问题欢迎大家加关注私戳或者评论&#xff08;包括但不限于NLP算法相关&#xff0c;linux学习相关&#xff0c;读研读博…

Redis经典五种数据类型底层实现原理解析

目录总纲redis的k,v键值对新的三大类型五种经典数据类型redisObject结构图示结构讲解数据类型与数据结构关系图示string数据类型三大编码格式SDS详解代码结构为什么要重新设计源码解析三大编码格式hash数据类型ziplist和hashtable编码格式ziplist详解结构剖析ziplist的优势(为什…

TypeScript 基础学习之泛型和 extends 关键字

越来越多的团队开始使用 TS 写工程项目&#xff0c; TS 的优缺点也不在此赘述&#xff0c;相信大家都听的很多了。平时对 TS 说了解&#xff0c;仔细思考了解的也不深&#xff0c;借机重新看了 TS 文档&#xff0c;边学习边分享&#xff0c;提升对 TS 的认知的同时&#xff0c;…

Qt静态扫描(命令行操作)

Qt静态扫描&#xff08;命令行操作&#xff09; 前沿&#xff1a; 静态代码分析是指无需运行被测代码&#xff0c;通过词法分析、语法分析、控制流、数据流分析等技术对程序代码进行扫描&#xff0c;找出代码隐藏的错误和缺陷&#xff0c;如参数不匹配&#xff0c;有歧义的嵌…

Linux查看UTC时间

先了解一下几个时间概念。 GMT时间&#xff1a;Greenwich Mean Time&#xff0c;格林尼治平时&#xff0c;又称格林尼治平均时间或格林尼治标准时间。是指位于英国伦敦郊区的皇家格林尼治天文台的标准时间。 GMT时间存在较大误差&#xff0c;因此不再被作为标准时间使用。现在…

数据传输服务DTS的应用场景(阿里巴巴)

数据传输服务DTS的应用场景(阿里巴巴) 数据传输服务DTS&#xff08;Data Transmission Service&#xff09;支持数据迁移、数据订阅和数据实时同步功能&#xff0c;帮助您实现多种典型应用场景。 不停机迁移数据库 传输方式&#xff1a;数据迁移 为了保证数据的一致性&#…