TDC 5.0:多集群统一纳管,构建一体化大数据云平台

news2024/12/23 16:12:44

图片

近期,星环科技数据云平台Transwarp Data Cloud(简称TDC)5.0版本正式发布,TDC5.0架构屏蔽底层多个TDH集群的差异,采用统一操作模式,新增一个多集群抽象与管理层,能够实现多集群网络互通、跨集群资源调度。

TDC 是基于云原生技术的数据云平台,星环科技对它的调度、存储、网络全部进行了优化,使用星环科技自己的调度系统、本地存储系统、虚拟网络;操作系统上一层是多集群管理;第三层是数据云管理平台,实现了多租户、多用户,包括统一的应用生命周期管理;再上一层是星环科技提供的各类大数据产品目录,包括各种数据库、数据科技平台、开发平台,以及TKH企业级知识平台;图中左和右分别是面向企业数据应用的开发和数据应用的部署托管,做到了面向企业的数据以及数据应用在一个平台上提供,因此,TDC是企业级面向数据全生命周期管理的云原生PaaS平台。

图片

TDC 5.0 版本新增多集群抽象与管理层,可在一个控制台上对所有的集群应用做生命周期的管理、统一的运维、运营和配置。TDC5.0 在多个TDH集群之上实现了多租户的功能,能在多TDH集群上建立租户,把租户和集群进行解耦。举个例子,租户1可以使用集群1、2、3、4的资源,在线查询业务本身大部分运行在集群3上,在白天忙的时候,如果集群1有资源,可以把负载调度在集群1上进行部署。

TDC 5.0 版本满足用户四大需求

第一,集群能统一管理,实现多个集群统一管理,用户只需登录一个控制台就可以看到多个集群情况,应用的运行情况、版本情况,以实现多集群应用的统一管理等。

第二,资源能统一调度,能够跨多个集群复用资源,实现多个集群的资源更均衡地使用。

第三,数据能统一管理,实现跨集群的数据灵活共享,比如Nocopy的数据共享,保证数据的新鲜性。

第四,面向新业务上线时,可提供多租户方式,快速地启动一个虚拟集群部署业务。

图片

举了个例子来说明,比如有TCOS1和TCOS2两个集群,要实现的第一个目标是在集群1负载比较重的时候,不管是存储资源还是计算资源不足都要扩容。此时,如果TCOS集群是一个新建的,甚至是一个异构的,比如满足新上的ARM集群,可以把存储资源TDDMS Tabletserver在这上面增加三个副本,HDFS可以把DataNode增加副本,对应的把Executor也在这个节点上部署起来,就好像为这个集群增加扩容一样,这样就实现了计算类的组件和存储类的组件都在资源富足的集群上进行跨集群的扩容,达到这个目的之后,TDC 能在跨集群对已有的组件进行扩容,提升集群整体使用率,也均衡了不同集群之间使用率的差别。

另外一种情况,我们希望资源的扩展是自动的,以适应不可预见的负载变化。例如,TDH集群2用于在线查询,而TDH集群3则服务于金融行业的客户案例,这些案例需要全天候24小时不间断的服务,并且对响应时间非常敏感。在白天,批处理集群的负载通常较低,而其他集群可能负载较高。在常规部署中,存储和计算资源是预设的固定数量。当某集群的负载增加时,如果其他集群的资源仍有剩余,我们可以通过设置弹性伸缩策略来优化资源分配。第一,我期望对计算执行引擎增加多少副本;第二,增加到哪个集群之上。

配置好策略后,我们可以采用两种策略来实现资源的自动扩展。第一种是基于时间的策略,例如,从早上8点开始,如果在线查询活动增多,我们可以为系统自动增加三个计算执行引擎。第二种是基于负载的策略,这会考虑整个服务器的计算引擎负载情况,包括任务队列的长度、排队情况、等待时间,以及CPU和内存的利用率。通过综合这些因素,系统可以决定是否需要增加计算资源。

根据这些策略,系统可能会在资源有空闲的集群上增加计算执行引擎。例如,如果Quark Server2和Quark Server3在特定时间点有可用资源,系统就会分别为它们增加一组计算执行引擎。这样,我们就实现了资源的弹性伸缩,能够根据实际需求动态调整计算能力。

举了个例子来说明,比如有TCOS1和TCOS2两个集群,当TCOS1集群负载过重时,需要扩容,则可以使用TCOS2集群的资源,通过增加TDDMS Tabletserver副本、HDFS DataNode和Executor来实现跨集群扩容,从而提升整体使用率,并平衡不同集群的使用。

另外一种情况,我们希望资源扩展能够自动进行,以适应不可预见的负载变化。比如,在线查询服务,需要全天候服务且对响应时间敏感,可以通过弹性伸缩策略,在其他集群资源有剩余时,自动调整资源分配。

我们有两种策略来实现资源的自动扩展:基于时间的策略,在查询活动增多的时间段,如早上8点,自动增加计算执行引擎;基于负载的策略:根据服务器的计算引擎负载、任务队列、CPU和内存利用率等因素,决定是否增加计算资源。

TDC数据云平台,一方面可承载星环科技已有的大数据产品,现在已经扩展到了数据流通交易,包括数据应用的开发,另外可以托管企业已有的开源组件。截至目前,星环科技数据云平台 TDC 已经在数十家大型企业落地,覆盖金融、政府、交通、能源,运营商等多个行业。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1933639.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

数据库管理的艺术(MySQL):DDL、DML、DQL、DCL及TPL的实战应用(上:数据定义与控制)

文章目录 DDL数据定义语言1、创建数据库2、创建表3、修改表结构4、删除5、数据类型 列的约束主键约束(primary key)唯一约束(unique key)非空约束检查约束(check)外键约束(foreign key&#xff…

顶顶通呼叫中心中间件-被叫路由、目的地绑定(mod_cti基于FreeSWITCH)

顶顶通呼叫中心中间件-被叫路由、目的地绑定(mod_cti基于FreeSWITCH) 1、配置分机 点击分机 -> 找到你需要设置的分机 ->呼叫路由设置为external,这里需要设置的分机是呼叫的并不是坐席的分机呼叫路由 2、配置拨号方案 点击拨号方案 -> 输入目的地绑定 …

C#实战 | 求解《丘建算经》百鸡问题

谈起古代数学,总会想起古希腊欧几里得的名著《几何原本》。而实际上,中国的《周髀算经》《九章算术》《缉古算经》等同样经典,尤其是《九章算术》,更以其算法实用性闻名世界。 中国古代数学的一些发展成果可谓惊艳,足…

不入耳耳机哪个牌子好用?五款卓越精品,小白必看!

怎么选到一款自己满意的开放式耳机?对于刚接触开放式耳机的朋友们来说,耳机的音质、续航、佩戴舒适度都是需要考虑到的,但是普通人往往很难去全面的了解分析耳机的这些性能配置。不入耳耳机哪个牌子好用?为了帮助大家解决这个难题…

Redis三种常用的缓存读写策略

Cache Aside Pattern(旁路缓存模式) 现在基本都用这个模式 Cache Aside Pattern 中服务端需要同时维系 db 和 cache,并且是以 db 的结果为准。 读写步骤: 写: 先更新 db,然后直接删除 cache 。 读 : …

PGCCC|【PostgreSQL】PG考证对工作上有什么好处# PG证书

认证 PostgreSQL 考证(PostgreSQL Certification)在工作上有以下几个好处: 增强专业能力:通过考证,可以系统地学习和掌握 PostgreSQL 数据库的知识和技能,提高自己的专业水平。 提升职业竞争力&#xff1…

Vue.js 生命周期详解:从创建到销毁的全过程

💝💝💝欢迎来到我的博客,很高兴能够在这里和您见面!希望您在这里可以感受到一份轻松愉快的氛围,不仅可以获得有趣的内容和知识,也可以畅所欲言、分享您的想法和见解。 非常期待和您一起在这个小…

leetcode_189. 轮转数组

leetcode_189. 轮转数组 题目描述: 给定一个整数数组 nums,将数组中的元素向右轮转 k 个位置,其中 k 是非负数。 示例 1: 输入: nums [1,2,3,4,5,6,7], k 3 输出: [5,6,7,1,2,3,4] 解释: 向右轮转 1 步: [7,1,2,3,4,5,6] 向右轮转 2 步: [6,7,1,2,…

炎炎夏日 凉凉机房

夏季高温即将到来,温度过高,电梯故障频发。机房温控方式除了加装空调之外,您还知道其他的方式吗? 小伍告诉您一个小妙招:为电梯加装节能设备,小小机器大大能量。 通常电梯在轻载上行,重载下行和…

全国数据智能与智慧政务行业产教融合共同体学术年会暨广东行政职业学院(广东青年职业学院)第一届“求是论坛”成功举办

为进一步深化现代职业教育体系建设理论研究,丰富行业产教融合共同体实践探索,7月13日,全国数据智能与智慧政务行业产教融合共同体学术年会暨广东行政职业学院(广东青年职业学院)第一届“求是论坛”在广东行政职业学院&…

Apache Paimon 在蚂蚁的应用

摘要 :本文整理自 Apache Paimon Committer 闵文俊老师在5月16日 Streaming Lakehouse Meetup Online 上的分享。内容主要分为以下四个部分: 什么是 Paimon蚂蚁 Paimon 应用场景蚂蚁 Paimon 功能改进未来规划 一、什么是 Paimon 1. 实时更新 Paimon 是…

U盘文件夹失踪?两大数据恢复策略全解析

在数字化信息爆炸的今天,U盘作为我们日常工作中不可或缺的存储工具,承载着大量重要数据和文件。然而,当您突然发现U盘中的一个重要文件夹神秘消失时,那份焦急与无助感油然而生。本文旨在深入探讨U盘文件夹失踪的原因,并…

Linux安装mysql(超详细版)

步骤1:新建一个文件夹,专放从网络下载的文件 [rootiZ2zeh6vyxsq620zifz8jaZ home]#mkdir soft #在根目录下创建也可以 步骤2:切换目录,进入soft文件中 [rootiZ2zeh6vyxsq620zifz8jaZ /]# cd home/ #若第一步文件建在根目…

15- 微分方程

对三角函数不敏感

24暑假算法刷题 | Day15 | LeetCode 110. 平衡二叉树,257. 二叉树的所有路径,404. 左叶子之和,222. 完全二叉树的节点个数

目录 110. 平衡二叉树题目描述题解 257. 二叉树的所有路径题目描述题解 404. 左叶子之和题目描述题解 222. 完全二叉树的节点个数题目描述题解 110. 平衡二叉树 点此跳转题目链接 题目描述 给定一个二叉树,判断它是否是平衡二叉树 平衡二叉树 是指该树所有节点的…

AI算法16-贝叶斯线性回归算法Bayesian Linear Regression | BLR

贝叶斯线性回归算法简介 频率主义线性回归概述 线性回归的频率主义观点可能你已经学过了:该模型假定因变量(y)是权重乘以一组自变量(x)的线性组合。完整的公式还包含一个误差项以解释随机采样噪声。如有两个自变量时…

原码、补码、反码、移码是什么?

计算机很多术语翻译成中文之后,不知道是译者出于什么目的,往往将其翻译成一个很难懂的名词。 奇怪的数学定义 下面是关于原码的“吐槽”,可以当作扩展。你可以不看,直接去下一章,没有任何影响。 原码的吐槽放在前面是…

【元器件】二极管、三极管、MOS管

二极管 D 二极管是一种具有两个电极(即正极和负极)的电子器件。它是一种非线性元件,具有许多重要的功能和应用 三极管 Q 概述 一种控制电流的半导体器件,其作用是把微弱信号放大成幅度值较大的电信号,也用作无触点开…

代理IP服务中的代理池大小有何影响?

在当今数字化时代,网络爬虫已经成为获取各类信息必不可少的工具。在大规模数据抓取中,使用单一 IP 地址或同一 IP 代理往往会面临抓取可靠性降低、地理位置受限、请求次数受限等一系列问题。为了克服这些问题,构建代理池成为一种有效的解决方…

TikTok账号矩阵运营怎么做?

这几年,聊到出海避不过海外抖音,也就是TikTok,聊到TikTok电商直播就离不开账号矩阵; 在TikTok上,矩阵养号已经成为了出海电商人的流行策略,归根结底还是因为矩阵养号可以用最小的力,获得更大的…