星环数据云平台 TDC 3.1 发布,新增滚动重启、存储回收站等八大核心功能

news2024/11/28 4:42:35

近日,星环数据云平台 Transwarp Data Cloud (以下简称 TDC)正式推出 3.1 版本。TDC 是采用云原生技术,融合星环科技全系产品打造的统一 PaaS 平台,可以为企业提供数据流通交易平台、企业湖仓一体数据湖、企业数据中台、联邦云、企业数字化转型、政务大数据、云原生数据科学云和高并发数据应用八大解决方案,能够满足企业各种数据处理场景的需求,帮助企业实现企业数据与应用的生态化建设。截至目前 TDC 已经为政府、银行、基金、能源等多个行业提供完整的数字化建设解决方案。

在星环科技 2022 年春季产品发布周上,TDC 重磅发布了 3.0 版本,提供了三大核心能力:第一,支持星环科技全系产品新版本,同时 PaaS 能力持续增强;第二,新增联邦云管理功能;第三,安全升级,新增隐私计算区。3.0 版本发布以来被众多客户认可,是一套优秀的数据云平台。经过半年的打磨,TDC 再次推出 3.1 版本 ,此次的新版本新增了八大功能,同时对原有能力进行了优化升级!

新增滚动重启、存储扩容、存储回收站等八大核心功能

滚动重启,保障业务连续性

新增对多副本高可用角色(工作负载)的滚动重启能力。将底层滚动重启能力和业务重启逻辑结合,在变更过程中,实现了分布式系统的可靠自动有序重启,保障在 TDC 上运行的大数据业务的运行连续性。

多种存储扩容方式,满足数据持续增长

支持对星环科技存储引擎 TDFS、TDDMS 进行手动扩容存储,扩容方式支持在线增加磁盘大小、增加磁盘个数、增加副本数。在扩容开始前系统将进行资源预检,无论是否可以成功扩容,都不会影响原来业务运行,并且在扩容过程中可正常提供数据读写操作。

存储回收站,避免数据误删

删除 TDFS、TDDMS、KunDB 组件或所属实例时,数据不会直接被删除,可以选择放入回收站,从而避免用户误操作删除数据导致生产事故。支持展示租户回收站内的存储总量,并可按需一键清理并查询清理记录。

高性能网络,满足 TP 场景高性能需求

引入 Macvlan 高性能网络,业务可按需开启高性能网络,满足 KunDB 等对网络性能的要求。相较于开源 Macvlan 网络方案,TDC 的方案没有物理网段的限制,可以任意自定义第二块网卡使用的网段(包括物理网段,因此不需要申请额外申请固定的 IP 网段),并且能够自动的提供第二块网卡的服务发现,完整实现了底层 Kubernetes 的 Service 功能。

除此之外,TDC 的网络能力还做了如下改进:

l 【VIP】虚拟 IP 支持绑定二层网络下的节点集合(网络可用区),虚拟 IP 将在选择的可用区对应的网段中创建,从而可以做到外部流量不只是通过 master 节点进来,提高了集群处理外部流量的能力,也通过分散到不同节点提高了可用性。

l 【SLB】为组件配置 SLB 时可开启流量转发高性能网络,开启后访问配置对象的流量将会被转发至高性能网络上,提升访问性能。

联邦云网络统一管理,更便捷联通两地集群

通过统一的域名解析体系实现联邦云集群之间的网络连接与通信,打通底层多个集群之间的网络。应用场景有:统一管理分布式部署在不同集群上的数据库实例,分散读写请求流量,提高读写效率,同时支撑在多个数据中心之间星环产品(例如 KunDB )的数据安全通信需求。在传统跨机房通信中,是通过手工搭建的方式实现的,搭建过程比较繁琐,耗费人力和时间,联邦云实现了自动的跨集群通信,更加便捷。

开源生态对接,更好满足客户多样需求

实现开源 Spark 在 TDC 的上架和运行,并与星环科技大数据体系对接,以便更灵活满足客户使用场景以及支撑星环智能分析工具 Sophon:

l 支持在 TDC 上可视化部署 Spark,支持 HA 部署,支持通过运维入口查看历史任务,支持资源扩容和缩容。

l 支持对接星环科技大数据安全管理软件 Guardian,支持对接开启安全的星环分布式文件系统 TDFS。

GPU 分组,更灵活管理 GPU 资源

支持 GPU 分组,可以精细管理和调度 GPU 资源,不同工作负载或者租户在使用时,可以指定分组的 GPU 卡资源,实现资源分组和配额管理。

高可用增强,提升平台可靠性

针对客户对于高可用的更高要求,TDC 从操作系统层开始进行梳理,并通过严格的高可用测试,改进了 TCOS 和 TDC 云管平台,以及云产品星环科技大数据开发工具 TDS 和智能分析工具 Sophon 的高可用能力,可以实现单组件副本、硬盘故障、网络故障、控制单节点故障、工作多节点故障下,平台仍然可以正常对外服务。

同时,为了提升易用性,TDC 还新增了模块化安装功能,安装 TDC 时可按需选装所需系统服务,后续有需要时可通过 TDC 安装工具按需部署。目前可选装包括微服务引擎、DevOps、应用市场、数据市场模块。

除新增功能外,TDC 本次升级也对原有功能进行了优化和升级,其中包括:

l 【统一用户】TDC 各系统实现统一用户、登录和门户,同时兼容原有租户用户管理模式,提升用户登录体验。

l 【权限管控】增强 HDFS 权限管控,解决不同租户的同名用户权限不隔离的问题,实现多租户共享 TDFS 目录权限隔离,规范并实现上游组件在 TDFS/ Zookeeper/KunDB 创建不同路径,同时支持白名单机制,实现跨租户访问 TDFS 权限由 Guardian 严格控制。

截至目前,星环科技数据云平台 TDC 已经在数十家大型企业落地,覆盖多个行业。其中典型案例包括:为江苏农信建设的大数据 DAAS 应用平台,提升了江苏农信数据输出服务能力;为上海大数据中心建设了上海市数据共享交换平台,为一网通办、政府大屏、政务决策等政务应用提供支撑,有效提升政府部门办事效率;为中化中化信息大数据平台建设提供了一站式的大数据解决方案,充分整合和管理企业各个系统全生命周期数据,快速挖掘数据背后的价值,综合提升企业管理和运营能力。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/91893.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Redis框架(十四):大众点评项目 基于Redis实现点赞功能实现

大众点评项目 基于Redis的点赞功能实现需求:基于Redis实现点赞功能实现业务实战总体代码展示总结SpringCloud章节复习已经过去,新的章节Redis开始了,这个章节中将会回顾Redis实战项目 大众点评 主要依照以下几个原则 基础实战的Demo和Coding…

解读一个四路组相联cache代码

解读一个四路组相联cache代码 在《计算机组成原理,软硬件接口》中,第五章便是cache的学习。本人初学cache,难免有疏漏之处,源代码github地址:https://github.com/airin711/Verilog-caches 1、四路组相联cache主要特征…

Milvus 2.1.x 到 Milvus 2.2.x 升级实践

近日,Milvus 2.2.0 发布,新版本里支持了许多激动人心的功能,包括:磁盘索引(DiskANN)、从文件中批量导入数据(bulk_insert)、基于角色的访问控制(RBAC)、集合生…

Linux | 网络概念理解 | 对网络的初始

文章目录重新看待计算机体系结构软件分层的思想网络中的分层协议的理解局域网的理解MAC地址 && IP地址报头的作用端口号(port)重新看待计算机体系结构 计算机由硬件组成,而不同硬件之间要怎么通信,或者说要怎么进行数据的…

MySQL——count(*)的底层实现以及相关优化

在开发系统的时候,可能需要需要计算一个表的行数这时候你可能会想,一条 select count(*) from t 语句不就解决了吗? 但是,会发现随着系统中记录数越来越多,这条语句执行得也会越来越慢。然后可能就想了,My…

盘点2022企业网络安全的七大成功要素

网络安全弹性已成为企业的重中之重,高达62%的受访企业在过去两年中经历了影响业务的安全事件。 最流行的四大攻击事件类型是: 1)网络或数据泄露(51.5%) 2)网络或系统中断(51.1%) 3)勒索软件事件&#x…

openpnp - 软件调试环境搭建

文章目录openpnp - 软件调试环境搭建概述笔记openpnp官方站点将openpnp工程克隆到本地将openpnp的wiki工程克隆到本地查看openpnp开发指南根据openpnp开发指南搭建openpnp开发环境IDE的选择IntelliJ IDEA学习版的安装引入openpnp工程在IDEA中, 运行openpnp主程序配置IntelliJ I…

工业手持终端并非“单兵作战”,5G智能模组时刻在线赋能

随着智能终端技术的不断演进,稳定性、实时性和续航能力强的工业手持终端为移动通信、消费电子、工业信息采集等领域提供便捷、高效的数据采集、存储、传输等功能服务。在智慧物流、智慧零售、智能制造、智慧医疗等领域,工业手持终端仍表现出需求激增、功…

Neuron 2.3.0 发布:更轻松地接入和管理海量工业设备

Neuron 2.3.0 版本现已正式发布! 除了新增数据统计、模糊搜索、页面下载日志等功能提升产品易用性外,Neuron 2.3.0 版本还新增了 CIP Ethernet/IP、Mitsubishi Melsec 1E frame E71 和 Fanuc Focas 三个协议驱动,以更强大的能力帮助工业用户…

chatgpt使用教程

** 使用门槛:需要自行准备能开全局代理的科学上网工具 好评赠送免费科学上网工具,也可以自己准备科学工具。 ** 下单以后,我们会发送一串账号密码给您。如图: 其中卡号就是chatgpt的账号,密码就是chatgpt密码。 第…

数据结构---优先队列

优先队列实现方式入队出队JAVA实现总结二叉堆是实现优先队列的基础,上一篇二叉堆博文: 二叉堆队列的特点是先进先出(FIFO)。 优先队列不再遵循先入先出的原则,而是分为两种情况。 最大优先队列,无论入队顺…

Ansible 服务器主机配置

使用 ansible 来对远程主机进行部署的话。我们需要首先对远程主机进行配置。 配置文件路径 配置文件位于:/etc/ansible/hosts 路径下面。 可以使用 vi 工具进行打开。 配置示例 下面是一个简单的配置示例。 [db]127.0.0.1[app]127.0.0.1 ansible_connections…

关于Playwright Xpath找不到元素问题解决方案

今日像往常进行xpath定位元素 发现代码里定位不出来 所以我就手动修改定位xpath 最后怎么修改都获取不到 返回None 那我就向上找 找到他的外祖母 最后进行inner_html() 发现元素是存在的 没有任何问题 这里我就又更加怀疑自己定位出错 折腾了半天发现定位不出来 于是我放弃了…

目标检测算法——车辆牌照识别数据集汇总 2(附下载链接)

🎄🎄近期,小海带在空闲之余收集整理了一批车辆牌照识别数据集供大家参考。 整理不易,小伙伴们记得一键三连喔!!!🎈🎈 目录 一、伊朗车牌数据集 🎄&#x1f3…

【目标跟踪】光流法运动视频跟踪【含Matlab源码 1357期】

⛄一、光流场简介 1 案例背景 运动视觉研究的内容是如何从变化场景中的一系列不同时刻的图像中提取有关场景中物体的形状、位置和运动的信息。根据研究的方法,它可以分为两类:基于特征的方法和基于光流场的方法。基于特征的方法抽取特征点,是…

傻白探索Chiplet,Chiplet面临的挑战之互连和封装(四)

目录 一、互连技术 二、封装技术 (1)英特尔 (2)台积电 三、生产流程 四、软件技术 实施Chiplet技术面临的主要挑战包括: 互连技术。Chiplet技术需要开发新型互连技术,以便将小芯片组合在一起。目前&a…

51单片机模块化编程

模块化 传统方式编程:所有的函数均放在 main.c 里,若使用的模块比较多,则一个文件内会有很多的代码,不利于代码的组织和管理,而且很影响编程者的思路。 模块化编程:把各个模块的代码放在不同的 .c 文件里…

FL Studio21新版终于有内置的强大混响插件了

FL Studio 21新版终于有内置的强大混响插件了FL Studio 21新版不光如此,还增加很多官方主题,并内置了多款可选,满足大家对个性化的需求! 而且每一个人都能快速地创建属于自己的主题,彰显你的与众不同! 一分…

JavaScript(五):函数、作用域

JavaScript函数函数的基本使用return返回语句arguments的使用函数的两个案例作用域函数的基本使用 1.函数声明 格式: function 函数名(){ 函数体代码 } function是声明函数的关键字,必须小写 2.函数调用 函数名(); 调用的时候不要忘记加小括号函数如果…

【数据分析】大型ADCP数据集的处理和分析(Matlab代码实现)

👨‍🎓个人主页:研学社的博客 💥💥💞💞欢迎来到本博客❤️❤️💥💥 🏆博主优势:🌞🌞🌞博客内容尽量做到思维缜…