多云数据存储,理想与现实之间还差着什么?

news2024/11/24 19:07:36

去年底,“数据二十条”正式颁布,数据要素全面提速已是指日可待。

无疑,数据作为数字经济的基础,其价值的释放依赖于数据的流动、共享和应用。数据要素只有充分地流动和应用起来,才能够实现价值的最大化。

换而言之,进入多云时代的用户们,数字化转型已然迈入纵深阶段,业务侧用数的及时性和灵活性大幅提升,这也促使了数据的“双循环”出现:数据在内部能够很好地拉通、流动、共享和管理,数据对外需要与各大公有云服务商对接、流动与应用。

这一切使得多云数据存储成为今年以来市场的热门话题。那么,企业上云和用数面临着哪些重要挑战?多云数据存储有着哪些新趋势?哪些存储能力是用户未来不可忽视的?近日,信通院携手云计算与数据存储厂商联合发布了《多云数据存储白皮书》(以下简称:《白皮书》),全面分析了当前多云数据存储所面临的挑战与未来发展趋势,为企业多云时代的用数带来了一份绝佳参考指南。

多云时代,企业用数有这些拦路虎

多云环境正在成为越来越多用户的标配。根据混合云产业推进联盟的数据显示,我国已经有88.7%的用户选择了多云架构。

多云之所以获得用户们的青睐,究其原因,主要是它可以取长补短,最大限度匹配业务对于灵活性的需求,同时实现成本最优化;此外,多云还能实现多元供应体系,减少对单一云平台的过度依赖和提升云环境的容错率,避免因为故障导致全线业务崩塌,保障业务连续性。

作为多云架构中数据资源的载体,多云数据存储肩负着数据要素的传输、处理、存储和应用等多个环节,在数据要素价值释放中扮演着极为重要的角色。因此,随着数据要素化全面提速,多云数据存储的重要性也得以凸显。

不过,理想很丰满,现实就有多骨感。就在多云数据存储蓬勃发展之际,市场参与者众多、烟囱式的建设方式以及对于上云应用适配不足,使得数据流动有限、壁垒众多,无形中成为企业上云和用数的拦路虎、绊脚石。

《白皮书》就指出,多云时代,企业在上云用数主要面临五大挑战:多云数据流动难、跨云数据共享难、多云应用改造难、数据安全保护难和数据应用能效低五大挑战。

比如,很多企业用户都面临着多云数据流动难的情况,尤其是跨云流动的数据多样性还很不足。众所周知,当前很多企业的多云环境往往是:私有云+多个公有云+边缘侧的组合,企业往往根据不同应用的不同特点,将应用部署到最合适的环境之中,但却面临着跨云数据一致性难以保障、数据跨云流动耗时低效、数据难以跨企业应用、跨数据存储类型流动等问题。

 另外,跨云数据共享难也是当前众多用户面临的一大难题。由于每家云服务商在应用接口、数据交换标准、技术采用上存在着差异,所以天然在生态上难以互通、跨云调用数据难度大,多云之间数据共享等互操作性难度大且成本高昂。

以某零售企业为例,它自身在本地私有云环境部署了传统的数据仓库应用,而营销团队可能在A云上正在使用某款云数据仓库应用来做个性化营销,而数据科学团队则可能在B云上正在进行其他模型的机器学习训练,一旦出现新项目需要共享多云之间的数据,就会遇到数据可移植性和互操作性的难题,跨云数据共享难度可见一斑。

因此,数据存储作为云的数据底座,肩负着多云数据自由流动、高效共享与应用的重任,未来必然会被所有上云用数的企业所倚重,成为他们数字化转型中的坚实底座。

这些多云数据存储趋势不容忽视

今天,大多数企业均会与多个云服务商合作,数据通常分散在不同的地方,数据可能存放在数据存储厂商的存储系统之中,可能放在公有云服务商的云存储之中,还可能存放在边缘侧的超融合系统之中,技术栈极为复杂且管理困难,很容易造成更多的数据孤岛。

因此,《白皮书》认为,多云环境下第一个最为迫切的重要趋势就是面向多云构建统一的数据底座,以消除跨云数据共享的难度,让跨云数据共享不再成为难事。这其中,构建全局数据视图又至关重要,以数据为中心,基于统一元数据构建全局命名空间提供统一数据视图,通过全局数据视图和广域网络,实现数据跨云、跨域、跨服务商共享。

 例如,在超算云环境中,数据密集型科研场景的大量涌现,很多超算用户常见的情况是:在数据中心C进行AI训练,但数据源来自于数据中心A和B,数据中心A和B还需要对训练结果数据实时可见和按需访问。借助跨域全局文件系统实现统一数据视图,超算用户可以实现跨云/数据中心的数据共享,更加高效完成各种超算任务。

《白皮书》认为,多云环境中第二个重要的趋势就是多云环境数据流转、数据分类分级将是常态,企业需要增强的智能分级存储能力,从而使能数据跨云流动。众所周知,数据的智能分级多年前已经在存储系统中出现,当时由于闪存价格昂贵,存储系统利用分级技术实现冷热数据的流动,从而在性能、成本、容量等方面实现最优。

如今,这种智能数据分级存储能力需要进一步进化与演进。多云环境中,企业的数据规模、数据类型、数据分布、数据保护等级、应用类型等均远胜过往,多样化应用对数据存储有着不同的需求,数据不仅仅需要在存储系统内部不同介质之间流动,还需要在不同存储系统,甚至跨云之间实现全生命周期的流转。

所以,企业需要增强基于策略的数据智能分级流动能力。在多云环境中,利用基于数据存储的分级、复制等技术,实现企业多云数据中心之间、不同类型数据存储之间基于策略的数据分级流动,以实现跨云数据复制,数据迁移,数据备份等。

例如,很多企业级存储系统均有网关功能,可以与公有云进行对接,将数据复制或者备份到公有云之中,不仅实现了存储容量、成本的最优,还能利用公有云实现数据保护与容灾。

《白皮书》认为,在多云环境中,云边协同的场景会越来越多,随着云边协同不断深入,边缘IT基础设施会加速向功能齐全、集成度高和宽环境适配的超融合架构演进,来实现资源协同、应用协同、数据协同、智能协同、管理协同五大云边协同。

事实上,当前在很多行业中,云边协同场景成为常态,像无人驾驶、智慧矿山、智能交通、智慧零售、智慧能源等均是典型的云边协同。这种场景往往是典型的智能化应用场景,会综合运用到云计算、物联网、大数据、人工智能等多种技术,边缘侧环境复杂、并且会持续产生大量数据,需要将边缘侧数据传输到云端进行人工智能模型训练,然后再将模型下发到边缘侧运行。

例如,在很多智慧风电场景中,规模通常能达到上千甚至上万台风机,一个风机具备2000个以上的检测点,检测点每天产生的数据量能够达到PB级别,在云端集控中心的工业大数据平台需要不断收集海量数据进行训练和迭代各种算法模型,然后将运维预警模型下发到边缘侧,对于边缘侧的基础设施的功能、性能、环境适配等要求越来越高。

除了这三大趋势之外,《白皮书》认为,多云数据存储还需要加快面向容器演进,从而助力应用云化改造;加快部署安全可信数据存储,从而加强多云数据安全;推动介质节能、算法节能等数据存储高效节能技术,从而实现绿色低碳发展。

《白皮书》倡议:推动多云数据产业发展

如今,业界普遍认为多云不是云发展过程中的一个临时阶段,而是企业基础设施的一种新常态,未来将持续在企业数字化转型中发挥着关键作用。

多云数据产业由于存在着大量的市场参与者,既有各种云服务商,还有广大传统企业级存储厂商,更有一些边缘设备、安全厂商,虽然技术路径、产品侧重点各有不同,但大家普遍意识到,“各自为政”的思维愈发不符合用户在多云时代的用数需求,加强多云数据产业建设,不断完善产业生态,实现数据自由流动、数据高效共享是产业发展的必然趋势。

为此,《白皮书》联合产业界发出了三大倡议:

首先,继续完善多云数据存储能力,持续促进数据共享、跨云自由流动。数据存储层最适合解决数据自由流动的难题,虽然当前云服务提供商和数据存储厂商已经有了很多合作,在数据互通、数据灾备和数据服务等方面实现不小突破,但未来需要加大合作力度,消除更多障碍,让多云数据交互安全、可信,从而在业务中产生更大价值。

其次,多云数据存储需要联合更多行业用户进行创新实践,助力行业推广应用。像金融、政府、交通、能源、零售等行业均在向多云环境演进,典型应用实践很容易形成推广效应,在该案例所属行业中起到带头作用,有利于多云数据创新在不同行业中的推广与应用。

第三,继续构建与完善多云数据互联互通标准,搭建产业合作平台,构建开放的数据流动环境。当前,多元环境中各大厂商虽然实现了一定程度的互联互通,但是行业标准的建设尚处于早期阶段。行业标准是行业通用语言,也是产业长期发展的基础。未来,需要围绕实际应用场景,联合产、学、研、用各方,通过业界优秀实践孵化行业标准,推动多云数据存储产业良性发展。

总体而言,随着企业上云与用数成为大势所趋,多云数据存储也面临着产业发展的关键时刻,解决数据流动、数据共享等难题已经迫在眉睫,这不仅仅需要产业界在技术、产品与解决方案上持续创新与突破,更需要产、学、研、用各方构建起良性生态,让多云数据存储真正成为释放数据价值的“助推器”。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/424537.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

VPN、IPSEC、AH、ESP、IKE、DSVPN

目录 1.什么是数据认证,有什么作用,有哪些实现的技术手段? 2.什么是身份认证,有什么作用,有哪些实现的技术手段? 3.什么VPN技术? 4. VPN技术有哪些分类? 5. IPSEC技术能够提供哪些安全服务? 6. IPSEC的技术架构是什么?…

idea中使用git工具

目录一、IDEA中配置git二、git操作将项目设置成git仓库一、IDEA中配置git 打开idea,点击File–>Settings 点击版本控制,然后点击git 将你的git.exe安装目录填到下面位置 点击test可以看到显示了版本,说明配置成功 二、git操作 将项目设置…

geoserver更换默认的端口、修改默认密码

geoserver默认的端口是8080,有的时候会与其他的项目相冲突,我们的目标是将端口修改为8888,如何更改呢?geoserver正常安装的默认用户名密码为admin/geoserver,如何做一个修改呢将默认密码修改为其他的。 修改端口 分两种情况: (一)如果安装的时候,指定了端口,修改s…

elasticsearch基础教程

elasticsearch安装 有些软件对于安装路径有一定的要求,例如:路径中不能有空格,不能有中文,不能有特殊符号,等等。 为了避免不必要的麻烦,也懒得一一辨别踩坑,我们人为作出「统一的约定」&…

2023_深入学习HTML5

H5 基于html5和 css3和一部分JS API 结合的开发平台(环境) 语义化标签 header : 表示头部,块级元素 footer : 表示底部,块级元素 section :区块 nav : 表示导航链接 aside : 表示侧边栏 output &am…

Flume系列:Flume组件架构

目录 Apache Hadoop生态-目录汇总-持续更新 一:Flume 概述 二:Flume 基础架构 2.1:Agent 2.2:Source 2.3:Sink 2.4:Channel 1) Memory Channel 2) File Channel 3) Kafka Channel 2.5&#xff1a…

AI 绘画 API 超详细使用教程 - 附微信小程序接入代码

写在前面 【AI绘画/AI图像生成】已成为现下炙手可热的话题,AI 大模型训练的成本高昂,算法研究时间周期较长,对于大多数人来说,自研一套算法模型还是非常困难的,因此 AI 绘画 API 就应运而生,直接调用 AI 绘…

MRI图像配准技术及其未来

前言 早在20世纪40年代数字革命开始之前,图像配准就已经成为一个具有重要现实意义的过程。这技术首次应用于彩印,即将几种单色图案叠加在一起形成多色图案。为了生成最终所需的多色印刷品,各个层相对于另一个层的对齐必须是精确的。若个别层…

linux PAM模块简介

PAM模块简介1. 介绍1.1 概念1.2 验证过程简述2. 配置文件介绍2.1 PAM的模块类型2.2 PAM的控制标记2.3 PAM的模块路径3. 验证机制3.1 login的验证机制流程3.2 pam相关文件4. 示例4.1 ssh远程登录控制4.2 禁止账号间使用su命令切换4.3 限制root从tty1,tty2,tty5登录1.…

墨菲安全入选网络安全全景图,将持续深耕软件供应链安全垂直领域

2023年4月7日,中国网络安全领域的专业媒体安全牛正式发布第十版网络安全行业全景图,展现了我国网络安全行业的应用发展与变革创新,所有申请企业通过多个维度审核考量。墨菲安全作为一家专注于软件供应链安全领域的创新企业,以开发…

数据层的解决方案(NOSQL)

1.Redis 1.Redis是一款key-value存储结构的内存结构的内存级NoSQL数据库 支持多种数据存储 支持持久化 支持集群 2.服务器的启动命令&#xff1a; redis-server.exe redis.windows.conf 3.客户端启动命令 redis-cli.exe 4.SpringBoot整合Redis 1.导入相应的依赖 <…

ESP32学习笔记09-ADC多通道采集 dma方式传输

9. ADC多通道采集 dma方式传输 9.1 DIG SAR ADC 控制器 9.1.1特点 高性能。时钟更快,因此采样速率实现了大幅提升。支持多通道扫描模式。每个 SAR ADC 的测量规则可见样式表。扫描模式可配置为 单通道模式双通道模式交替模式。扫描可由软件或 I2S 总线发起。支持 DMA,扫描完…

Win10 安装配置 Hadoop 及 Spark

以下内容只针对 Win10 系统 1. 环境安装 (1) 安装Java并配置环境变量 https://www.oracle.com/java/technologies/downloads/#java8-windows (2) 安装Scala https://www.scala-lang.org/ 或 https://github.com/lampepfl/dotty/releases/tag/3.2.2 配置环境变量&#xff0…

谷歌研究科学家:ChatGPT秘密武器的演进与局限

来源&#xff5c;TalkRL OneFlow编译 翻译&#xff5c;徐佳渝、贾川 同样是基于GPT预训练模型&#xff0c;为什么ChatGPT的效果要远远超出GPT-3等前几代模型&#xff1f;答案已经揭晓&#xff0c;成就ChatGPT的秘密武器在于RLHF&#xff0c;也就是人类反馈的强化学习。 在预训…

SpringMVC的入门案例

三层架构和mvc 三层架构&#xff1a; 我们的开发架构一般都是基于两种形式&#xff0c;一种是C/S 架构&#xff0c;也就是客户端/服务器&#xff0c;另一种是 B/S 架构&#xff0c;也就是测览器服务器。在 avaEE开发中&#xff0c;几乎全都是基于 B/S 架构的开发。那么在 B/S…

Dream 主题之 Halo 2.0 适配,以及适配前后的一些异同

经过一段时间的适配&#xff0c;目前 Dream 已经发布了基于 Halo 2.x 的第一个预发版本。目前对主题所有功能都完成了适配&#xff0c;但是由于 Halo 2.x 与 1.x 的一些不同&#xff0c;以及 Thyeleaf 模板引擎与 FreeMaker 模板渲染引擎的一些不同的特性&#xff0c;适配前与适…

Python机器学习、深度学习技术提升气象、海洋、水文领域实践应用能力

Python是功能强大、免费、开源&#xff0c;实现面向对象的编程语言&#xff0c;能够在不同操作系统和平台使用&#xff0c;简洁的语法和解释性语言使其成为理想的脚本语言。除了标准库&#xff0c;还有丰富的第三方库&#xff0c;Python在数据处理、科学计算、数学建模、数据挖…

redis docker 集群搭建

redis docker 集群搭建 1. 安装镜像 docker pull redis:latest2. 创建conf模板和脚本 # 创建模板目录 mkdir /data/redis_conf# 创建实际映射目录 mkdir /data/redis_data# 在/data/redis_conf创建conf模板 touch redis_cluster.conf.template# 编写redis_cluster.conf.temp…

详解TCP协议与模拟实现TCP版本的字典翻译客户端与服务器

文章目录TCP协议前言1.TCP协议介绍2. TCP协议的特点3. TCP协议的机制3.1 确认应答机制3.2 超时重传机制3.3 连接管理机制3.3.1 三次握手3.3.2 四次挥手3.4 滑动窗口3.5 流量控制3.6 拥塞控制3.7 延时应答机制3.8 捎带应答机制3.9 面向字节流3.10 异常处理4.TCP socket的介绍5.实…

SureX 全新投资矩阵推出,引领理财新潮流!

前言—— 随着加密货币市场的崛起&#xff0c;越来越多的投资者开始关注这个领域。但是&#xff0c;对于新手投资者来说&#xff0c;加密货币市场充满了各种不确定性和风险。如何在这个市场上游刃有余&#xff1f;SureX 零操作理财产品来袭&#xff0c;为新手投资者提供了一种…