端到端数据战略,亚马逊云科技为数据服务带来了什么?

news2025/1/12 12:07:02

大约十年前,维克托·舍恩伯格在《大数据时代》一书中直言:世界的本质是数据,大数据将开启一次重大的时代转型。

十年之后,维克托·舍恩伯格的预言逐渐成真。全球数字经济近年来的蓬勃发展,推动了各行各业的加速转型。如今,数据已然成为最重要的生产要素,无论是产业数字化,还是企业数字化转型,均已离不开数据。

但如何把数据“用起来”始终是众多行业用户所面临的一大挑战。一方面,随着企业数字化转型进入深水期,在逐渐完成上云之后,“用数”自然而然就成为数字化转型的阶段性重点;另一方面,能否“用好数”又直接跟接来的“赋智”紧密相关,直接关系着企业未来数字化转型的成败。

因此,针对“用数”打造相应的策略、方案和产品就成为云服务商在当前的重中之重。在2022 re:Invent全球大会上,亚马逊云科技就正式推出了其端到端数据战略,为广大上云企业的用户带来了清晰的策略与方法论。

正如亚马逊云科技数据与机器学习副总裁 Swami Sivasubramanian博士所言:“端到端数据战略包括三个核心要素:一是面向未来的数据基础设施;二是跨组织的数据链接;三是数据普惠化。最终目标是帮助企业将数据转化为对业务有意义的见解和行动,驱动企业借助数据进行下一波创新。”

端到端数据战略解决了什么

数据爆炸性增长的年代,把数据“用起来”并非易事。

事实上,从最早的大数据平台,到后来的数据中台,再到现在的湖仓一体、数据编织(Data Fabric),与数据相关的各色概念层出不穷,用户们也是应接不暇、手足无措,但离真正把数据“用起来”尚有着不小差距。

究其原因,数据量、数据消费群体和数据驱动场景均已经发生了显著变化。这使得从数据收集、数据治理到数据分析、数据管理,再到数据价值的实现,涉及到了链路极其长且复杂,很少有用户能够完全驾驭。

所以,亚马逊云科技在积累多年与数据相关的产品、技术之后,开始打造端到端的数据战略,从数据全链路的视角帮助用户们把数据“用起来”。

具体来看,亚马逊云科技认为首先需要面向未来的数据基础设施。Swami Sivasubramanian博士介绍,面向未来的数据基础设施应具备四个要素:需要有正确的数据库工具来应对所有类型的工作负载;可以在大规模的情况下进行高性能的运行;不需要我们做非常多的重复工作;以及需要高可靠性和高伸缩性。

显然,相比于其他厂商,云服务商在构建面向未来的数据基础设施无疑是领先的。得益于云端各种大规模场景的不断验证,云服务商们最有条件为数据分析与应用构建起先进的数据基础设施。

其次,,亚马逊云科技认为需要实现安全高效的跨组织数据链接。Swami Sivasubramanian博士介绍:企业可以使用一个合作系统来连接孤立的团队,为重要资源创造快捷安全的访问途径,使用正确数据治理系统,借助高质量的工具和数据来推动未来的增长。

正所谓数据只有充分的流动、共享才能发挥价值。但数据的流动、共享既需要合规,还需要有安全保障,对于数据长链路而言,这是巨大挑战。所以,亚马逊云科技构建安全高效的跨组织数据链接,推动数据有效流动、共享是当前很多用户所渴望的。

最后,亚马逊云科技认为需要工具和教育实现数据普惠化。事实上,数据消费群体持续扩大是大势所趋,但数据消费者的技能也是把数据“用起来”的关键。亚马逊云科技预计到2029年,人工智能劳动力将增加100万个工作岗位,但培育合适的技能和人选来填补这些空缺将是一项重大挑战。

为此,亚马逊云科技正在帮助社区学院和 MSIs 加大教育力度,推出新的亚马逊云科技机器学习大学教育培训计划,提供动手培训课程,为培育新一代劳动力做好准备。

可以看出,在今年2022 re:Invent全球大会上,亚马逊云科技除了发布大量针对数据的产品与功能之外,也开始用端到端的视角推出数据战略,给予用户们更加清晰的数据“用起来”的思路。

让数据服务走向简单化

众所周知,数据服务与价值实现的链路很长,且具有相当的复杂性。因此,端到端的数据战略是大势所趋。但端到端的数据战略并不是简单的将众多数据服务、工具和产品进行拼凑与集成,而是需要深度整合、优化,实现使用体验与效率质的飞跃。

在亚马逊云科技看来,数据服务需要恰当的工具、有效的数据集成、规范数据治理以及深入的业务洞察力。因此,亚马逊云科技的思路是:

一方面是持续打造有竞争力的数据工具与服务,不断完善产品的功能;另一方面,则从使用者的角度出发,让数据服务走向深度集成化、简单化,让端到端的数据服务真正有效果。

“从本次re:Invent发布的特性看未来技术演进的方向,非常明显的一点就是数智融合,也就是如何打造一个端到端的数据服务战略。”亚马逊云科技大中华区产品部总经理陈晓建如是说。

例如,亚马逊云科技在今年2022 re:Invent全球大会上提出了 Amazon OpenSearch Serverless 版本、Amazon Aurora与 Amazon Redshift 的 Zero-ETL(提取、转换和加载)集成、Amazon Redshift 与 Apache Spark 集成、精细的数据管理产品 Amazon DataZone、Amzon Quicksight Q 预测服务等一系列与数据相关的服务。

 以Zero-ETL为例,亚马逊云科技推出的Zero-ETL(提取、转换和加载)集成服务极具价值与意义。众所周知,过去的数据治理与应用体系严重依赖ETL。Gartner调研数据显示:分析师80%的时间用于发现和准备数据,知识型员工将50%的时间浪费在寻找数据、发现和纠正错误以及确认不信任的数据来源上,数据科学家花60%的时间清理和组织数据。

当数据规模远胜以往之后,依赖ETL的方式就容易数据的供给侧与使用侧极大的效率问题,因此Zero-ETL成为大势所趋,通过Zero-ETL简化杂ETL链路,实现敏捷数据洞察和高效一致的数据协作。

例如,Amazon Aurora 将首次支持与 Amazon Redshift 的 Zero-ETL(提取、转换和加载)集成,将事务数据与分析功能结合在一起,消除了在 Aurora 和 Redshift 之间构建和管理自定义数据管道的所有工作。用户不必构建和维护复杂的数据管道来执行提取、转换和加载(ETL)操作。

又如,数据爆炸性增长为数据治理带来了前所未有的复杂度。数据治理涉及到不同的团队、应用和权限管理,使得细颗粒度的数据管理成为当前的强需求。因此,亚马逊云科技打造出 Amazon DataZone,用于分类、发现、共享和管理数据的数据管理服务,可以集成 Redshift、Athena 和 QuickSight,以及对第三方数据源提供 API 接口,可实现细粒度数据管理,其中包含由机器学习填充的数据目录,易于使用业务术语进行搜索。

在亚马逊云科技看来,DataZone可以使数据工程师、数据科学家、产品经理、分析师和其他业务用户能够轻松地发现、使用和协作数据。

亚马逊云科技在今年2022 re:Invent全球大会上推出与数据相关的系列服务都极具价值且意义重大。对于逐步完成上云阶段的众多用户而言,这些服务与工具的推出可谓是恰逢其时,能够很好地帮助用户把数据“用起来”,对于数字化转型有着极大的帮助。

从亚马逊云科技看数智未来

一直以来,业界都在积极提倡上云、用数和赋智,寄希望打造三者的价值闭环,从而真正让企业数字化转型步入良性发展的轨道。可以看来,亚马逊云科技近年来针对数据服务、机器学习平台等产品与服务的系列构建,已经率先在业界实践出“云、数、智”的闭环之路。

首先,亚马逊云科技正在把重要的工具与服务做深、做精,从而让产品与服务的累积效应得以显现。例如,亚马逊云科技机器学习平台Amazon SageMaker五年来增加了260项新功能,不断降低机器学习的技术门槛,简化机器学习的前期工作,加速为客户“赋智”。

在本次re:Invent全球大会上,亚马逊云科技还将机器学习的治理功能引入到Amazon SageMaker,通过角色管理器(Role Manager)、 模型卡片(Model Cards),以及模型仪表板(Model Dashboard)等涵盖端到端机器学习流程的管理与治理。

其次,亚马逊云科技正在持续打通数智之间的链路,优化产品与服务,形成产品与服务之间的叠加效应。这从亚马逊云科技推出Amazon Redshift 与 Apache Spark 集成等功能就能反应出。

事实上,随着亚马逊云科技不断优化不同服务之间的集成,将有利于进一步降低数智的门槛,有望为广大用户带来更加出色的服务体验。

最后,亚马逊云科技看中在各大行业之中的闭环实践。在今年re:Invent全球大会上,亚马逊云科技带来了供应链、广告营销、生物医疗、零售等一系列的数智新方案,为用户践行上云、用数和赋智提供了充分保障。

总体来看,“数据”是今年re:Invent全球大会上的绝对主角。随着企业逐步完成上云阶段,在云端的“用数”和“赋智”是所有企业数字化转型接下来的重中之重,这个过程将充满了挑战。无疑,亚马逊云科技带来了它的方法论、战略以及产品服务。面向未来,随着亚马逊云科技端到端数据战略不断在行业中践行,亚马逊云科技有望帮助更多用户在浩瀚的数据海洋中乘风破浪、驭数而行。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/118016.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

生成对抗:少样本学习

GAN:少样本学习 任何深度学习模型要获得较好结果往往需要大量的训练数据。但是,高质量的数据往往是稀缺的和昂贵的。好消息是,自从GANs问世以来,这个问题得到妥善解决,我们可以通过GAN来生成高质量的合成数据样本帮助模型训练。通…

vue 使用 PDF.js 浏览pdf文件

学习关键语句: 使用 PDF.js 在网页浏览pdf vue 使用 PDF.js vue 浏览pdf文件 写在前面 很头大 , 本来网络实际地址的 pdf 文件直接放在 iframe 的 src 中就可以浏览 pdf 文件的 , 但是对于虚拟地址来说 , 这样子只会让网页当场开始下载 pdf 文件到本地 , 而并不能在网页上浏览…

C规范编辑笔记(九)

往期文章: C规范编辑笔记(一) C规范编辑笔记(二) C规范编辑笔记(三) C规范编辑笔记(四) C规范编辑笔记(五) C规范编辑笔记(六) C规范编辑笔记(七) C规范编辑笔记(八) 正文: 今天我们来分享一下C规范编辑笔记第九篇,话不多说,我…

【聆思CSK6 视觉AI开发套件试用】初体验

本篇文章来自极术社区与聆思科技组织的CSK6 视觉AI开发套件活动,更多开发板试用活动请关注极术社区网站。作者:米樂 非常幸运能有评测这次的CSK6的机会。记录使用该套件进行开发的过程和感受。 套件介绍 CSK6是聆思科技推出的一款MCUDSPNPU的SoC芯片 套件…

免费pdf合并在线,这几个神仙网站请收好

对于经常要处理PDF文档的人来说,pdf合并如今已经是很常见的需求了。但是这个操作对一般人来说还有点难度,因此很多人都在寻找好用的免费pdf合并在线网站。今天小编就为大家吐血整理了工作几年来遇到的几个免费pdf合并在线的神仙网站。 1. Pdfio 这是一…

网络故障分析助您高效网上办公(一)

前言 信息中心负责人表示,有用户反馈,在通过VPN访问某一IP的80端口时连接时断时续。同时信息中心给到的信息是通过VPN:XXX.XXX.253.5访问IP地址XXX.XXX.130.200的80端口出现访问时断时续问题。 需要通过分析系统看一下实际情况,…

【Linux修炼】11.进程的创建、终止、等待、程序替换

每一个不曾起舞的日子,都是对生命的辜负。 进程的创建、终止、等待、程序替换本节重点1. 进程的创建1.1 fork函数初识1.2 fork的返回值问题1.3 写时拷贝1.4 创建多个进程2. 进程终止2.1 进程退出码2.2 进程如何退出3. 进程等待3.1 进程等待的原因3.2 进程等待的方法…

Uboot中的DM驱动模型

这一篇我们学习uboot中的驱动模型的初始化,在uboot中,驱动模型被称为Driver Model,简称DM。这种驱动模型为uboot中的各类驱动提供了统一的接口。 1. 数据结构及概念 DM模型主要依赖于下面四种数据结构: udevice,具有…

MySQL数据库闭包 Closure Table 表实现

1、 数据库闭包表简介 像MySQL这样的关系型数据库,比较适合存储一些类似表格的扁平化数据,但是遇到像树形结构这样有深度的数据,就很难驾驭了。 针对这种场景,闭包表(Closure Table )是最通用的设计&…

面试官:系统需求多变时如何设计?

面试官:我想问个问题哈,项目里比较常见的问题 面试官:我现在有个系统会根据请求的入参,做出不同动作。但是,这块不同的动作很有可能是会发生需求变动的,这块系统你会怎么样设计? 面试官&#…

FFmpeg简单使用:视频编码 ---- YUV转H264

基本流程 从本地读取YUV数据编码为h264格式的数据,然后再存⼊到本地,编码后的数据有带startcode。 与FFmpeg 示例⾳频编码的流程基本⼀致。 函数说明:avcodec_find_encoder_by_name:根据指定的编码器名称查找注册的编码器。 av…

第二十九章 数论——中国剩余定理与线性同余方程组

第二十九章 数论——中国剩余定理与线性同余方程组一、中国剩余定理1、作用:2、内容:3、证明:(1)逆元的存在性(2)验证定理的正确性4、代码实现:(1)步骤&#…

国产操作系统openEuler22.03配置yum源

作者:IT圈黎俊杰 本文选用的操作系统版本是openEuler22.03-LTS。openEuler是指操作系统的品牌英文名,中文名叫“欧拉”;22.03是指版本号(openEuler以年月为版本号,22.03表示2022年03月发布的版本)&#xff…

sonarqube——前端vue本地代码审查code review查看代码行数和注释率

目录一、环境二、操作1.启动2.中文3.使用三、过程踩坑1.sonarqube启动闪退2.解析报错 node 14.17一、环境 windows 64位 环境压缩包下载(sonar9.8,jdk11,sonar-scanner) 下载完成解压后,将 sonar-scanner-4.7.0.2747-…

curl 指令

勿以恶小而为之,勿以善小而不为---- 刘备 curl 是常用的命令行工具,用来请求 Web 服务器。 它的名字就是客户端(client)的 URL 工具的意思。 它的功能非常强大,命令行参数多达几十种 我们后端开发者, 可以…

MyISAM索引解析、InnoDB索引解析

我们经常说到的存储引擎是说数据库级别还是说表级别? 答:表级别。(数据库级别也可以设置,但是最终它的级别生效是在表级别) 1、MylSAM存储引擎索引实现 MylSAM索引文件和数据文件是分离的(非聚集&#xf…

大数据开发中级练习题目(python超详细)

给定长度为m的非重复数组p&#xff0c;以及从其中取n&#xff08;n<m&#xff09;个数字组成新的子数组q。现要对p进行排序&#xff0c;要求&#xff1a;q在数组的最前方&#xff0c;其余数字按从小到大的顺序依次排在后面 输入样例&#xff1a; q [3, 5, 4] p [5, 4, 3…

37. 解数独

37. 解数独 编写一个程序&#xff0c;通过填充空格来解决数独问题。 数独的解法需 遵循如下规则&#xff1a; 数字 1-9 在每一行只能出现一次。 数字 1-9 在每一列只能出现一次。 数字 1-9 在每一个以粗实线分隔的 3x3 宫内只能出现一次。&#xff08;请参考示例图&#xff…

SAP 财务年结操作宝典

目录 一 、后台操作篇 1.1 维护会计凭证编号范围 2.2 维护CO版本 1.3 维护利润中心版本 1.4 维护物料分类账文档的编号范围 (如 1.5 复制合并凭证编号范围(如果公司没有这个业务的) 1.6 维护发票凭证的编号范围间隔 (如果不针对年度则不用维护) 1.7 维护发票凭证的编号范…

MCU-51:单片机串口详解

目录一、计算机通信简介二、串口通信简介2.1 同步通信2.2 异步通信三、串行通信的传输方式四、串口通信硬件电路五、常见接口介绍六、串口相关寄存器详解6.1 特殊功能寄存器SCON6.2 PCON寄存器6.3 TMOD寄存器七、代码演示-单片机和电脑通信7.1 串口向电脑发送数据7.2 电脑通过串…