从弹性计算到数据处理——亚马逊云科技re:Invent

news2024/11/20 3:29:13

在2022亚马逊云科技re:Invent大会上,亚马逊云科技首席执行官Adam Selipsky说:“在今后的五年,我们创建了这些数据,可能会完全超过了数码时代一直到现在以来所有数据累加在一起的数量,这样同时也会告诉我们所有的组织都会面临着无限的机会。”c2e58abb54174b1692f7a904c921147a.png

 

因为规模和分布式带来计算环境的变化,是驱动云计算重构基础设施的一个重要因素,而计算环境带来客户需求的变化,则又构成了驱动云计算技术继续演化的另一条主线,那就是数据。

云计算最初的刚需是弹性计算和存储,所以最初的用户更多来自零售和互联网等业务波动较大的行业,主要解决的是峰值期间算力不足的问题。但很快,大家发现数据在云上不但方便存储,而且更加方便分析和处理。于是数据湖的概念迅速流行起来,这个术语由Pentaho公司的创始人兼首席技术官詹姆斯·狄克逊(James Dixon)提出,他对数据湖的解释是:把你以前在磁带上拥有的东西导入到数据湖,然后开始探索。

数据湖也是个云计算时代的概念,与它对应的是传统IT时代的数据仓库、数据集市等概念。有趣的是,在数据仓库、数据集市等概念下,数据给人的印象是固体的货物,而在数据湖的概念里,数据变成了可以流动的液体。这其实也是云计算和传统IT观念最大的分野之一。

人类的大脑,最擅长处理三维空间和不超过7个变量,这样的思考能力显然无法应付云上指数增长的数据。亚马逊云科技数据与机器学习副总裁Swami Sivasubramanian在本次大会的发言中也谈到:“用在现在的数据处理并不是完美的想法。我们需要把数据集中在一起,它们之间会存在不一致性,所以我们需要把它进行自动化。而且数据不像我们的大脑一样会自动进入,它需要通过通道来进入系统,我们需要建立这样的机制,让这些数据能够为我们所用。最终数据也不是那么容易分析,把新的各种想法之间联系起来是很困难的,这是一个非常复杂的过程。”

也正是在这个背景下,为了更好地处理越来越多的数据,机器学习的春天也到来了。这门学问的流行需要三个因素,其中算法早已经成熟很多年,而云计算则赋予了它便宜的算力和海量的数据。

就这样,企业上云的最大动力从“弹性计算+存储”,很快变成“智能+数据”。人工智能迅速成为企业破解复杂问题,应对不确定时代的救命稻草,而云就成为交付人工智能的最佳载体。随着数据战略成为越来越多企业的核心战略,比如2020年,BMW数字化战略发布了“以客户为中心”、“用数据赋能”和“打造适应数字化进程的组织”的三大方向,“客户”、“数据”和“数字化”三大关键词赫然在列,他们将数据汇入CDH (Cloud Data Hub),并且使用这些数据来监控车辆运行状况指标,例如检查控制错误以识别整个车系的潜在问题,进而更好地解决问题,甚至将问题解决在萌芽之时。

据亚马逊云科技提供的数据,在全球他们已助力超过150万客户成为数据驱动型企业。Swami在发言中提到,亚马逊领导人意识到,数据经常是跟我们的直觉相反的,但是要完全依赖数据的分析,需要一整套数据策略,包括能够应对所有未来情况的技术策略,要考虑到未来数据种类、处理效率、可靠性和弹性;以及需要有组织把数据连接起来,第三,还需要好的工具来处理这些数据。

为了适应用户对于数据存储、分析,以及随后的机器学习等全新需求,云计算厂商必须要围绕着数据这个核心需求重构甚至创建出很多新的服务来。

也正是在这个大背景下,云计算中最受欢迎的也都是数据相关的服务,就像亚马逊云科技有史以来发展最快的服务第一是云原生关系数据库Amazon Aurora,第二是云原生数仓Amazon Redshift。

而机器学习的神奇效能和依然高高在上的使用门槛,也成为云计算技术创新的强大动力。在2017亚马逊云科技re:Invent全球大会上,托管式机器学习服务Amazon SageMaker面世,可以帮助开发者、数据科学家和业务分析师极大缩短准备数据,并大规模地构建、训练、部署高质量机器学习模型的时间。不意外的是,SageMaker也成为亚马逊云科技有史以来增长速度最快的服务之一,五年时间,已有数以万计的客户利用Amazon SageMaker创建了数百万个模型,参数规模可达千亿级别,每月生成数千亿的预测结果。2021年,为了进一步推动机器学习的民主化,让更多用户能够接触到机器学习,亚马逊云科技在re:Invent大会上发布了无代码机器学习工具Amazon SageMaker Canvas。在Amazon SageMaker的帮助下,客户可以通过优化的基础设施将训练模型所需时间由数小时缩短至数分钟。

本次大会,最值得关注的两个发布是端到端的数据治理工具——Amazon DataZone和Zero ETL技术。DataZone通过统一的数据分析门户提供所有数据的个性化视图,解决跨组织边界的数据大规模共享、搜索和发现问题。而Zero ETL主要解决的是在不同机器学习模型或不同应用之间提取、转换和加载(ETF是Extract、Transform、Load三个词的缩写)数据的速度问题,需要结合SageMaker以及亚马逊的云原生数据库使用。

在本届re:Invent上,亚马逊云科技首席执行官Adam Selipsky和亚马逊云科技数据产品掌门人Swami在最重要的发布时段,发布的技术和服务大部分都与数据和机器学习相关,这其实也代表了某种趋势——当对传统IT技术的替代接近尾声的时候,针对数据创新的技术需求井喷才刚刚开始。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/72053.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

有哪些舆情监控方法,舆情监控工作机制?

一、舆情监控方法 1,组建新闻报道社会舆论舆情监控队伍 在言论高度自由的网络时代,人人都是自媒体,人人皆可表达意见。透过成立一队人才队伍的新闻报道社会舆论舆情监控各队能协助民营企业及时发现高度关注网络实时,迅速开展正面…

iphone13 ios 16.2降级15.6刷机教程

最近,更新了最新的ios16.2之后,系统经常出现卡屏卡死和异常耗电情况,最终决定对手机进行系统降级处理,下面是我的一个刷机过程。 目录 一、下载电脑版爱思助手 二、下载ios15.6版本固件 三、导入固件到爱思助手 四、刷机过程中…

Docker——自定义镜像

目录 一、镜像结构 二、Dockerfile 2.1 案例:基于Ubuntu镜像构建一个新镜像,运行一个java项目 2.1.1 新建文件夹docker-demo 2.1.2 拷贝docker-demo.jar到docker-demo 2.1.3 将jdk8.tar.gz文件放到docker-demo目录 2.1.4 将Dockerfile移动到docker-demo…

2023年IBDP大考计划安排

2023年5月IB考试时间已经公布。2023年5月IB考试时间表是以时区的不同分为A、B、C三个考区。具体安排如下: Zone A:UTC 12 至 UTC 3.5 Zone B:UTC 3 至 UTC 0 Zone C:UTC -1 至 UTC -10 中国属于东八区UTC8,属于Zone A考…

Linux学习:工程搭建

一、gcc main.c -o main 创建一个main.c文件 gedit main.c 在里边写进代码 #include <stdio.h>void main() {printf("hello world\n"); } 编译代码 gcc main.c -o main 输入ls&#xff0c;可以看到生成了一个可行性的main 执行main&#xff0c;即可执行…

2022年中科大分子生物学考试题、复习资料汇总(往年真题复习资料)

文章目录1.2022复习题2.2021复习题3.2020复习题4.2018复习题5.2015-2016复习题6.Key:复习重点7.随堂测验-平时成绩分子生物学复习资料及往年考题1.2022复习题 1.分子生物学复习资料及往年考题&#xff1a;&#xff08;已完结&#xff09; &#xff08;1&#xff09;资料完整版…

Tomcat的安装和运行

安装Tomcat 安装某一个软件,我们当然是要去官网.为了防止很多朋友找不到资源,我们这里直接放出官网路径. https://tomcat.apache.org/download-80.cgi 直接点击进入官网下载页面即可.选择Tomcat8,点击Core的zip包下载即可. 下载好以后,我们进入到下载的目录.选择到 我们下载…

js学习笔记

1.js代码要写在script标签中 <script type"text/javascript">for (let i0;i<5;i){document.write("<h1 stylecolor:red;>hello world</h1>")} </script>2.可以通过src的方式指定读取js文件进来&#xff0c;注意如果用这种方式…

[SECCON CTF 2022] crypto 部分复现

目录 janken vs kurenaif pqpq 以前写过了&#xff0c;官方方法一样 witches_symmetric_exam this is not lsb insufficient CVP BBB 当时仅pqpq差点完成&#xff0c;有个小错。其它都无从下手。终于看到wp一一试一下。原文 janken vs kurenaif 这个情况第一回见&#…

判断国际象棋棋盘中一个格子的颜色

题目链接 判断国际象棋棋盘中一个格子的颜色 题目描述 注意 coordinates.length 2‘a’ < coordinates[0] < ‘h’‘1’ < coordinates[1] < ‘8’ 解答思路 棋盘是不变的&#xff0c;只需要根据行列的奇偶性判断格子是否为白色即可 代码 方法一&#xff1…

爆火的OpenAi的ChatGPT聊天机器人注册和使用攻略

先来看看他的效果怎木样: 哇塞!是不是很奈斯!!! 一. 对OpenAi进行注册登录(需要翻墙) OpenAI APIAn API for accessing new AI models developed by OpenAIhttps://beta.openai.com/ 二. 购买一个虚拟号码用于手机号注册 nullReceive sms online on virtual numbers of SMS…

C2--Vivado开发环境之bit生成,文件组成,代码固化2022-12-08

1.FPGA的开发流程 Fpga代码的开发分为以下流程&#xff1a; 设计定义&#xff08;处于架构阶段&#xff0c;对需求进行定义&#xff0c;分析&#xff0c;模块划分&#xff09;设计输入&#xff08;verilog RTL代码输入、原理图&#xff09;功能仿真分析和综合&#xff08;由源…

真人踩过的坑,告诉你避免自动化测试入门常犯的10个错误

虽然从自己的错误中学习也不错&#xff0c;但从别人的错误中学习总是更好的。 作为一个自动化测试人员&#xff0c;分享常见的容易犯的10个错误&#xff0c;可以从中吸取教训&#xff0c;引以为鉴。 一、必要时才自动化 新人小王接到为Web应用程序自动化测试脚本的任务时&…

python服务调用-基于http的通信写协议(flask)-linux

服务器要部署一套算法, 我们的部署在该服务器上的数据平台需要调用 该算法进行一些操作, 要点主要两方面: 1.客户端发请求(同时传数据给服务). 2. 服务端的算法响应给请求,处理结束后,返回数据给客户端.这里一般第一次使用http协议的时候有点懵,其实是非常简单,我这里给了一个…

基于HTML+CSS+JavaScript “小味鲜“餐厅网页设计

基于HTMLCSSJavaScript "小味鲜"餐厅网页设计 每博一文案 师父说“生活中的负能大多来于圈子里的抱怨“&#xff0c;有时候&#xff0c;你不想做别人情绪的垃圾桶。 却不得不接受他们的吐槽&#xff0c;你嫌弃身边人无休止的抱怨&#xff0c;但又不知不觉被他们影响 …

12.感知机以及多层感知机(MLP),激活函数

x和w都是向量&#xff0c;b是标量&#xff0c;感知机的输出是&#xff1a;w和x做内积之后偏移b&#xff0c;最后加上一个函数&#xff08;这个函数很多种选择&#xff09;。 1. 训练感知机 如果当前是第i个样本&#xff0c;yi是真实标签值&#xff0c;<w,xi>b得到的是预测…

浅浅的分析Spring底层事务原理

Spring事务底层原理一、EnableTransactionManagement工作原理二、Spring事务基本执行原理三、Spring事务的过程四、Spring事务传播机制五、Spring事务传播机制分类&#xff08;1&#xff09;案例分析、情况1&#xff08;2&#xff09;案例分析、情况2&#xff08;3&#xff09;…

【正点原子FPGA连载】第三十二章OV5640摄像头RGB-LCD显示实验 摘自【正点原子】DFZU2EG/4EV MPSoC 之FPGA开发指南V1.0

1&#xff09;实验平台&#xff1a;正点原子MPSoC开发板 2&#xff09;平台购买地址&#xff1a;https://detail.tmall.com/item.htm?id692450874670 3&#xff09;全套实验源码手册视频下载地址&#xff1a; http://www.openedv.com/thread-340252-1-1.html 第三十二章OV564…

深度学习——批量归一化(笔记)

主流的卷积网络基本都设计批量归一化这个层 1.为什么要批量归一化&#xff1f; ①网络层很深&#xff0c;数据在底层&#xff0c;损失函数在最顶层。反向传播后&#xff0c;顶层的梯度大&#xff0c;所以顶层训练的较快。数据在底层&#xff0c;底层的梯度小&#xff0c;底层训…

【开源项目】震惊JDBC查询比MyBatis查询慢

震惊JDBC查询比MyBatis查询快&#xff1f; 文章编写起始原因&#xff0c;在编写项目的时候碰到一个深坑&#xff0c;JDBC获取5000条数据&#xff0c;居然耗时261s&#xff0c;MyBatis同样的操作&#xff0c;耗时12s左右&#xff0c;震惊。看到这里下巴都快掉下来了。不是网上都…