一转眼,又是一年。2022 年云计算行业重要的技术趋势和方向里,亚马逊云科技一年一度的 re:Invent 大会是不可或缺的一环。
今年已经是 re:Invent 大会连续举办的第十一年,和往年一样,亚马逊云科技将一年的重磅技术观察和实践干货悉数公布,今年大会涵盖底层基础架构、计算、数据库、数据分析、AI/ML、安全、行业应用等新的服务及功能,内容多到爆炸。因此,在 2022 年底,亚马逊云科技举办了“凌云驾势重塑未来 2022 re:Invent 中国行”,将 2022 re:Invent 大会的重要技术内容详细梳理,介绍给业界与开发者群体。
今年 2022 re:Invent 大会,亚马逊云科技对于创新,分享了一些新的思考。亚马逊云科技 CEO Adam Selipsky 将创新分为三种,第一种就是把不同的元素结合在一起,创造出全新的东西,第二种就是协作,通过来自不同组织的协作产生创新,第三种是利用已知的东西,然后有选择地进行加工,突破固有观念的限制。而亚马逊云科技在底层技术上一直在做持续的创新,比如今年大会上推出了第五代虚拟化芯片 Nitro5、Gravition3E 以及机器学习推理芯片 Inferentia2,并推出了由三款自研芯片支持的 Amazon Elastic Compute Cloud(Amazon EC2)最新实例。
除了底层技术,对于云上的技术与应用,今年亚马逊云科技重点探索的方向,通过 2022 re:Invent 大会,我们看到了三个关键词,那就是数据、云原生端到端和安全。
数据:应用、流程、业务决策的中心
数据可能是今年 IT 界最热的一个词了。在亚马逊云科技看来,“数据是应用程序、流程和业务决策的中心,几乎是每个组织数字化转型的基石。”亚马逊云科技一直在数据存储和分析、机器学习等方面创新, 并应用到实践中,如:通过数据分析为用户进行书籍推荐;在云计算领域推出云原生数仓 Amazon Redshift 和首个云原生的数据库服务 Amazon DynamoDB,今年 CSDN 也重点分析和介绍了亚马逊云科技的多款数据产品和服务。
亚马逊云科技产品矩阵里,已经实现“专库专用”的数据库产品服务矩阵
在亚马逊云科技在 2022 re:Invent 全球大会发布了全新的数据管理服务 Amazon DataZone,助力客户更快、更轻松地对存储在亚马逊云科技、客户本地和第三方来源的数据进行编目、发现、共享和治理,同时提供更精细的控制工具,管理和治理数据访问权限,确保数据安全。企业中的各类人员都可以通过 Amazon DataZone 轻松访问整个组织的数据以提升企业的数据洞察力。
针对 ETL(数据的提取、转换和加载过程),亚马逊云科技在本次大会上发布了两项全新的集成功能,帮助客户实现“Zero-ETL”(零 ETL)。业务数据往往需要通过 ETL 才能进行分析从而提供洞察,但这一过程往往耗时且枯燥。现在,客户可以使用 Amazon Redshift 近乎实时地分析 Amazon Aurora 中的数据,无需在不同服务之间进行 ETL。客户还可以使用亚马逊云科技的分析和机器学习服务在 Amazon Redshift 的数据上轻松运行 Apache Spark 应用程序。
亚马逊云科技还新推出五项数据库和分析服务全新功能,让客户能够更快、更轻松地管理和分析 PB 级数据。Amazon DocumentDB Elastic Clusters 可将客户的文档工作负载扩展到支持每秒数百万次请求,并支持 PB 级数据存储;Amazon OpenSearch 推出了 Serverless 无服务器功能,可帮助客户在无需配置、扩展或管理底层基础设施的情况下运行搜索和分析工作负载,这一更新也标志着亚马逊云科技数据分析服务的全面无服务器化;Amazon Athena for Apache Spark 能让客户开始使用 Apache Spark 进行交互式分析的时间从数分钟缩短到一秒以内;Amazon Glue Data Quality 可以跨数据湖和数据管道自动管理数据质量;Amazon Redshift 现在支持跨多个亚马逊云科技可用区(AZ)的高可用配置。
云原生端到端数据战略:未来数据基础设施
这么多的数据服务,我们能看到亚马孙云科技已经形成了一个丰富的数据产品矩阵。而对于数据的研究和服务,亚马逊云科技还在继续。在年底的 2022 re:Invent 大会上,亚马逊云科技再次提出,希望通过提供端到端的全面数据解决方案,帮助客户打造从数据的摄入,数据存储与查询,到数据分析,商业智能,再到人工智能与机器学习创新,并通过安全合规的方式进行集团内或公司之间的共享和输出。
端到端数据方案中,最核心的是形成一个“云原生的数据基础设施”,需要这个数据系统面对不同类型工作负载提供合适的工具,并且在大规模运行部署时保持高性能,同时通过智能化手段和工具为客户降低运营复杂性,有效提升工作效率,最后数据的安全方面需要提供最高级别的可靠性和安全性。
除了云原生数据基础设施,构建端到端数据战略还有另外两个核心,是实现高效、跨组织的数据一体化融合,另外是借助教育和工具,使数据普惠化。这两点更好理解,不过,也需要企业用户投入经历去做数据治理相关的工作,例如自动化数据路径到数据治理工具。
传统数据 ETL 过程
在大会上,亚马逊云科技提出“零 ETL”的理念,那就是用户无需再次手动构建数据管道。亚马逊云科技在本次大会上发布了多项全新的集成功能,希望帮助客户实现“Zero-ETL”(零 ETL),并推出了多个相关产品,例如 Amazon Redshift 流式注入功能、Amazon Redshift auto-copy from S3、Amazon Aurora zero-ETL to Amazon Redshift。
安全越来越重要,亚马逊云科技在做哪些安全优化
随着云计算的发展,安全也被云厂商提到了更重要的位置。历经十多年的发展,亚马逊云科技的云产品和服务愈加强大,安全始终是亚马逊云科技的Job Zero,从未停止脚步,在云自身的安全和云中的安全上持续创新。。在本次 re:Invent 大会上亚马逊云科技分享了安全的四大目标:快速帮助客户提升安全水平,降低安全成本,减少安全问题的处理时间和提高企业安全的效率,并围绕这四大目标推出了一系列新的服务及功能,值得业界了解参考。
例如亚马逊云科技新推出的第五代虚拟化芯片 Amazon Nitro5 在给客户带来性能提升之外,也提供了更高的安全性。亚马逊云科技还推出云托管服务安全数据湖 Amazon Security Lake,可以自动将客户在云端和本地的安全数据集中到客户在亚马逊云科技账户下专门构建的数据湖中,方便客户针对安全数据做出快速行动。Amazon Security Lake 通过可定制的数据备份保留设置实现数据生命周期管理。该服务可将传入的安全数据转换为高效的 Apache Parquet 格式;支持 OCSF 标准,使得它可以更轻松地对来自亚马逊云科技的安全数据实现自动标准化,并能将其与几十个预集成的第三方企业安全数据源进行结合。安全分析师和工程师可以使用 Amazon Security Lake 聚合、管理和优化大批量迥然不同的各类日志和事件数据,实现更快的威胁检测、调查和事件响应,高效、快速地解决潜在问题,同时继续使用他们熟悉的分析工具。
亚马逊云科技进一步丰富了 Amazon GuardDuty 功能。现在,Amazon GuardDuty 可为 Amazon Aurora 提供威胁检测,以识别对存储在 Aurora 数据库中的数据的潜在威胁。Amazon GuardDuty RDS Protection 可配置和监控客户账户中现有和新数据库的访问活动,并使用定制的机器学习模型来准确检测 Amazon Aurora 数据库的可疑登录。Amazon GuardDuty 与 Amazon Aurora 集成,可以直接访问数据库事件,而不需要修改数据库,而且不影响数据库性能.
此外,亚马逊云科技新推出了 Amazon KMS External Key Store (Amazon XKS),进一步提升客户数据的安全性。该功能让客户能够在亚马逊云科技之外的外部密钥管理系统中使用加密密钥、独立授权和审核来加密或解密数据。此项功能可与 100 多项亚马逊云科技的服务相集成,免去了客户繁琐的集成开发工作。
作为云计算行业的顶级厂商主办大会,亚马逊云科技 2022 re:Invent 的内容实在太多了,也欢迎 CSDN 的开发者朋友持续关注了解,希望有助于你的云上开发旅程。