速来~与 Werner Vogels 博士一起探索敏捷性与创新速度一起提升的秘方

news2024/11/26 8:20:00

Amazon Web Services 的现代应用程序

创新一直是 Amazon 公司坚持追求的核心目标。约20年前,我们经历了一次彻底的转型,旨在建立起“发明、发布、再发明、再发布、重新开始、洗牌、再重复”的快速迭代流程。正是此番探索,彻底改变了我们构建应用程序乃至组织企业结构的根本方式。

那时候,Amazon 服务的群体在规模上远远不及当下。但我们很清楚,要想不断扩展 Amazon 的产品与服务,就必须改变应用程序架构的设计思路。

我们曾经为 Amazon.com 建立起庞大的单体式“bookstore”应用,但与之关联的笨拙数据库限制了我们的速度与敏捷性。每当我们打算为客户提供新的功能或产品(例如视频流),就被迫得在专门为 bookstore 设计的应用程序上编辑并重写大量代码。这个过程漫长且繁琐,需要复杂的协调沟通,因此严重拖累了我们快速推动大规模创新的能力。

为此,我们通过“分布式计算宣言”建立了变革蓝图。通过这份用以描述新架构的内部文档,我们决定将应用程序重组为更小的部分,即“服务”,并借此大幅提升 Amazon 的可扩展性。

但应用程序架构的变革还只是开始。从1998年时开始,各个 Amazon 开发团队就一直在同一款应用程序之上工作,因此这款应用的每个发行版本都必须在各团队间统一协调。

为了支持新的架构方法,我们对其功能层级进行分解,并将组织重新整合成多个小型自治团队。各团队的体量很小,只要订两块披萨就能解决一顿饭,这就是所谓“双披萨团队”。每支团队只关注特定的产品、服务或者功能集,这就让他们获得了对应用程序中特定部分的更高操作权限。如此一来,开发者们摇身一变成为产品所有者,能够迅速做出影响各自产品的具体决策。

此番重整组织与应用程序结构无疑是个大胆的计划,好在 Amazon 获得了良好的收效。我们能够更快为客户提供创新成果,并随着自身业务的发展而将每年部署的功能总量由数十项,快速发展为数百万项之巨。更值得一提的是,我们在构建高度可扩展基础设施领域的卓越成功,最终衍生出了新的核心业务能力,这就是2006年正式亮相的 Amazon Web Services。

如今,我们仍然在坚持双披萨团队的运作模式。我们的目标并不仅仅是追求快速创新。为了保持全面的市场竞争力,我们还需要提高敏捷性,以便不断发现新的机遇并创造更好的产品。秉持着相同的理念,越来越多客户与 Amazon 踏上了相同的发展旅程,全面转向现代应用程序开发道路。这种新方法要求组织由已经非常熟悉的单体式架构转向组件或微服务架构,而这一切影响到的不只有技术的设计与构建方式,更要求我们重新审视自己的管理思路。

亚马逊云科技开发者社区为开发者们提供全球的开发技术资源,这里有技术文档、开发案例、技术专栏、培训视频、活动与竞赛等。帮助中国开发者对接世界最前沿技术,观点,和项目,并将中国优秀开发者或技术推荐给全球云社区。如果你还没有关注/收藏,看到这里请一定不要匆匆划过,点这里让它成为你的技术宝库!

为了让应用程序开发成为敏捷性与创新速度的重要驱动力,组织必须关注五大关键要素:微服务、专用数据库、自动化软件发布管道、无服务器运营模型、外加持续自动化安全体系。

架构模式:微服务

像 Amazon 这样的企业最初大多是从单体式应用程序起步,因为这是当时开发速度最快、复杂度最低的系统架构选项。但是,紧密组合的各个流程迫使我们必须将应用程序看成统一的整体,由此带来无数令人头痛的难题。如果应用程序中的某一进程遇到需求高峰,我们就得扩展整个架构才能消化掉该进程的相应负载。

此外,随着代码库体量的提升,新功能的添加与改进变得越来越复杂,导致我们难以尝试或实施新的方法。单体式架构也增加了应用程序的可用性风险,其中众多相互依赖且紧密耦合的进程会显著放大单一进程故障引发的影响。

正因为如此,微服务架构随着企业的发展而自然出现。使用微服务架构,应用程序将由无数独立组件构成,各个组件会将应用程序中的各独立进程视为单一服务。每项服务对应且仅对应一种业务功能,例如在线购物车。这种独立运行以及由专项团队负责的设计,让企业得以轻松更新、部署及扩展各项服务,借此满足应用程序提出的具体功能需求。例如,我们可以在销售旺季扩展购物车服务以支持更多用户。

随着组织由单体式服务转向微服务,不少开发人员希望通过管道来管理不同服务中的依赖项,同时寻求新的应用程序打包与代码运行方法。面对这些硬性需求,计算实例长期以来的统治地位开始有所动摇。

如今,我们可以使用容器或者 Amazon Lambda 函数。容器已经成为目前最具人气的代码打包选项,也凭借着出色的应用程序可移植性与运行灵活性成为管理遗留应用程序的最佳工具。而使用 Lambda,您将获得出色的便捷性——除了核心业务逻辑之外,大家再不必编写任何其他代码。

另外需要强调的是,微服务架构包含的大量微服务,给服务间通信带来了新的挑战。一部分应用程序继续沿用 API 连接,但除此之外还有更多用于服务间数据交换的选项,例如用于实时数据处理的流传输、用于根据数据变更触发响应的事件,以及用于应用级通信与可观察性的服务网格等等。不同的选项各有优劣,大家需要根据应用程序的实际需求做出取舍。

数据管理:专用数据库

现代应用程序以解耦数据存储构建而成,不同于以往全面依赖同一套大型数据库的方式,微服务架构中的数据库与微服务保持着一一映射的关系。以往单体式应用程序的整体增长,必然带来扩展与容错层面的严峻挑战。此外,单体数据库必然引发单点故障,而且同一数据库很难满足一组不同微服务的需求。而随着数据与微服务间的脱钩,大家可以更自由地选择最适合自己的具体数据库方案。

对于大部分应用程序,最好的选项仍然是经典的关系数据库。但也有不少应用程序会提出自己的数据需求。例如,假定您所运行的应用程序需要处理高度关注的数据集——例如推荐引擎——那么不妨选择图数据库(例如 Amazon Neptune)用以存储并导航关系数据。

或者,如果您的应用程序要求实时访问数据,则最好选择内存内数据库,例如 Amazon ElastiCache。这种数据库特别适用于游戏及物联网应用程序。总之,哪种数据库能够全面满足您的微服务需求,哪种就是最好的选择。

软件交付:自动发布管道

在由 Amazon.com 单体式架构转向双披萨团队的过程中,我们关停了单一发布通道,转而允许各个团队独立发布自己的功能与产品。

虽然这种方式消除了交付与更新流程中的协调难题,但也让新的流程变得极度分解、难以掌控。很明显,在全部团队的发布流程与质量水平方面保持统一变得无比艰难,而发布流程中大量的手动操作也让发生人为错误的几率显著提高。

我们的解决方案包含两大基本元素:标准化与自动化。

首先,我们定义一套关于软件交付流程的最佳实践模板,用于为云环境下基础设施资源的建模与配置设定标准。这些“基础设施即代码”模板为各个团队提供良好的起点,以代码取代手动流程的方式为应用程序提供技术堆栈。在 Amazon,这种方式将保证各个团队都根据统一的要求规划流程与部署工作。

其次,我们使用自动化技术消除软件交付流程中的手动操作环节。凭借包括持续集成与持续部署(CI/CD)在内的自动化发布管道,我们得以快速测试并发布大量代码,同时尽可能减少错误几率。借助持续集成,我们的团队地定期将代码变更合并至中央 repo 当中,而后运行自动化构建与测试以尽早发现问题。借助持续部署,我们的团队每天可以完成多轮变更,并在保证变更有效后将其自动添加至生产环境当中。

最初,我们发现在不加人为干预的前提下推进部署相当“恐怖”。但在投入时间建立起正确的测试与故障处理机制后,最终成果不仅大大提升了 Amazon 的运作速度与敏捷性,同时也显著增强了代码质量。

运营模型:尽可能推广无服务器模式

现代应用程序中包含大量活动部件,不同于传统的单体式应用程序与数据库,其中还存在成千上万项服务。每一项服务都有自己的专用数据库,外加一支持续发布新功能的自主团队。

我们可以将这些活动部件分为以下两类:

  • 企业自己的独门绝技,例如创造出独特的用户体验或开发出前所未有的创新产品。

  • “无差别繁重工作”,即必须完成但却无法提供任何竞争优势的任务。对大多数企业而言,这类任务可能涵盖服务器管理、负载均衡与应用安全补丁等内容。

2014年,随着 Amazon Lambda 的推出,我们提出了“无服务器”这一概念。Amazon Lambda 是一种计算服务,可帮助客户在运行代码的同时,无需置备或管理任何服务器。这也极大支持了我们的总体目标,即通过将未经区分的任务移交给 Amazon Web Services 以帮助客户优化自己的“独门绝技”,同时全面实现应用程序的现代化进程。在完成无服务器革新之后,企业能够将资源集中投入到产品创新等有助于建立市场优势的工作当中。

这里所说的“无服务器”,是指无需配置及扩展基础设施即可运行的服务。无服务器架构具备内置可用性与安全性保障,并采用按实际使用量付费的模式。无服务器不仅限于 Lambda,而是涵盖整个应用程序堆栈。

应用程序堆栈通常包含以下三个部分:

  • Amazon Fargate 等计算服务,用于运行应用程序逻辑。

  • MySQL与PostgreSQL 等关系数据库提供的数据存储方案,或者 Amazon Aurora 等数据持久存储服务。

  • 集成层,例如用于管理数据移动的 Amazon EventBridge 等事件总线。

这些无服务器构建单元,将帮助企业在应用程序中实现无服务器模式的最大化收益。

在 Amazon,我们还没有全面普及无服务器模式,但已经在朝着这个方向努力。我们的很多客户也走在同样的探索道路之上。也许在不久的未来,下一代开发人员再也不必接触服务器,而仅仅需要编写业务逻辑。

到那个时代,无论是构建新型 Web 应用还是迁移旧有应用,我们都可以使用无服务器原语实现计算、数据与集成,由此保证企业充分发挥云计算的敏捷性优势。

安全性:人人有责

以往,很多企业将安全性视为一种“魔术”——在即将发布的应用上修修补补,然后听天由命。但在持续发布周期中,这种原始的方法显然无法奏效,组织必须采用新的安全方法以围绕应用程序构建起完善的防火墙。但这同样带来新的挑战,毕竟各项微服务往往有着天差地别的特性与需求,为其分别设定安全配置将带来巨大的工作压力。

为此,在现代应用程序当中,安全功能被内置在应用的各个组件之内,并随着每个发行版本完成自动测试与部署。如此一来,安全不再是安全团队的专属责任;相反,安全保障深入集成到开发生命周期的各个阶段,并要求工程、运营与合规团队参与贡献自己的力量。

具体来讲,安全保障将被集成在代码 repo、构建管理程序以及部署工具之内,同时服务于发布管道本身与通过该管道发布的软件成果。

借助无服务器模式,由于每项服务都内置有基础设施安全要素(例如操作系统版本更新、软件修复与监控等),因此极大降低了安全状态的维护难度。

探索之旅

那么,客户是如何实际推进这种架构变革,最终实现应用程序现代化的?这个问题没有统一的答案,但我们可以在这里分享一点Amazon亲身总结出的共通性经验。

当初决定专注创新并大幅扩展 Amazon.com 的时候,我们一步步完成了应用程序重构、组织结构重组、外加针对云环境的自动化与抽象优化等工作。以 Yelp 为代表的不少 Amazon Web Serviecs 用户也采取了类似的过渡方式。

如果您以往是在本地设施内托管应用程序,那么最常规的方法应该是选择“直接迁移”的方式将应用程序重新托管至云端。以此为基础,客户们开始逐渐熟悉云端的托管服务,尝试将数据库与 API 管理等工作迁移至 Amazon Web Services,并将解放出的资源与人力集中在开发业务逻辑身上。

如今,越来越多的客户开始重塑自己的发展道路,包括将新应用构建为无服务器微服务形式,借此提升对云优势的使用能力。必须承认,并不存在侱正确的现代化方法;您应该结合自身实际情况,稳扎稳打地探索 Amazon Web Services 上的成功之路。

但至少有一点可以肯定:通过构建现代化应用程序,客户的整个业务体系都将获得收益,特别是改善时间与资源的分配能力。他们能够把更多精力投入到定义业务逻辑当中、扩展系统以轻松满足峰值客户需求、提高业务敏捷性,并更快更频繁地发布更多新功能。

例如,专注于发布车辆信息的 Edmunds.com 网站就将新功能的发布周期由以往的六个月缩短至一个星期 。初创企业 Bynder 则将产品上市时间由一年缩短至一个月。在这个以技术为主导的新时代,对技术运用的能力将直接影响业务的运作方式。

而这一切,正是现代化应用程序的力量所在。

文章来源:https://dev.amazoncloud.cn/column/article/62b452ad849b456b98432b50?sc_channel=CSDN

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/373332.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

OAK相机如何将yoloV8模型转换成blob格式?

编辑:OAK中国 首发:oakchina.cn 喜欢的话,请多多👍⭐️✍ 内容可能会不定期更新,官网内容都是最新的,请查看首发地址链接。 ▌前言 Hello,大家好,这里是OAK中国,我是助手…

Paddle配置

目录: 1.激活环境 2.版本选择 突发情况:ModuleNotFoundError: No module named paddle 检验是否安装成功 1.激活环境 Anaconda: conda remove -n paddle --all conda activate paddle 2.版本选择 打开链接:https://www.pa…

银行数字化转型导师坚鹏:BLM银行数字化转型战略课程大纲

BLM银行数字化转型战略——以BLM模型为核心,实现知行果合一 课程背景: 很多银行存在以下问题: 不知道如何系统地制定银行数字化转型战略? 不清楚其它银行数字化转型战略是如何制定的? 不知道其它银行数字化转型战略…

【离线数仓-8-数据仓库开发DWD层设计要点-工具域互动域流量域用户域相关事实表】

离线数仓-8-数据仓库开发DWD层-工具域&互动域&流量域&用户域相关事实表离线数仓-8-数据仓库开发DWD层设计要点-工具域&互动域&流量域&用户域相关事实表一、工具域相关事实表1.工具域优惠券领取事务事实表&使用(下单)事务事实…

基于nodejs+vue的果蔬商城在线销售系统vscode

水果蔬菜在线销售借助于当今盛行互联网技术,为消费者和供应商提供了一个更加方便的交易平台,使消费者足不出户就可以选购所需商品,省下许多时间和精力。商家通过该销售系统可以快速了解市场行情,更好地适应市场需求,扩…

【华为OD机试模拟题】用 C++ 实现 - 找到它(2023.Q1)

最近更新的博客 【华为OD机试模拟题】用 C++ 实现 - 去重求和(2023.Q1) 文章目录 最近更新的博客使用说明找到它题目输入输出示例一输入输出示例二输入输出说明Code使用说明 参加华为od机试,一定要注意不要完全背诵代码,需要理解之后模仿写出,通过率才会高。 华为 OD …

工具篇(四)基于WPS的数据处理和分析

作者的话 大家好,我是一名练习时长两年半的数据分析师,今天想和大家分享一下我在使用WPS进行数据操作时的经验。 在日常工作中,数据处理是我们最常用到的功能之一。而在处理数据时,一个强大的工具是至关重要的。我个人非常喜欢使…

Clickhouse学习:MergeTree

MergeTree一、MergeTree逻辑存储结构二、MergeTree物理存储结构三、总结一、MergeTree逻辑存储结构 如上图所示,在排序键(CountrID、Date)上做索引,数据会按照这两个字段先后排序ClickHouse是稀疏索引,每隔8192行做一个索引,如(a,1),(a,2),比如想查a,要读取[0,3)之间的内容,稀疏…

2023年三月份图形化四级打卡试题

活动时间 从2023年3月1日至3月21日,每天一道编程题。 本次打卡的规则如下: 小朋友每天利用10~15分钟做一道编程题,遇到问题就来群内讨论,我来给大家答疑。 小朋友做完题目后,截图到朋友圈打卡并把打卡的截图发到活动群…

网络原理之初识

目录 一. 网络互连 1. 局域网 2. 广域网 二. 网络通信基础 1. IP 地址 2. 端口号 3. 网络协议 4. 协议分层 5. TCP/IP 五层网络模型 (简述) 6. 网络数据传输的基本流程 一. 网络互连 随着时代的发展,越来越需要计算机之间互相通信&am…

【华为OD机试模拟题】用 C++ 实现 - IPv4 地址转换成整数(2023.Q1)

最近更新的博客 【华为OD机试模拟题】用 C++ 实现 - 去重求和(2023.Q1) 文章目录 最近更新的博客使用说明IPv4 地址转换成整数题目输入输出示例一输入输出说明示例一输入输出说明Code使用说明 参加华为od机试,一定要注意不要完全背诵代码,需要理解之后模仿写出,

使用Phpstorm进行项目管理

对于项目管理我们还是使用传统的终端命令行(命令行很重要是基础中的基础)么 ? 不现在我们要通过工具提高我们的效率,作为一名合格的程序猿下班提交代码是我们的基操!!!!但是经过一天…

ctf pwn基础-4

今天是学pwn的第四天,去接触了pwn的整数溢出。 目录 基础 实例讲解 实例讲解2 基础 关于整数溢出,这里以int为例,因为我php之前搞的比较多,以为这个int也是想php一样是64,最大值是9开头的那个,闹了不少笑…

关于程序员中年危机的一个真实案例

​ 关于中年危机,网上已经有了各种各样的解读。但是,这两天一个学员跟我简单几句聊天,却触发了对于中年危机的另一种思考。如果你曾经也有点迷茫,或许你可以稍微花几分钟看下这个故事。 一、无奈的故事 ​ 39岁还出来面试&#x…

论文阅读:NeRF Representing Scenes as Neural Radiance Fields for View Synthesis

论文阅读–NeRF Representing Scenes as Neural Radiance Fields for View Synthesis 这是 2020 ECCV 的一篇文章,记得好像还获得了最佳论文奖的提名,这篇文章相当于将自由视点生成这个方向开辟出了一个新的解决思路。 文章的作者们提出了一种可以对复…

数据结构与算法——1.数据结构概述

从这篇文章开始,我们来讲一下数据结构与算法的相关内容 1.数据结构概述 什么是数据结构? 官方解释: 数据结构是一门研究非数值计算的程序设计问题中的操作对象,以及他们之间的关系和操作等相关问题的学科。 大白话&#xff1…

nodejs+vue+elementui,毕业生导师双选系统 vscode双向选择

为了直观显示系统的功能,运用用例图这样的工具显示分析的结果。分析的导师功能如下。导师管理导师选择信息,管理项目,管理项目提交并对学员提交的项目进行指导。 为了直观显示系统的功能,运用用例图这样的工具显示分析的结果。分析…

XpdfViewer ActiveX 4.0.3 Retail

XpdfViewer 库/ActiveX 控件提供了一个用于 Windows 应用程序的 PDF 文件查看器组件。XpdfViewer 使任何 Windows 开发人员都可以将 PDF 查看功能添加到他们的应用程序中。它为开发人员提供了对 PDF 查看器的完全控制——XpdfViewer 适合您的GUI。 XpdfViewer 功能包括&#xf…

Elasticsearch:索引数据是如何完成的

在我在之前的文章 “Elasticsearch:彻底理解 Elasticsearch 数据操作” 文章中,我详细地描述了如何索引数据到 Elasticsearch 中。在今天的文章中,我想更进一步来描述这个流程。 Elasticsearch 是一个非常强大和灵活的分布式数据系统&#x…

layui框架学习(10:时间线)

时间线,英文timeline,也叫时光轴、时间轴,是指以时间为记录方式的一种网络布局形式,其形式之一为下图所示(示例图来自参考文献5)。   Layui官网教程中的更新日志页面也用了时间线样式,如下图…