使用 Pulumi 打造自己的多云管理平台

前言

在公有云技术与产品飞速发展的时代，业务对于其自身的可用性提出了越来越高的要求，当跨区域容灾已经无法满足业务需求的情况下，我们通常会考虑多云部署我们的业务平台，以规避更大规模的风险。但在多云平台部署的架构下，多云资源的管理成为了一个耗时耗力，管理与运维成本颇高的难点。这导致了第一，云管人员需要精通掌握两家甚至多家云厂商的技术与服务产品，或者第二，多支独立团队分别运维与管理导致的高团队成本等诸多痛点。所以公有云资源纳管平台（以下简称云管平台）应运而生。

亚马逊云科技开发者社区为开发者们提供全球的开发技术资源。这里有技术文档、开发案例、技术专栏、培训视频、活动与竞赛等。帮助中国开发者对接世界最前沿技术，观点，和项目，并将中国优秀开发者或技术推荐给全球云社区。如果你还没有关注/收藏，看到这里请一定不要匆匆划过，点这里让它成为你的技术宝库！

云管平台简化了运管人员的操作流程，降低了公有云产品的技术门槛，但是在多云产品的集中式纳管上，却难度重重。其一，不同公有云厂商，使用独立的 infrastructure-as-code （以下简称 IaC ）体系或者服务，譬如亚马逊云科技的 Cloudformation 服务；其二，不论云厂商还是开源的 IaC 产品，均使用标记语言或者类标记语言编写代码，鲜有使用 Java， Python 或者 Golang 等开发语言的运行时，这对于精通于开发语言的，云管平台的开发人员导致了额外学习成本，需要从0开始学习标记语言，往往会导致开发团队的抵触甚至拒绝；其三，标记语言运行过程中，更倾向于将整体堆栈运行完毕之后，输出对应的 outputs，但在运行过程中，存在难以直接循环调用 outputs，无法写入数据库等诸多难点，这增大了编写难度以及代码编写工作量。有没有一款产品，能够适配主流公有云 IaC，又可以使用高级编程语言编写代码呢？

什么是 Pulumi？

Pulumi 是非常流行的，现代化 IaC 平台。Pulumi 引入了主流编程语言，譬如 JavaScript，Python，Java，Golang，.NET，以及标记语言 YAML，可以使用上述语言，通过 Pulumi SDK 管理不同云厂商的资源。Pulumi 目前已经支持了主流公有云厂商譬如亚马逊云科技，微软 Azure，谷歌云与阿里云，及其生态譬如 Fastly，Akamai，Cloudflare，Kubernetes，Kong，Apache Kafka 等。

Pulumi 的组成如下图所示：

每一个 Pulumi 项目包含至少一个程序组，程序组由编程语言书写，描述不同资源的运作

以及彼此之间的关系。

以下以 Python 代码为例，描述我们在 Pulumi 中创建了 web-sg 名称安全组，并附加该安全组，以 ’ami-6869aa05’为镜像，创建了实例规格为 t2.micro 的 EC2 虚拟机。

import pulumi
import pulumi_aws as aws

group = aws.ec2.SecurityGroup('web-sg',
    description='Enable HTTP access',
    ingress=[
        { 'protocol': 'tcp', 'from_port': 80, 'to_port': 80, 'cidr_blocks': ['0.0.0.0/0'] }
    ])

server = aws.ec2.Instance('web-server',
    ami='ami-6869aa05',
    instance_type='t2.micro',
    vpc_security_group_ids=[group.name] 
)

pulumi.export('public_ip', server.public_ip)
pulumi.export('public_dns', server.public_dns)

Pulumi 如何工作 Pulumi 的运作由几个部分组成：

第一，语言处理中枢。Language Host 负责运行 Pulumi 的程序，并为您的开发语言准备好与之对应的环境，譬如 Python3.7。语言中枢由两部分组成：

1.执行器。它会协助 Pulumi 准备并设置好相应的 Runtime（运行时）；

2.运行时。它会负责为您编写的程序做好运行准备，并在过程中监控程序的运行。

第二，资源提供方 Provider。

资源提供方通过资源插件（Resource Plugin，用来管理资源）与原生 SDK 协作，来管理云端资源。

有了上述两部分组成，Engine 引擎就可以实现云端资源的管理。引擎已经被封装进 pulumi cli，无需额外安装与部署。

如何创建一个 Pulumi 项目

1.安装 Pulumi（以 Linux 为例）

curl -fsSL https://get.pulumi.com | sh
复制代码

2.安装运行时（以 Python 为例）

请阅读如何在 Linux 上安装 Python3 本文不再复述

3.配置权限

请阅读安装或更新最新版本的 Amazon CLI ，完成 Amazon CLI 的安装，本文不再复述

请阅读配置 Amazon CLI 完成完成权限配置，本文不再复述

4.创建新项目

$mkdir newproject && cd newproject
$pulumi new aws-python

Pulumi new 的命令行会通过交互式的方式，为您创建新的项目与新的堆栈（stack），并安装好所有需要的组件（Module）。

5.部署这个项目

执行 pulumi up 进行项目部署

执行成功后，我们可以在 S3 中看到有 pulumi 创建出来的 S3 桶

6.调整项目部署

我们要在已经部署的项目中，做出一些调整。之前的部署结束后，我们创建了一个 S3 桶，这次我们需要为其添加一个 index.html 并将其托管为静态站点

6.1创建站点首页

#touch index.html

在其中添加文本：

<html>
    <body>
        <h1>Hello, Amazon!</h1>
    </body>
</html>

保存后，编辑__main__.py

在结尾处添加：

bucketObject = s3.BucketObject( ‘index.html’, bucket=bucket.id, source=pulumi.FileAsset(‘index.html’))

再次执行 pulumi up 变更部署

6.2 调整部署

这次我们需要编辑 S3 bucket 的属性，使其托管静态站点，并调整 Bucket ACL，使其可以被匿名访问。

编辑 main.py

替换 bucket segment，使其成为：

bucket = s3.Bucket('my-bucket',
    website=s3.BucketWebsiteArgs(
        index_document="index.html",
))

在结尾处，增加输出：

pulumi.export('bucket_endpoint', pulumi.Output.concat('http://', bucket.website_endpoint))

执行 Pulumi up，发布项目变更后，得到输出结果：

Outputs:
  + bucketEndpoint: "http://my-bucket-e7bfd5a.s3-website-us-west-2.amazonaws.com"
    bucketName    : "my-bucket-e7bfd5a"

访问 bucketEndpoint，我们可以看到

7.销毁项目

我们可以执行 pulumi destroy 销毁项目。

结论

通过这个简单的案例，我们展示了通过 pulumi 可以轻松的创建，管理与删除一个项目，在项目中，我们可以创建，调整，管理，删除与项目相关的 Resource，将 pulumi 与编程语言相结合，可以实现云管平台的个性化需求，并通过云管平台的几次点击，实现复杂逻辑下，不同云服务的组合，满足业务场景的需求。

额外案例

我们会额外提供几个 pulumi program，方便大家直观的了解到 pulumi 的编码方式。

创建一个名称为 “DocumentDBCluster”Amazon DocumentDB 的 Cluster，自动备份保存15天，必须开启删除保护。然后将 DocumentDB Cluster Endpoint 输出。

import pulumi
import pulumi_aws as aws

docdb = aws.docdb.Cluster("docdb",
    backup_retention_period=5,
    cluster_identifier="DocumntDBCluster",
    engine="docdb",
    master_password="mustbeeightchars",
    master_username="foo",
    deletion_protection=True,
    skip_final_snapshot=True)
pulumi.export('DocumentCluster_endpoint', docdb.endpoint)

下面是一个稍微复杂一些的场景：

场景共由五个部分组成，第一部分，环境定义；第二部分，创建 SSH&HTTP 的安全组，第三部分，创建 EC2 并附加 EIP，第四部分，创建 Aurora ServerlessV2，第五部分，输出。大家能够通过下列 python 代码与场景逐一对应。

import pulumi
import pulumi_aws as aws

config = pulumi.Config()
availability_zone = config.require("availabilityZone")
environment_type = config.get("environmentType")
if environment_type is None:
    environment_type = "dev"
ami_id = config.get("amiID")
if ami_id is None:
    ami_id = ""
ami_id_value = "/aws/service/ami-amazon-linux-latest/amzn2-ami-hvm-x86_64-gp2" if ami_id == "" else aws.get_ssm_parameter_string().value
key_pair_name = config.require("keyPairName")
db_instance_identifier = config.get("dbInstanceIdentifier")
if db_instance_identifier is None:
    db_instance_identifier = "mydatabase"
db_username = config.get("dbUsername")
if db_username is None:
    db_username = "postgres"
db_password = config.require("dbPassword")

web_app_security_group = aws.ec2.SecurityGroup("webAppSecurityGroup",
    name="webAppSG",
    description="Allow HTTP/HTTPS and SSH inbound and outbound traffic",
    ingress=[
        aws.ec2.SecurityGroupIngressArgs(
            ip_protocol="tcp",
            from_port=80,
            to_port=80,
            cidr_ip="0.0.0.0/0",
        ),
        aws.ec2.SecurityGroupIngressArgs(
            ip_protocol="tcp",
            from_port=443,
            to_port=443,
            cidr_ip="0.0.0.0/0",
        ),
        aws.ec2.SecurityGroupIngressArgs(
            ip_protocol="tcp",
            from_port=22,
            to_port=22,
            cidr_ip="0.0.0.0/0",
        ),
])

web_app_instance = aws.ec2.Instance("webAppInstance",
    availability_zone=availability_zone,
    image_id=ami_id_value,
    instance_type="t2.small",
    key_name=key_pair_name,
    security_groups=[web_app_security_group.id,default,])
web_app_eip = aws.ec2.EIP("webAppEIP",
    vpc=True,
instance=web_app_instance.id)

web_app_database = aws.rds.Cluster("webAppDatabase",
    cluster_identifier=db_instance_identifier,
    engine="aurora-postgresql",
    engine_mode="provisioned",
    engine_version="13.6",
    database_name=db_username,
    master_username=db_username,
    master_password=db_password,
    serverlessv2_scaling_configuration=aws.rds.ClusterServerlessv2ScalingConfigurationArgs(
        max_capacity=1,
        min_capacity=0.5,
    ))
web_app_database_instance = aws.rds.ClusterInstance("webAppDatabaseInstance",
    cluster_identifier=web_app_database.id,
    instance_class="db.serverless",
    engine=web_app_database.engine,
    engine_version=web_app_database.engine_version)

pulumi.export("websiteURL", web_app_eip.id.apply(lambda id: f"http://{id}"))
pulumi.export("webServerPublicDNS", web_app_instance.public_dns_name)
pulumi.export("webAppDatabaseEndpoint", web_app_database.endpoint)