Serverless Devs 重大更新，基于 Serverless 架构的 CI/CD 框架：Serverless-cd

news2024/12/31 6:27:16

近日，Serverless 开发者平台 Serverless Devs 重磅发布基于 Serverless 架构的轻量级 CI/CD 框架——Serverless-cd。Serverless-cd 是一款运行在 Serverless 架构上的功能强大而灵活，安全，低成本的CI/CD开源框架。该框架基于 Serverless Devs 开发者工具打造，通过 Serverless-cd开发者可以快速构建企业内部应用管理PaaS平台。

开发者更想关注业务价值的创造

Serverless Devs 是CNCF 沙箱孵化项目，2020年由阿里云开源，它是一个开源开放的 Serverless 开发者平台，Serverless Devs 也是业内首个支持主流 Serverless 服务 / 框架的云原生全生命周期管理的平台，致力于为开发者打造 Serverless 应用开发一站式服务，帮助解决目前的工具链之困，让开发者一键体验多云产品，极速部署 Serverless 项目。

Serverless Devs 项目为应用的开发，调试，部署，运维，监控提供全生命周期的解决方案。在实际使用中，应用部署和交付对于开发者来说仍然是一个难题。开发者希望更专注于应用的开发和价值的创造——也就是关注代码编写和应用的构建，而非应用部署和交付。

在 Serverless-cd 项目发布之前，Serverless Devs 项目通过集成的方式，集成了主流的 CI/CD 工具：https://github.com/Serverless-Devs/cicd，如 Jenkins、Github、Gitlab 等，但使用这些传统的 CI/CD 工具一般会面临如下几个问题：

  1. 资源利用率低：需要提前准备构建机器，在没有构建任务时，机器资源浪费；
  2. 任务排队：如果资源准备不充足，在业务构建的高峰期间， 任务排队时间过长；
  3. 隔离性差：如果某个任务执行过程中消耗大量计算/存储资源，导致其他任务失败；
  4. 安全问题：
    1. 使用平台提供的CICD服务：代码和构建机器不在同一个网络环境，不得不开放公网访问，引起安全问题。
    2. ECS虚机部署：多个应用同时在一个实例构建，某个恶意应用可以访问其他的应用的代码

CI/CD 流水线的 2个特点

CI/CD 流水线有两个显著的特点：

1.事件驱动

无论是接收 Webhook 自动触发，还是调用 Open Api 手动触发，对于 CICD 系统来说都是被动接收指令进行消费

2.业务明显波峰波谷

触发 CI/CD 构建的高峰一般在上班的时间段中，下班后以及晚上构建任务比较少。同时有些任务执行非常耗时，有些任务又需要大量的CPU&内存资源，很难提前进行有效的容量预估。

  • 机器资源准备过少：由于资源不足导致任务执行失败，或者多个任务进行资源抢占，一直无法执行。
  • 机器资源准备过多：无法充分利用，造成资源闲置浪费。

基于Serverless架构的CI/CD优势

在 Serverless 架构下，CI/CD 可以具备以下优势

1.自动弹性

Serverless 平台会为每个构建任务分配一个全新的实例，保证每个任务之间互不影响。再也不用担心资源不足导致任务失败，也避免了由于资源不足导致任务一直排不上队的情况。

2.按价值付费

在业务波谷（晚上或者下班后）期，只有少量甚至没有任务执行，资源就出现了闲置和浪费。Serverless 的理念是帮助客户按实际产生的价值付费，只有实实在在的发生了构建行为，才会产生费用。

3.免运维

Serverless 弹性是按照请求进行水平扩容的，开发者无需关注底层资源调度和运维的工作，可以心无旁骛的实现业务开发和价值创造。

Serverless-cd 技术架构

Serverless-cd 是完全遵循 Serverless 架构最佳实践，在规范和生态层面参考 Github Action 的实现。下面是Serverless-cd 部署 Serverless Devs 应用的一段 YAML：

name: "Deploy Express application to FC"
steps:
  - run: npm i @serverless-devs/s -g --registry=https://registry.npmmirror.com
  - run: s -v
  - run: echo ${{secrets.ALIYUN_ACCOUNTID}}
  - run: echo ${{secrets.ALIYUN_AK}}
  - run: echo ${{secrets.ALIYUN_SK}}
  - run: s config add --AccountID ${{secrets.ALIYUN_ACCOUNTID}}  --AccessKeyID ${{secrets.SIMPLE_ALIYUN_AK}}  --AccessKeySecret ${{secrets.SIMPLE_ALIYUN_SK}} -a default -f
  - run: s deploy --use-local -y

Serverless-cd 采用的是经典的 Master Worker 模型，采用事件驱动的架构，整体的架构如下图：

触发方式

触发器承担事件驱动中的生产者的角色，Serveless-cd暂时提供了三种触发方式：

1.通过Webhook自动触发：

开发者可以配置对应的触发条件：比如Push到Master分支，发起Merge Request。这是一种非常敏捷的开发和交付的方式

2.通过Open api触发：

Serverless cd平台的所有的能力都提供开放了Open api。以便开发者更好的构建企业内部的PaaS平台

3.通过CLI触发:

从技术的角度来看Serverless-Devs本质是一个CLI工作，提供了组件化的能力，所谓的组件化也就是通过热更新的机制，让开发者根据自己的需求进行拓展。Serverless-cd通过自定义组件，让开发者可以通过通过命令行直接操作。

当然我们也在计划接入更多的触发类型，比如 cloudevents 触发, 定时触发等。

Serverless(FaaS) 平台

FaaS平台是整个平台的核心部分，承担事件驱动中的消费者角色，采用的是经典的 Master Worker 模型。

Master Worker 模型在 Serverless 架构的优势

传统的Master Woker部署，为了保证Master节点的高可用，需要部署三个节点搭配负载均衡以及健康检查，来保证Master节点高可用。在Serverless架构中，实例会根据请求自动弹性扩容，Master节点天然具备高可用能力，无论在可靠性，还是灵活性都有较大的优势

Master 函数作用

Master 函数本质是一个 HTTP 类型函数，作为整体流量的入口，同时也是整个系统的大脑，承担着非常重要职责。

1.安全保障

  • 公网密钥校验
    Master 暴露的 URL 地址是可以公网访问的，为了防范恶意请求，serverless-cd 系统在下发 URL 的同时也会下发签名规则。如果是恶意的请求，就无法通过校验，来保证系统的安全性
  • VPC 绑定

也支持绑定VPC环境，代码仓库和serverless-cd 服务绑定在同一个VPC环境，通过Webhook触发。公网用户无法直接访问，从网络上保证了绝对的安全

2.过滤请求

我们每天在 Git Repository 会触发各种事件，比如新建 ISSUE，PUSH 代码，发起 Merge Request 等。这些动作都会通过 Webhook 触发，开发者可以配置规则过滤相关事件。下面是一个示例：代表在 GitHub 平台提交到Master 的代码才会触发

triggers:
  github:
    events:
      - eventName: "push"
        filter: 'body.ref in ["refs/heads/master"

4.路由转发

Master 函数负责将请求分发给 Worker 函数，Worker 函数所有的行为都由 Master 函数控制

Worker函数作用

Worker 函数本质是一个事件（Event）函数，只和 Master 函数通信，唯一的职责是处理 Pipeline，可以长时间运行。

自定义 pipeline

serverless-cd 支持三种方式自定义 pipeline

shell 脚本

shell 脚本是最容易理解也是使用最广泛的

name: "shell example"
steps:
  - run: echo Hello world

zx 脚本

google/zx 允许开发者通过javascript语法来编写您的Shell脚本

name: "zx example"
steps:
  - script: 'const listFile = await $`ls -la`; console.log(listFile)',

使用自定义应用（NPM Package）进行扩展

Serverless-cd也支持封装通用的NPM包进行扩展：比如钉钉通知，企业微信通知，OSS文件上传等通用能力，都可以通过自定义应用扩展。自定义应用本质是发布在NPM仓库的包。

name: "zx example"
steps:
  - run: @serverless-cd/dingding

快速体验

提前准备

serverless-cd 部署完全是基于云进行，依赖相关云产品也是Serverless化。

  • 函数计算FC：整个系统的计算能力运行在FC上
  • 日志服务SLS：分布式日志存储服务，更好的定位和发现问题
  • 对象存储OSS：用于存储日志信息
  • 表格存储Tablestore: 应用和任务的云数据信息存储

本地部署

  1. 下载安装 Serverless Devs：npm install @serverlesss-devs -g （版本必须大于2.1.7）,详细操作引导请参考Serverless Devs 安装文档
  2. 配置密匙信息：s config add, 详细操作引导请参考配置阿里云秘钥
  3. 初始化项目：s init serverless-cd
  4. 进入项目并部署：cd serverless-cd && s deploy

Serverless-cd RoadMap

开源共建

Serverless-cd 是业界首个基于 Serverless 架构的 CI/CD 的探索，欢迎大家关注我们的开源地址：https://github.com/Serverless-Devs/serverless-cd 。Serverless-cd 刚刚开源，还有大量的细节和工作，期待与更多开发者一起共建 Serevrless 生态，让开发者可以心无旁骛的专注业务开发和价值创造。

原文链接

本文为阿里云原创内容，未经允许不得转载。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/23157.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

ML XGBoost详细原理及公式推导讲解+面试必考知识点

ML XGBoost详细原理及公式推导讲解+面试必考知识点

😄 搞竞赛天天无脑XGBoost、LightGBM、CatBoost，但不知道原理也少许有点尴尬了~，所以打算深入学习下这三大竞赛杀器的原理，整理下面试中一些高频问题。之前有决策树，GBDT的基础了，再学学这三个和随机森林&a…
阅读更多...
unix网络编程(四)epoll反应堆

unix网络编程(四)epoll反应堆

epoll反应堆原理代码demo原理 【epoll模型原来的流程】： epoll_create(); // 创建监听红黑树 epoll_ctl(); // 向书上添加监听fd epoll_wait(); // 监听 有监听fd事件发送—>返回监听满足数组—>判断返回数组元素—> lfd满足accept—>返回cfd---->r…
阅读更多...
【仿牛客网笔记】项目进阶，构建安全高效的企业服务——任务执行和调度

【仿牛客网笔记】项目进阶，构建安全高效的企业服务——任务执行和调度

http://www.quartz-scheduler.org 集群服务器有两类程序一类普通请求，另一类定时任务。 浏览器通过负载均衡工具Nginx, Nginx同一时刻有一个去处理。 Quartz存入到数据库中，多个Quartz同时访问 线程池测试类 实例化logger,通过logger输出，自…
阅读更多...
Java学习之封装

Java学习之封装

**学习重点：**面向对象编程的三大特征：封装、继承、多态度 封装介绍 封装：encapsulation就是把属性和方法封装在一起，数据被保护在内部，程序的其它部分只有通过被授权的操作（方法）&#xff0c…
阅读更多...
【Linux】四、Linux 进程概念（二）|普遍操作系统的进程状态（运行、阻塞、挂起）|Linux的具体进程状态|僵尸进程|孤儿进程

【Linux】四、Linux 进程概念（二）|普遍操作系统的进程状态（运行、阻塞、挂起）|Linux的具体进程状态|僵尸进程|孤儿进程

目录 五、进程状态 5.1 普遍操作系统层面的进程状态（宏观） 5.1.1 什么叫做运行状态 5.1.2 阻塞状态 5.1.2 挂起状态 5.2 Linux 的进程状态（具体） 5.2.1 Linux 内核进程状态源代码 5.2.2 Linux 进程状态查看 5.2.3 Linux …
阅读更多...
2023年软考高级系统规划与与管理师备考策略

2023年软考高级系统规划与与管理师备考策略

2023年上半年软考高级系统规划与管理师打算怎么备考呢？ 系统规划与管理师是高级科目的其中一科，难度系数是有的，系统规划与管理师相较于其他高级考试又相对难度可控。只要你肯下功夫，还是可以拿下的！系统规划与管理师…
阅读更多...
ASP.NET Core教程-Routing（路由）

ASP.NET Core教程-Routing（路由）

更新记录 转载请注明出处： 2022年11月21日 发布。 2022年11月20日 从笔记迁移到博客。 Route Basic(路由基础) 路由说明 请求URL映射到控制器方法的过程，这个映射过程由路由规则定义。 路由功能 跟据预先配置的路由信息对客户端传来的请求进行路由映射&a…
阅读更多...
Hbase Coprocessor 协处理器 与 JavaAPI

Hbase Coprocessor 协处理器 与 JavaAPI

协处理器概念 一、协处理器有两种： observer 和 endpoint 1、observer协处理器 Observer 类似于传统数据库中的触发器，当发生某些事件的时候这类协处理器会被 Server 端调用。Observer Coprocessor 就是一些散布在 HBase Server 端代码中的 hook 钩子…
阅读更多...
go使用grpc

go使用grpc

protoc下载 protoc是protobuf的编译工具，能根据.proto文件生成为各种语言的文件。 原始的protoc集成了如下语言的转换： cc#javaobjectcphppythonruby 但是没有集成go的转换工具。go的转换工具是在protoc的基础上使用插件的方式运行。 protoc 的下载地址…
阅读更多...
java面试强基（7）

java面试强基（7）

hashCode() 有什么用？ ​ hashCode() 的作用是获取哈希码（int 整数），也称为散列码。这个哈希码的作用是确定该对象在哈希表中的索引位置。 ​ hashCode()定义在 JDK 的 Object 类中，这就意味着 Java 中的任何类都包含…
阅读更多...
阿里架构师耗时1年，把P8所需要的整个Java体系，都整理到了一起

阿里架构师耗时1年，把P8所需要的整个Java体系，都整理到了一起

始末 有人调侃我们说： 程序员不如送外卖。送外卖是搬运食物，自己是搬运代码，都不产出新的东西……透支体力，又消耗健康，可替代性极强，30岁之后就要面临被优化的危险……想跳槽，但是更高的平台…
阅读更多...
科技风杂志科技风杂志社科技风编辑部2022年第31期目录

科技风杂志科技风杂志社科技风编辑部2022年第31期目录

科技创新《科技风》投稿：cnqikantg126.com 基于钢架网箱清理控制系统的研究 张浩;崔新忠;丁树兵;尹杰;卢佳乐;王隽屹;张津宁; 1-3 遥感技术在海洋区域地质调查中的应用——以岛礁区调查为例 韩艳飞; 4-6 医院电气工程智能自动化及PLC技术在医院电气设备…
阅读更多...
mipi介绍

mipi介绍

文章目录1.MIPI简介1-1：DSI layer2.D_PHY2-1：D_PHY介绍2-2：电平状态2-3：lane结构2-4：data lane操作模式2-4-1：escape mode和space one hot coding2-4-2：Low-Power Data Transmission&#xff08…
阅读更多...
图书借阅管理系统的设计与实现/书籍借还管理系统

图书借阅管理系统的设计与实现/书籍借还管理系统

摘要 随着Internet的发展，人们的日常生活已经离不开网络。未来人们的生活与工作将变得越来越数字化、网络化和电子化。网上借阅一系列功能将成为人们最关注话题，本论文是以构建图书借阅为目标，使用 Java制作，由前台用户借阅图书、…
阅读更多...
计算机网络4小时速成：网络安全，被动攻击，主动攻击，对称加密，公钥秘钥，数字签名，鉴别，网络层安全协议IPsec，传输层安全协议SSL，防火墙，入侵检测系统

计算机网络4小时速成：网络安全，被动攻击，主动攻击，对称加密，公钥秘钥，数字签名，鉴别，网络层安全协议IPsec，传输层安全协议SSL，防火墙，入侵检测系统

计算机网络4小时速成：网络安全，被动攻击，主动攻击，对称加密，公钥秘钥，数字签名，鉴别，网络层安全协议IPsec，传输层安全协议SSL，防火墙，入侵检测系统…
阅读更多...
PTA题目 计算分段函数[1]

PTA题目 计算分段函数[1]

本题目要求计算下列分段函数f(x)的值： 输入格式: 输入在一行中给出实数x。 输出格式: 在一行中按“f(x) result”的格式输出，其中x与result都保留一位小数。 输入样例1: 10输出样例1: f(10.0) 0.1输入样例2: 0输出样例2: f(0.0) 0.0 #includ…
阅读更多...
公众号免费题库接口

公众号免费题库接口

公众号免费题库接口 本平台优点： 多题库查题、独立后台、响应速度快、全网平台可查、功能最全！ 1.想要给自己的公众号获得查题接口，只需要两步！ 2.题库： 查题校园题库：查题校园题库后台（点击…
阅读更多...
IDEA Windows下SPARK连接Hive

IDEA Windows下SPARK连接Hive

IDEA Windows下SPARK连接Hive 文章目录IDEA Windows下SPARK连接Hive一、本地Windows环境配置二、IDEA项目配置1. POM配置2. 资源文件配置3. 测试验证一、本地Windows环境配置 本地构建HADOOP客户端 将大数据平台的HAODOP环境打包拿到本地环境来： #压缩整个HADOOP…
阅读更多...
特征选择技术总结

特征选择技术总结

在本文中，我们将回顾特性选择技术并回答为什么它很重要以及如何使用python实现它。 本文还可以帮助你解答以下的面试问题: 什么是特征选择?说出特性选择的一些好处你知道哪些特征选择技巧?区分单变量、双变量和多变量分析。我们能用PCA来进行特征选择吗?前向特征…
阅读更多...
如何打造一支专业的QA团队，至少要关注这5点

如何打造一支专业的QA团队，至少要关注这5点

目录 第一、专职的QA人员 第二、关注QA的能力素质 第三、适度的量化指标 第四、增加QA工作的透明度 第五、 充分利用好评审这把“利剑” QA是Quality Assurance的缩写，直接翻译过来就是“质量保证”的意思。 QA也称为质量工程师，基本上每个产品型或…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023