云原生时代：从 Jenkins 到 Argo Workflows，构建高效 CI Pipeline

news2024/10/6 18:24:46

作者：蔡靖

Argo Workflows

Argo Workflows [ 1] 是用于在 Kubernetes 上编排 Job 的开源的云原生工作流引擎。可以轻松自动化和管理 Kubernetes 上的复杂工作流程。适用于各种场景，包括定时任务、机器学习、ETL 和数据分析、模型训练、数据流 pipline、CI/CD 等。

Kubernetes Jobs 只提供基础的任务执行，但是无法定义步骤依赖关系和顺序、缺乏工作流模版、没有可视化界面，也不支持工作流级别的错误处理等，对于批处理、数据处理、科学计算、持续集成等业务场景，Kubernetes Job 无法胜任。

Argo Workflows 作为 CNCF 的毕业项目，已被使用在多种场景，持续集成（CI）是其一个重要应用领域。

图片

CI 与 Jenkins

持续集成和持续部署（CI/CD）是软件开发生命周期中的重要部分，它允许团队以敏捷流程开发应用并提高所构建应用程序的质量。持续集成（CI）是面向开发者的自动化流程，经测试、构建等步骤，有助于更频繁、可靠地将代码变更提交到主分支。

Jenkins 作为 CI/CD 领域最常见的解决方案，其具有开源免费、插件丰富、社区成熟诸多优点，但它仍然存在一些问题，尤其是云原生大背景的当下：

  • 非 kubernetes 原生；
  • 随着 pipeline 和插件的增加，Jenkins 会面临性能瓶颈；
  • 自动扩展能力不足，并发不足，运行时间长，空闲计算浪费成本；
  • 维护成本方面，虽然 Jenkins 的插件生态系统丰富，但这也可能导致插件版本不兼容、更新不及时或安全漏洞等问题，管理插件更新和权限是一个持续的挑战；
  • 项目隔离/权限分配方案的缺陷等。

Argo Workflows 与 Jenkins 的对比

相比于 Jenkins，Argo Workflows 有诸多优势。Argo Workflows 构建在 Kubernetes 之上，使其具有 Kubernetes 经过时间考验的优势，其 Autoscaling 和并发等能力，使得 Argo Workflows 可以处理大规模的 pipelins，具有更快的运行速度，和更低的费用/使用成本，让开发者更加聚焦业务功能和为客户提供、传播价值；并且与 Argo 生态的 Argo CD、Argo Rollout、Argo Event 的无缝集成，为 CI 等场景提供更强大的能力。您可以基于 Argo Workflows 来构建更加云原生、大规模、高效率、低成本的 CI Pipeline。

对比如下：

image.png

基于 ACK One Serverless Argo 工作流的 CI Pipeline

ACK One Serverless Argo 工作流

ACK One Serverless Argo 工作流 [ 2] 作为一款完全遵循社区规范的全托管式 Argo Workflows 服务，致力于应对大规模计算密集型作业，通过集成阿里云 ECI 实现自动扩展和极致弹性、按需扩容以最小化成本，通过使用 spot ECI（抢占式 ECI 实例 [ 3] ）可以降低 80% 成本。

图片

CI Pipeline 概述

基于 ACK One Serverless Argo 工作流集群构建 CI Pipeline，主要使用 BuildKit [ 4] 实现容器镜像的构建和推送，并使用 BuildKit Cache [ 5] 加速镜像的构建，使用 NAS 来存储 Go mod cache 加速 go test 和 go build，最终大幅加速 CI Pipeline 流程。

我们将实现的 CI Pipeline 的 ClusterWorkflowTemplate 预置在工作流集群中（名为 ci-go-v1），其中主要包含 3 个步骤：

  1. Git Clone & Checkout：Clone Git 仓库，Checkout 到目标分支；并获取 commit id。

  2. Run Go Test：通过参数控制是否运行，使用 NAS 存储 Go mod cache 进行加速

  3. Build & Push Image：

    a. 使用 BuildKit 构建和推送容器镜像，并使用 BuildKit Cache 中 registry 类型 cache 来加速镜像构建；

    b. 镜像 tag 默认使用 {container_tag}-{commit_id} 格式，可在提交工作流时通过参数控制是否追加 commit id；

    c. 推送镜像的同时，也会推送覆盖其 latest 镜像。

您可执行以下步骤完成 CI Pipeline 的运行，详细步骤请参见最佳实践 [ 6] ：

  1. 在工作流集群中准备好 ACR EE 的凭据和 NAS 存储卷
  2. 基于预置模板启动工作流（workflow）运行 CI Pipeline

图片

预置 CI Pipeline 模板

工作流集群中默认已经预置了名为 ci-go-v1 的工作流模板（ClusterWorkflowTemplate），yaml 如下所示，详细参数说明请参见最佳实践 [ 6] ：

apiVersion: argoproj.io/v1alpha1
kind: ClusterWorkflowTemplate
metadata:
  name: ci-go-v1
spec:
  entrypoint: main
  volumes:
  - name: run-test
    emptyDir: {}
  - name: workdir
    persistentVolumeClaim:
      claimName: pvc-nas
  - name: docker-config
    secret:
      secretName: docker-config
  arguments:
    parameters:
    - name: repo_url
      value: ""
    - name: repo_name
      value: ""
    - name: target_branch
      value: "main"
    - name: container_image
      value: ""
    - name: container_tag
      value: "v1.0.0"
    - name: dockerfile
      value: "./Dockerfile"
    - name: enable_suffix_commitid
      value: "true"
    - name: enable_test
      value: "true"
  templates:
    - name: main
      dag:
        tasks:
          - name: git-checkout-pr
            inline:
              container:
                image: alpine:latest
                command:
                  - sh
                  - -c
                  - |
                    set -eu

                    apk --update add git

                    cd /workdir
                    echo "Start to Clone "{{workflow.parameters.repo_url}}
                    git -C "{{workflow.parameters.repo_name}}" pull || git clone {{workflow.parameters.repo_url}} 
                    cd {{workflow.parameters.repo_name}}

                    echo "Start to Checkout target branch" {{workflow.parameters.target_branch}}
                    git checkout {{workflow.parameters.target_branch}}

                    echo "Get commit id" 
                    git rev-parse --short origin/{{workflow.parameters.target_branch}} > /workdir/{{workflow.parameters.repo_name}}-commitid.txt
                    commitId=$(cat /workdir/{{workflow.parameters.repo_name}}-commitid.txt)
                    echo "Commit id is got: "$commitId

                    echo "Git Clone and Checkout Complete."
                volumeMounts:
                - name: "workdir"
                  mountPath: /workdir
                resources:
                  requests:
                    memory: 1Gi
                    cpu: 1
                activeDeadlineSeconds: 1200
          - name: run-test
            when: "{{workflow.parameters.enable_test}} == true"
            inline: 
              container:
                image: golang:1.22-alpine
                command:
                  - sh
                  - -c
                  - |
                    set -eu

                    if [ ! -d "/workdir/pkg/mod" ]; then
                      mkdir -p /workdir/pkg/mod
                      echo "GOMODCACHE Directory /pkg/mod is created"
                    fi

                    export GOMODCACHE=/workdir/pkg/mod

                    cp -R /workdir/{{workflow.parameters.repo_name}} /test/{{workflow.parameters.repo_name}} 
                    echo "Start Go Test..."

                    cd /test/{{workflow.parameters.repo_name}}
                    go test -v ./...

                    echo "Go Test Complete."
                volumeMounts:
                - name: "workdir"
                  mountPath: /workdir
                - name: run-test
                  mountPath: /test
                resources:
                  requests:
                    memory: 4Gi
                    cpu: 2
              activeDeadlineSeconds: 1200
            depends: git-checkout-pr    
          - name: build-push-image
            inline: 
              container:
                image: moby/buildkit:v0.13.0-rootless
                command:
                  - sh
                  - -c
                  - |         
                    set -eu

                    tag={{workflow.parameters.container_tag}}
                    if [ {{workflow.parameters.enable_suffix_commitid}} == "true" ]
                    then
                      commitId=$(cat /workdir/{{workflow.parameters.repo_name}}-commitid.txt)
                      tag={{workflow.parameters.container_tag}}-$commitId
                    fi

                    echo "Image Tag is: "$tag
                    echo "Start to Build And Push Container Image"

                    cd /workdir/{{workflow.parameters.repo_name}}

                    buildctl-daemonless.sh build \
                    --frontend \
                    dockerfile.v0 \
                    --local \
                    context=. \
                    --local \
                    dockerfile=. \
                    --opt filename={{workflow.parameters.dockerfile}} \
                    build-arg:GOPROXY=http://goproxy.cn,direct \
                    --output \
                    type=image,\"name={{workflow.parameters.container_image}}:${tag},{{workflow.parameters.container_image}}:latest\",push=true,registry.insecure=true \
                    --export-cache mode=max,type=registry,ref={{workflow.parameters.container_image}}:buildcache \
                    --import-cache type=registry,ref={{workflow.parameters.container_image}}:buildcache

                    echo "Build And Push Container Image {{workflow.parameters.container_image}}:${tag} and {{workflow.parameters.container_image}}:latest Complete."
                env:
                  - name: BUILDKITD_FLAGS
                    value: --oci-worker-no-process-sandbox
                  - name: DOCKER_CONFIG
                    value: /.docker
                volumeMounts:
                  - name: workdir
                    mountPath: /workdir
                  - name: docker-config
                    mountPath: /.docker
                securityContext:
                  seccompProfile:
                    type: Unconfined
                  runAsUser: 1000
                  runAsGroup: 1000
                resources:
                  requests:
                    memory: 4Gi
                    cpu: 2
              activeDeadlineSeconds: 1200
            depends: run-test

在控制台运行 CI Pipeline

  1. 登录 ACK One 工作流集群控制台 [ 7]
  2. 在基础信息，开启工作流控制台（Argo） ，并访问进入页面
  3. 左侧菜单栏 Cluster Workflow Templates，单击 ci-go-v1 预置模板进入详情页
  4. 单击+ SUBMIT，在右侧填入您的参数，单击下方+ SUBMIT

图片

参数说明：

image.png

执行完以后，可在 Argo UI 的 workflow 详情页查看运行情况，如下所示：

图片

总结

ACK One Serverless Argo 工作流作为全托管的 Argo 工作流服务，可以帮助您实现更大规模、具有更快的运行速度、及更低成本的 CI Pipeline，与 ACK One GitOps [ 8] （Argo CD）、Argo Event 等事件驱动架构可以构建完整的自动化 CI/CD Pipeline。

欢迎加入 ACK One 客户交流钉钉与我们一同交流。（钉钉群号：35688562）

相关链接：

[1] Argo Workflows

https://argoproj.github.io/argo-workflows/

[2] ACK One Serverless Argo 工作流**

https://help.aliyun.com/zh/ack/distributed-cloud-container-platform-for-kubernetes/user-guide/overview-12

[3] 抢占式 ECI 实例

https://help.aliyun.com/zh/eci/use-cases/run-jobs-on-a-preemptible-instance?spm=a2c4g.11186623.0.i7

[4] BuildKit

https://github.com/moby/buildkit

[5] BuildKit Cache

https://github.com/moby/buildkit?tab=readme-ov-file#cache

[6] 最佳实践

https://help.aliyun.com/zh/ack/distributed-cloud-container-platform-for-kubernetes/use-cases/building-a-ci-pipeline-of-golang-project-based-on-workflow-cluster

[7] ACK One 工作流集群控制台

https://account.aliyun.com/login/login.htm?oauth_callback=https%3A%2F%2Fcs.console.aliyun.com%2Fone%3Fspm%3Da2c4g.11186623.0.0.555018e1SiD2lC#/argowf/cluster/detail

[8] ACK One GitOps

https://help.aliyun.com/zh/ack/distributed-cloud-container-platform-for-kubernetes/user-guide/gitops-overview

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1792420.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【因果推断python】17_工具变量3

【因果推断python】17_工具变量3

目录 简化形式 手动工具变量 多个工具变量 工具变量的弱点 关键思想 简化形式 不幸的是，我们无法验证第二种IV条件。我们只能支持它。我们可以表达我们的信念，即出生四分之一不会影响潜在的收入。换句话说，人们出生的时间并不表示他们的…
阅读更多...
8.22 PowerBI系列之DAX函数专题-盈亏平衡分析

8.22 PowerBI系列之DAX函数专题-盈亏平衡分析

需求 实现 一、用参数设置固定成本，单位变动成本，与毛利率 1 单位变动成本 generateseries(0,100,1) 2 固定成本 generateseries(0,50000,1) 3 毛利率 generateseries(0,0.4,0.01) 二、度量值 1 总变动成本 [单位变动成本 值]*[销量 值] 2 总成本…
阅读更多...
Docker配置 之 本地仓库web访问

Docker配置 之 本地仓库web访问

介绍 Docker是一种开源的应用容器引擎。 Docker可以让开发者打包应用以及依赖包到一个可移植的容器中，然后发布到任何安装了Docker引擎的服务器上（包括Linux机器、Windows机器），也可以实现虚拟化。容器是完全使用沙箱机制&#…
阅读更多...
2024国内热门大语言模型在科研方面的应用

2024国内热门大语言模型在科研方面的应用

本博客总结了几款热门的国产大语言模型，帮助大家利用这些大语言模型更好的进行科研。 模型介绍 1.文心一言 链接:https://yiyan.baidu.com/ 开发方：百度 特点：专注于中文语言理解与生成，适合中文文本的语义理解任务。 百度推出…
阅读更多...
go语言后端开发学习(一)——JWT的介绍以及基于JWT实现登录验证

go语言后端开发学习(一)——JWT的介绍以及基于JWT实现登录验证

什么是JWT JWT,全名为JSON Web Token，是当下主流的一种服务端通信认证方式，具有轻量,无状态的特点，它实现了让我们在用户与服务器之间传递安全可靠的Json文本信息，它的使用过程主要是这样的： 当用户注册的时候&#x…
阅读更多...
使用from…import语句导入模块

使用from…import语句导入模块

自学python如何成为大佬(目录):https://blog.csdn.net/weixin_67859959/article/details/139049996?spm1001.2014.3001.5501 在使用import语句导入模块时，每执行一条import语句都会创建一个新的命名空间（namespace），并且在该命名…
阅读更多...
python--面向对象-文件读写-异常

python--面向对象-文件读写-异常

一、继承 定义一个类时，需要使用另外一个类的方法或属性，就可以通过继承实现 object是Python的顶级类，创建类是会自动继承，就拥有object中的方法 定义格式 # 类的定义 # 旧式类定义 一般在定义单个类时使用 class 类名:name N…
阅读更多...
SwiftUI中ContentUnavailableView的使用（iOS 17、tvOS 17推出的新组件）

SwiftUI中ContentUnavailableView的使用（iOS 17、tvOS 17推出的新组件）

iOS 17为SwiftUI带来了一个新的组件ContentUnavailableView，它允许我们向用户呈现一个空状态，而不需要创建自定义错误或者无内容视图。 ContentUnavailableView易于使用，可自定义，并且具有用于空搜索状态的预定义视图。 建议在无…
阅读更多...
DVWA-Insecure CAPTCHA

DVWA-Insecure CAPTCHA

本模块是绕过修改密码需要的验证码，验证码使用的是 Google 提供 reCAPTCHA 服务，这个服务我们使用不了，下面讲一下绕过就好了，不影响。 Low 看下后端代码，有两部分POST step1为正常过验证，step2为修改密码…
阅读更多...
[数据集][图像分类]十二生肖分类数据集8492张12类别

[数据集][图像分类]十二生肖分类数据集8492张12类别

数据集类型：图像分类用，不可用于目标检测无标注文件 数据集格式：仅仅包含jpg图片，每个类别文件夹下面存放着对应图片 图片数量(jpg文件个数)：8492 分类类别数：12 类别名称:["dog","dragon&q…
阅读更多...
全球与中国汽车张紧器市场：增长趋势、竞争格局与前景展望

全球与中国汽车张紧器市场：增长趋势、竞争格局与前景展望

汽车张紧器是保持皮带和链条适当张力以保持汽车同步运行的关键部件。其主要目的是确保正时正确，避免出现链条和链轮过度磨损、链条拍击引起的发动机噪音以及可能严重损害发动机的正时链条故障等问题，从而使链条保持在理想的张力。 汽车张紧器市场的成长是…
阅读更多...
GNeRF论文理解

GNeRF论文理解

文章目录 主要解决什么问题？结构设计以及为什么有效果？个人想法。 主要解决什么问题？ 本文主要想要解决的问题是 如何使用uncalibrated的照片来进行Nerf重建。虽然说现在已经有了一些方式可以对相机位姿进行估计和优化，但是他们限…
阅读更多...
解锁下载EasyRecovery2024电脑版软件 3步破解下载秘籍！

解锁下载EasyRecovery2024电脑版软件 3步破解下载秘籍！

在数字时代，数据已成为我们生活中不可或缺的一部分。无论是工作中的重要文件，还是珍贵的家庭照片和视频，数据都承载着我们的回忆和努力。然而，数据的丢失也是我们常常遇到的问题。硬盘损坏、误删除、病毒攻击等都可能导致数据丢失…
阅读更多...
如何将本地项目上传到GitHub

如何将本地项目上传到GitHub

在软件开发过程中，将本地项目上传到GitHub是一个非常重要的步骤。它不仅可以帮助你备份代码，还可以让你与团队成员共享和协作开发。本文将详细介绍如何将本地项目上传到GitHub。 前提条件 已安装Git。如果还没有安装，请参考Git官网进行下载…
阅读更多...
记忆化搜索汇总

记忆化搜索汇总

记忆化搜索简介 记忆化搜索（Memoization Search）：是一种通过存储已经遍历过的状态信息，从而避免对同一状态重复遍历的搜索算法。 记忆化搜索是动态规划的一种实现方式。在记忆化搜索中，当算法需要计算某个子问题的结果…
阅读更多...
代理记账公司哪家好，深度剖析与选择指南

代理记账公司哪家好，深度剖析与选择指南

代理记账，作为企业会计管理和运营的重要环节，已经逐渐被越来越多的企业所重视，在众多的代理记账公司中，如何选择一家专业、高效且值得信赖的代理记账机构呢？以下是一些深度解析和推荐。 公司的规模 规模较大的代理记账…
阅读更多...
局域网怎么设置路由器？

局域网怎么设置路由器？

在搭建局域网的过程中，设置路由器是非常重要的一步。正确地设置路由器可以确保局域网的正常运行，并且可以更好地保护网络安全。以下是一些关于如何设置路由器的指南。 第一步：获取路由器 您需要获得一台适合您需求的路由器设备。选择一款性能…
阅读更多...
从C到C++，C++入门（2）

从C到C++，C++入门（2）

在C入门篇（1）中，博主为大家简单介绍了什么是C，以及C中的关键字，命名空间，输入与输出和缺省参数的相关知识。今天就让我们继续一起学习C的基础知识点吧！！ 1.函数重载 1.1函数重载的概…
阅读更多...
通过 .NET COM 互操作设置 System.Drawing.Color

通过 .NET COM 互操作设置 System.Drawing.Color

1. 问题背景 在尝试使用 Aspose.Words 库执行 COM 互操作时，遇到了一个关键问题：无法设置颜色。理论上，可以通过向 DocumentBuilder.Font.Color 赋值来设置颜色，但尝试时却出现了 OLE 错误 0x80131509。 以下代码示例演示了这个…
阅读更多...
Python Flask 入门开发

Python Flask 入门开发

Python基础学习： Pyhton 语法基础Python 变量Python控制流Python 函数与类Python Exception处理Python 文件操作Python 日期与时间Python Socket的使用Python 模块Python 魔法方法与属性 Flask基础学习： Python中如何选择Web开发框架？Pyth…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023