基于GitLab构建企业级CICD-Gitlab-Runner

news2025/2/25 5:59:47

背景

  • 在过往企业开发中，大部分企业从开发到测试，到部署目前还是手工进行
  • 在一些某些中大型企业中，目前构建及部署还是直接使用二进制包部署，或直接单机运行
  • 在某些场合下，仓库中代码的编译需要硬件支持，致使本地无法编辑及运行
  • 在某些场合下，我们希望根据不同的用户需求部署到不同集群环境中，以实现资源的合理分配
  • 在某些时候，用户编译及部署是一项枯燥的工作，我们希望能实现开发工程师无感知的配置代码仓库中的配置文件即可

愿景

  • 简化开发上线流程
  • 提供基于细粒度的镜像版本构建，做到业务的滚动升级，无覆盖
  • 提供上线前自动化测试用户验证
  • 提供k8s集群化部署方案或轻量级集群部署(多集群管理，GPU集群，普通CPU集群)
  • 提供CICD流程化日志查询
  • 提供CICD简单化配置即可自动运行
  • 提供CICD消息通知(Webhook, 邮件通知)

目标

  • 简单配置
  • 自动触发CI
  • 自动测试
  • 自动构建镜像
  • 自动部署
  • 自动消息通知

组件介绍

Rancher

  • k8s集群管理工具，提供多集群管理工具，内置商店可以实现多场景应用部署

GitLab

  • 代码仓库，用户记录代码历史，jeckins将根据代码仓库的commit变化，进行Pipeline 流程

GitLab-Runner

  • 为Pipeline流水线提供运行Runner
  • 在实际环境中可以分类，例如Cpu-runner，Gpu-runner

Harbor

  • 镜像仓库，主要用户镜像存储

K8s

  • docker容器化编排技术，实现多节点管理与部署

k3s

  • 同上，但是以轻量方式，单进程服务跑完所有k8s依赖的组件，功能与k8s一样

环境准备

  • 本次测试以最小化部署来实现，简化流程，所以集群会有两个
  1. k3s部署的最小化单节点集群(可多节点)
  2. k8s部署的8节点集群
  • Gitlab自行构建
  • Harbor镜像仓库自行构建

获取Gitlab Runner注册令牌在这里插入图片描述

  • 获取图片中api地址，后面会用到
  • 获取图片中api另外，后面会用到

安装Gitlab-Runner

  • docker-compose 配置文件
version: "3"
services:
  runner:
    image: gitlab/gitlab-runner:latest
    container_name: gitlab-runner
    restart: always
    volumes:
      - /srv/gitlab-runner/config:/etc/gitlab-runner
      - /var/run/docker.sock:/var/run/docker.sock
      - /root/.kube/config:/root/.kube/config
      - /etc/docker/daemon.json:/etc/docker/daemon.json
      - /usr/bin/docker:/usr/bin/docker
  • 运行runner，并注册runner到Gitlab中
command=$1
#
url="http://git.enflame.cn/"
token="aaaaaaaaaaaaaaaaaaaa"
# 修改下面两项
tag="global-runner,ALP,ARD,CPU"
description="ARD-ALP-Normal-runner"

if [ "$command" = "register" ]; then
  echo "注册服务中..."
  docker run --rm -v /srv/gitlab-runner/config:/etc/gitlab-runner gitlab/gitlab-runner register \
    --non-interactive \
    --executor "docker" \
    --docker-image alpine:latest \
    --url $url \
    --registration-token $token \
    --description $description \
    --tag-list $tag \
    --run-untagged="true" \
    --locked="false" \
    --access-level="not_protected"
fi
  • 编辑挂载目录下的/srv/gitlab-runner/config/config.toml文件
concurrent = 1
check_interval = 0
shutdown_timeout = 0

[session_server]
  session_timeout = 1800

[[runners]]
  name = "ARD-ALP-Normal-runner" # Runner名称
  url = "http://git.enflame.cn/"  # Gitlab Api地址
  id = 2389 # runner id 由register生成
  token = "aaaaaaaaaaaaaaaaaa" # Gitlab Api令牌
  token_obtained_at = 2022-12-26T15:21:24Z
  token_expires_at = 0001-01-01T00:00:00Z
  executor = "docker" # 执行器docker
  [runners.custom_build_dir]
  [runners.cache]
    MaxUploadedArchiveSize = 0
    [runners.cache.s3]
    [runners.cache.gcs]
    [runners.cache.azure]
  [runners.docker]
    tls_verify = false # 是否进行ssl认证
    image = "docker:latest" # 默认使用的镜像
    privileged = false # 是否特权启动
    disable_entrypoint_overwrite = false
    oom_kill_disable = false 
    disable_cache = false # volumes 数据挂载，将宿主机docker配置信息，k8s配置信息一起挂载进去，保证执行CICD过程无需在仓库暴露认证信息
    volumes = ["/cache", "/var/run/docker.sock:/var/run/docker.sock","/usr/bin/docker:/usr/bin/docker","/root/.docker/config.json:/root/.docker/config.json","/root/.kube/config:/root/.kube/config"]
    shm_size = 0
  • 查看runner
    在这里插入图片描述

Demo

  • 在项目中构建如何下文件.gitlab.ci.yml

项目中请自行准备Dockerfile与k8s deployment.yaml

variables: # 定义全局可以使用的变量
  image_name: harbor.uat.enflame.cc/library/enflame.cn/topsmodel-db

stages: # 定义三个阶段
  - Build
  - Test
  - Deploy

Image Build: # 构建阶段-镜像打包
  stage: Build
  script:
    - docker build -t $image_name:$CI_COMMIT_SHA . # 无需关心harbor，因为密钥已挂载到容器中,可以拉取

Image Push: # 构建阶段-推送仓库
  stage: Build
  script:
    - docker push $image_name:$CI_COMMIT_SHA  # 无需关心harbor，因为密钥已挂载到容器中，可以推送

Deploy K8s: # 构建阶段-k8s部署
  stage: Deploy
  image: roffe/kubectl # 使用kubectl镜像，因为附带了client工具，注意kube/config文件已挂载进容器
  when: manual # 表示手动执行
  script:
    - sed -i "s#{CICD_IMAGE}#$image_name:$CI_COMMIT_SHA#g" ./deployment.yaml # 全局修改配置文件,进行替换
    - echo ./deployment.yaml
    - kubectl apply -f deployment.yaml # 更新到集群中
  • 提交仓库并查询仓库变化
    在这里插入图片描述
    在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

Gitlab-CICD可以使用的系统环境变量

变量描述
CI指定作业在CI环境中完成。
CI_COMMIT_REF_NAME为项目构建定义分支或标记名称。
CI_COMMIT_REF_SLUG它使用小写的
CI_COMMIT_SHA指定构建项目的提交修订
CI_COMMIT_TAG它提交标签名称
CI_CONFIG_PATH指定CI配置文件的路径
CI_DEBUG_TRACE它启用调试跟踪。
CI_ENVIRONMENT_NAME定义作业的环境名称。
CI_ENVIRONMENT_SLUG它是一个环境名称，适用于DNS，URL，Kubernetes标签等。
CI_ENVIRONMENT_URL定义作业的环境URL。
CI_JOB_ID表示GitLab
CI_JOB_MANUAL它指定作业已经手动启动。
CI_JOB_NAME作业名称在
CI_JOB_STAGEstage名称在
CI_JOB_TOKEN该标记用于在涉及触发器时用GitLab
CI_REPOSITORY_URL它指定了克隆Git存储库的URL
CI_RUNNER_DESCRIPTION它指定runner的描述。
CI_RUNNER_ID它为正在使用的runner提供了唯一的身份证。
CI_RUNNER_TAGS它定义了
CI_RUNNER_VERSION它指定当前作业的GitLab
CI_RUNNER_REVISION它指定了当前作业的GitLab修订版本。
CI_PIPELINE_ID它提供了当前管道的唯一ID。
CI_PIPELINE_SOURCE它通过使用push，web，trigger，schedule，api，pipeline等选项来指定流水线的触发方式。
CI_PIPELINE_TRIGGERED它指定作业已被触发。
CI_PIPELINE_SOURCE它指定了诸如push，web，trigger，schedule，api，external之类的管道源。
CI_PROJECT_DIR它定义了克隆存储库的完整路径，作业运行的地方。
CI_PROJECT_ID它提供了当前项目的唯一ID。
CI_PROJECT_NAME它提供当前项目的名称。
CI_PROJECT_PATH它提供了项目名称以及命名空间。
CI_PROJECT_URL它提供了http地址来检索项目。
CI_PROJECT_VISIBILITY它规定了项目的可见性，无论是内部的，私人的还是公共的。
CI_REGISTRY0
CI_REGISTRY_IMAGE它只有在启用容器注册表的情况下才返回与特定项目绑定的GitLab
CI_REGISTRY_PASSWORD密码可用于将容器推送到GitLab容器注册表。
CI_REGISTRY_USER用户名可以用来将容器推送到GitLab容器注册表。
CI_SERVER它指定作业在CI环境中执行。
CI_SERVER_NAME它提供CI服务器名称来协调作业。
CI_SERVER_REVISION它用于通过使用GitLab修订来安排作业。
CI_SERVER_VERSION它用于通过使用GitLab版本来安排作业。
CI_SHARED_ENVIRONMENT它表明作业在共享环境中执行，并且如果环境共享，则它被设置为true。
ARTIFACT_DOWNLOAD_ATTEMPTS它指定尝试下载运行作业的工件的次数。
GET_SOURCES_ATTEMPTS它指定了获取源运行作业的尝试次数。
GITLAB_CIall
GITLAB_USER_ID它指定正在运行作业的GitLab用户的ID。
GITLAB_USER_EMAIL它指定正在运行作业的GitLab用户的电子邮件。
GITLAB_USER_LOGIN它指定正在运行作业的GitLab用户的登录用户名。
GITLAB_USER_NAME它指定了正在运行作业的GitLab用户的真实姓名。
GITLAB_FEATURES它提供了GitLab实例和计划的许可功能列表。
RESTORE_CACHE_ATTEMPTS它定义了恢复执行作业的缓存尝试次数。
CI_DISPOSABLE_ENVIRONMENT它表明工作是在一次性环境中执行的，如果环境是一次性的，则它被设置为true。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/118796.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

SSM框架学习记录-Maven_day01

SSM框架学习记录-Maven_day01

1.分模块开发 将原始模块按照功能拆分成若干个子模块，方便模块间的相互调用，接口共享：比如有订单和商品两个模块，它们都需要使用到商品的模型类，如果在这两个模块中都写模型类，就会出现重复代码&#xff0c…
阅读更多...
Doris部分列更新在广告行业应用

Doris部分列更新在广告行业应用

背景：业务需要在不同的时间点对同一个session_id上的广告行为（展示、点击、转换等）数据的更新。 基于HBase归因 更新原理：以session_id为Key在HBase中写入数据，数据更新是先点查到历史数据，补齐当前数据后…
阅读更多...
风已起，待云涌---多维度理解云安全

风已起，待云涌---多维度理解云安全

Fix the Unknown,Before You Know it. 新时代大门开启的时候，蜂拥而上的大都是勇士，风已起，待云涌！ 1.云安全： 未来安全的能力将成为计算、存储、网络之外的第四大基础设施，并全部融入到云基础设施中&…
阅读更多...
Python爬虫入门 ~ selenium访问元素信息与交互基本使用

Python爬虫入门 ~ selenium访问元素信息与交互基本使用

访问元素信息 前面我们成功定位到了页面的标签元素，那接下来就该轮到获取元素的信息了，常用的函数有以下几种: get_attributetexttag_name 前置准备 from selenium import webdriver from selenium.webdriver.chrome.service import Service from sel…
阅读更多...
【Django项目开发】用户认证功能开发（四）

【Django项目开发】用户认证功能开发（四）

一、JWT Token配置 1、下载djangorestframework-jwt pip install djangorestframework-jwt2、settings.py指定使用的认证类JSONWebTokenAuthentication REST_FRAMEWORK {# 指定使用的认证类# a、在全局指定默认的认证类（认证方式）DEFAULT_AUTHENTICA…
阅读更多...
企业金融App评测系列——微众银行以App构筑企业金融服务新生态，成为企业的随身数字银行

企业金融App评测系列——微众银行以App构筑企业金融服务新生态，成为企业的随身数字银行

易观分析：近年来，疫情驱动小微企业线上化需求不断提升，经营面临的财力、人力、信息获取的紧迫性进一步提升。为更好发展普惠小微金融的商业银行对公服务，正聚焦更好满足小微企业的数字化需求，加快打造企业手机银行等移…
阅读更多...
mybatis xml接收日期格式参数

mybatis xml接收日期格式参数

实现方式一&#xff1a; mapper List<AsLLjgcfVO> selectjgcf(Param("rq")Date rq)mapper.xml <select id"selectjgcf" parameterType"string" resultType"com.bysen.mes.domain.VO.AsLLjgcfVO"> where ${rq} between …
阅读更多...
使用openEuler系统 搭建Nginx服务器

使用openEuler系统 搭建Nginx服务器

文章目录1 Nginx服务器1.1 概述1.2 安装1.3 管理nginx1.3.1 概述1.3.2 前提条件1.3.3 启动服务1.3.4 停止服务1.3.5 重启服务1.3.6 验证服务状态1.4 配置文件说明1.5 管理模块1.5.1 概述1.5.2 加载模块1.6 验证web服务是否搭建成功1 Nginx服务器 1.1 概述 Nginx 是一款轻量级…
阅读更多...
【Vue】course_3

【Vue】course_3

13.vue3过渡效果 学习&#xff1a;Vue3过渡效果开发&#xff08;内置组件 、内置组件 &#xff09; Vue 提供了两个内置组件&#xff0c;可以帮助你制作基于状态变化的过渡和动画&#xff1a; <Transition> 会在一个元素或组件进入和离开 DOM 时应用动画。本章节会介绍…
阅读更多...
算法设计与分析

算法设计与分析

目录 7-1 汉诺塔问题 7-2 逆序对 7-3 前t个组合结果 7-4 跳马问题 7-5 加油站之最小加油次数 7-6 删数问题 7-1 因子分解 7-2 英雄出场王 7-3 最佳组队问题 7-4 回文串的切割 7-5 和谐宿舍 7-6 h0221.激光炸弹 7-1 小H分糖果 7-2 子集和问题 7-3 数列游戏 7-4 叠…
阅读更多...
CentOS8 Kibana8.x 安装遇到的问题解决

CentOS8 Kibana8.x 安装遇到的问题解决

起因 在安装完相同版本的Elasticsearch和Kibana后&#xff0c;Elaticsearch运行成功并可以正常使用&#xff0c;Kibana也正常启动&#xff0c;但是在访问时会出现以下错误及提示&#xff1a; 浏览器访问提示&#xff1a;Kibana server is not ready yet.&#xff08;服务器尚…
阅读更多...
Allegro如何设置自动捕捉圆和Via中心操作指导

Allegro如何设置自动捕捉圆和Via中心操作指导

Allegro如何设置自动捕捉圆和Via中心操作指导 在做PCB设计的时候，时常需要抓取圆或者Via的中心，Allegro支持自动捕捉圆或者via的中心，如下图，需要移动器件自动捕捉到圆或者via的中心 具体操作如下 选择Edit-moveOptions中的Point选择Sym Origin
阅读更多...
Python小技巧练习【悄悄学Python惊艳所有人】

Python小技巧练习【悄悄学Python惊艳所有人】

文章目录一、反转数字二、类的说明文档三、设置 Python 文件的编码四、旋转字符串五、实现控制台滚动条print 函数直接写入文件合并 2 个列表一、反转数字 问题场景: 把数字 789 转换为 987。 典型的数字翻转问题。 解决思路: 将数字的百位十位个位拆解出来&#xff0c;就解…
阅读更多...
VUE3-路由《七》

VUE3-路由《七》

路由就是点击链接或者按钮&#xff0c;进行跳转另一个界面中。在vue中一般使用vue-router来完成路由的操作。 下面我们进行路由的跳转和嵌套路由的实例操作。 1.首先建立一个正常的运行程序 2. 安装vue-router 使用下面的命令&#xff0c;安装路由 npm install vue-router4…
阅读更多...
【技巧】vs2019调试

【技巧】vs2019调试

文章目录一.计算机Bug的由来二.调试1.调试的定义2.调试的基本步骤2.release和debug的区别3.调试的快捷键4.其他功能的快捷键1、窗口快捷键2、项目功能快捷键**3、查找相关快捷键4、代码快捷键5、编辑快捷键5.经典例题6.写代码的好习惯举例&#xff1a;模拟实现strcpy7.const的作…
阅读更多...
安装Ubuntu Linux，配套安装宝塔，安装禅道OK！

安装Ubuntu Linux，配套安装宝塔，安装禅道OK！

安装Deepin完成后 进行root、SSH允许远程登陆配置&#xff0c; 登录root账号&#xff0c;初次登录可按照以下步骤&#xff1a; sudo passwd root //修改root密码 输入密码后。 sudo su 输入密码登录root权限。 登录后进行ssh安装与配置。 sudo apt-get update//这一句是…
阅读更多...
【JavaScript】——javascript牛客专项练习错题合集

【JavaScript】——javascript牛客专项练习错题合集

答&#xff1a; var b function(){alert(this.a); }, obj {a:1,b:b // 把函数独立出来 }; var fun obj.b;// 存储的是内存中的地址 fun(); 虽然fun是obj.b的一个引用&#xff0c;但是实际上&#xff0c;它引用的是b函数本身&#xff0c;因此此时的fun()其实 是一个不带任何…
阅读更多...
云原生周刊 | 使用 kube-reqsizer 自动调整资源配额

云原生周刊 | 使用 kube-reqsizer 自动调整资源配额

开源项目推荐 kptop Kubernetes API 提供的监控指标非常有限&#xff0c;而 kubectl top 就是利用 Kubernetes API 来查看 Node 和 Pod 的实时资源使用情况。kptop 使用 Prometheus 作为数据源&#xff0c;不仅可以在终端上显示 Node 和 Pod 的资源使用情况&#xff0c;还可以…
阅读更多...
vue中v-if和v-for的区别是什么

vue中v-if和v-for的区别是什么

v-if和v-for的区别&#xff1a;1、作用不同&#xff0c;v-if指令用于条件性地渲染一块内容&#xff0c;这块内容只会在指令的表达式返回 true值的时候被渲染&#xff1b;而v-for指令基于一个数组来渲染一个列表。2、优先级不同&#xff0c;v-for优先级比v-if高&#xff0c;在进…
阅读更多...
基于 Flask 的后台管理系统源码（含数据库文件），基于 Flask 生态，权限，快速开发平台

基于 Flask 的后台管理系统源码（含数据库文件），基于 Flask 生态，权限，快速开发平台

开 箱 即 用 的 Flask 快 速 开 发 平 台完整代码下载地址&#xff1a;基于 Flask 的后台管理系统源码&#xff08;含数据库文件&#xff09; 项目简介 Pear Admin Flask 基于 Flask 的后台管理系统&#xff0c;拥抱应用广泛的python语言&#xff0c;通过使用本系统&#xff0c…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023