优维产品最佳实践:如何设计流水线?

news2024/11/16 17:46:25

前言:我们上期介绍了什么是CI以及CI的重要性,本期目标就是学习如何设计流水线,流水线是一种用于自动化软件开发和部署的工具链,它可以将软件开发过程中的各个步骤组织成一个连续的流程,从而提高开发效率和软件质量。在CI(持续集成)中,流水线是实现自动化软件交付的关键组成部分。

本期EasyOps产品使用最佳实践,我们将为您揭晓:

  • 优维持续集成是如何设计流水线的?

「流 水 线 的 编 排 设 计」

这里EasyOps非常推荐以版本控制系统为源(如gitlab、gitee等)的构建流水线设计,从每一位开发人员提交代码即可对当前提交代码进行检查编译构建,尽快将错误反馈给每位提交人员。

DevOps流水线,主要是由各类任务串联起来,而对于任务本身又分为两张类型,一种是自动化任务,一种是人工执行任务。具体如下:

  1. 自动化任务:包括了代码静态检查,构建,打包,部署,单元测试,环境迁移,自定义脚本运行等。

  2. 人工任务:人工任务主要包括了手工测试、检查审核等类似工作。

一个流水线可以是完全自动化执行,也可以中间加入了人工干预节点,在人工干预处理后再继续朝下执行。比如流水线中到了测试部署完成后,可以到测试环境人工验证环节,只有人工验证通过再流转到迁移发布到生产环境动作任务。整个流水线强调“一次构建,多次部署”,确保我们最终构建和测试通过的版本就是我们部署到生产环境的版本。构建操作只有一次,而后面到测试环境,到UAT环境,到生产环境,都属于是制品/镜像的环境迁移和部署。而不涉及到需要再次重新打包的问题。这个是持续集成,也是DevOps的基本要求。

「基 于 场 景 设 计 流 水 线」

是否需要一条完整的流水线?流水线是越多越好,还是越少越好? 我们建议按照场景来设计,一条流水线通吃所有流程是不现实的,搞了好多流水线(比如一个构建就一个流水线,一个复制操作就一个流水线)这些都是不可取的,维护成本巨大,得不偿失。

流水线按照场景分类如下:

  • 提交阶段流水线(个人级)

  • 验收阶段流水线(团队级)

  • 部署阶段流水线(部署/发布)

流水线任务按需串行、并行、特殊场景下跳过执行;必要环节人工干预,如在手工测试、正式发布等环节导入手工确认环节,流水线牵引流动。不同的流水线还可以串联起来组成CI/CD流水线。

「流 水 线 任 务 的 标 准 化」

流水线任务主要由以下三类操作组成:

  • 构建操作:不同的编程语言有不同的构建方式:java通常使用maven;golang需要环境执行go build;python直接打包。总的来说,该步骤完成后输出一个或多个可执行的文件,我们在该步骤约定好制品的存放路径,方便下一步打包操作。

  • 包镜像操作:实际上即基于构建完成的部署包来生成镜像。该操作一般首先基于一个基础镜像文件基础上进行,在基础镜像文件上拷贝和写入具体的部署包文件,同时在启动相应的初始化脚本。打包任务则是一个标准化的镜像制作任务,我们需要考虑的仅仅是基于 1)基于哪个基础镜像 2)中间件容器默认目录设置 3)初始化启动命令。即在实际的打包任务设计的时候,我们不会指定具体的部署包和部署文件,这个完全根据约定好的规则去获取。

  • 部署操作:部署操作相当更加简单,重点就是将镜像部署到哪个资源池,哪个集群节点,初始化的节点配置等。具体部署哪个镜像不要指定,而是由上游输入。

在EasyDevOps中,常用任务都抽象成了插件,插件中心中现在有57个插件,分别实现代码拉取、静态检查、编译构建、代码测试等功能。如果用户现场有定制化开发需求,还支持自定义插件,用户可以自行开发插件。

例如Docker这一插件,EasyDevOps将常用的参数例如镜像名称、容器名称、端口映射、环境变量等抽离出来,方便用户在编排流水线时根据不同项目的实际情况传参。这样保证了:

  • 定制化配置:每个项目可能需要不同的Docker配置,通过传参,用户可以根据项目的需要进行定制化配置,而无需修改固定的流水线模板。

  • 灵活性:不同的项目可能需要不同的镜像、不同的环境变量等,通过传参可以使流水线具有更高的灵活性,适应各种需求。

  • 重用性:通过参数传递的方式,可以使流水线模板更具有重用性。用户可以根据需要在不同项目中重复使用同一个流水线模板,只需要传递不同的参数即可。

  • 减少错误:用户手动输入参数可能会引入错误,通过参数传递可以减少手动操作,降低错误发生的可能性。

  • 一致性:将常用的参数抽离出来,并在流水线中进行传参,可以使项目团队在使用相同的参数上保持一致性,减少混淆和误解。

以上,就是本期所有内容,下一期我们将本期的知识运用起来,给一个实际代码项目编排流水线。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/972848.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

安装虚拟机+安装/删除镜像

安装虚拟机 注意,官网可能无法登录,导致无法从官网下载,就自己去网上搜靠谱的下载,我用的16.2.3 删除镜像 Vm虚拟机怎么删除已经创建的系统?Vm虚拟机创建好之后iso删除方法 - 系统之家 (xitongzhijia.net) 安装镜像…

Python中内建模块和标准库的工作原理? - 易智编译EaseEditing

Python中的内建模块和标准库是Python编程语言的一部分,它们提供了大量的功能和工具,可用于各种任务和应用程序。这些模块和库通常是由Python官方维护的,因此在任何标准Python安装中都是可用的。 以下是内建模块和标准库的工作原理的概述&…

数据结构——单调队列

单调队列 单调队列的概念和操作过程 概念: 单调队列和单调栈在操作上有相似之处,但因为单调队列是队列,所以多了一项特殊操作,即头部的元素可以出队,相当于滑动窗口向后滑动。这头部的出队操作就相当于淘汰&#xff0c…

需求管理做不好,项目成功难保障

你是否曾感觉客户的要求总是突然冒出来?或是觉得自己跟不上订单的节奏?不了解产品的需求会让你手忙脚乱,如果没有足够的资源来应对,甚至会损害你的业务。 本文将向你介绍需求管理的流程,以及如何在业务中使用它。 项目…

【洛谷算法题】P5703-苹果采购【入门1顺序结构】

👨‍💻博客主页:花无缺 欢迎 点赞👍 收藏⭐ 留言📝 加关注✅! 本文由 花无缺 原创 收录于专栏 【洛谷算法题】 文章目录 【洛谷算法题】P5703-苹果采购【入门1顺序结构】🌏题目描述🌏输入格式&a…

BCSP-玄子Share-Java框基础_反射

一、反射 1.1 反射介绍 Java反射:在编译时不确定哪个类被加载,而在程序运行时才加载、探知、使用 1.1.1 Java 程序的运行过程 1.1.2 反射及其作用 反射是指能够在运行时,观察并修改自己运行时(Runtime)行为的特性 Java 反射机制主要提供了…

verilog语法之case casez casex

在rtl仿真中,有四种状态,分别是0、1、x(unknown values)和z(high-impedance values)。 case 结构体中:0,1,X与Z是四种不同的状态,case条件比较时会检测比较双…

2023年03月 C/C++(七级)真题解析#中国电子学会#全国青少年软件编程等级考试

C/C编程(1~8级)全部真题・点这里 第1题:走出迷宫 当你站在一个迷宫里的时候,往往会被错综复杂的道路弄得失去方向感,如果你能得到迷宫地图,事情就会变得非常简单。 假设你已经得到了一个n*m的迷宫的图纸&a…

BCSP-玄子Share-Java框基础_工厂模式/代理模式

三、设计模式 3.1 设计模式简介 软件设计中的三十六计是人们在长期的软件开发中的经验总结是对某些特定问题的经过实践检验的特定解决方法被广泛运用在 Java 框架技术中 3.1.1 设计模式的优点 设计模式是可复用的面向对象软件的基础可以更加简单方便地复用成功的设计和体系…

【管理运筹学】第 7 章 | 图与网络分析(2,最小支撑树问题)

文章目录 引言二、最小支撑树问题2.1 树的定义及其基本性质2.2 图的支撑树2.3 最小支撑树的定义及有关定理2.4 最小支撑树算法2.4.1 避圈法(KRUSKAL算法)2.4.2 反圈法(PRIM算法)2.4.3 破圈法 写在最后 引言 承接前文,…

宠物电商Chewy第二季度销售额28亿美元,同比增长14.3%

美国宠物电商Chewy公布2023年第二季度财报。报告显示,其Q2季度销售额同比增长14.3%至28亿美元,超出市场预期。 以下为Chewy期内业绩概要: 1.毛利率28.3%,同比增长20个基点 2.净利润有所收窄,同比下降15.2%至1890万美…

QT连接数据库

目录 数据库 数据库基本概念 常用的数据库 SQLite3基础 SQLite特性: QT连接数据库 1.1 QT将数据库分为三个层次 1.2 实现数据库操作的相关方法 sql语句(常用) 1)创建表格 2)删除表格 3)插入记录 …

应急物资管理系统DW-S300|助力应急物资保障体系建设

国务院新闻办公室于2023年7月25日举行国务院政策例行吹风会,介绍防汛抗旱工作情况,并答记者问。应急管理部副部长、水利部副部长王道席介绍,要推进应急物资保障体系建设。去年,应急管理部会同国家发展改革委、财政部、国家粮食和物…

AIGC专栏5——EasyPhoto AI写真照片生成器 sd-webui插件介绍、安装与使用

AIGC专栏5——EasyPhoto AI写真照片生成器 插件安装与使用 学习前言源码下载地址技术原理储备(SD/Control/Lora)StableDiffusionControlNetLora EasyPhoto插件简介EasyPhoto插件安装安装方式一:Webui界面安装 (需要良好的网络&…

Linux监测进程打开文件

分析问题过程中,追踪进程打开的文件可以在许多不同情况下有用,体现在以下几个方面: 故障排除和调试: 当程序出现问题、崩溃或异常行为时,追踪进程打开的文件可以帮助找出问题的根本原因。这有助于快速定位错误&#x…

深入解析 curl:掌握命令行的网络传输利器

当我们使用 curl 进行网络请求时,了解如何有效地使用参数是非常重要的。curl 提供了许多参数,用于控制请求的行为和配置。在这篇博客文章中,我们将详细解释一些常用的 curl 参数,帮助你更好地理解如何利用这个强大的工具。 什么是…

兵者多诡(HCTF2016)

环境:https://github.com/MartinxMax/CTFer_Zero_one 题目简介 解题过程 登录首页 提交png图片上传抓包,可以看到是向upload文件提交数据 在fp参数中尝试伪协议读取home.php文件 http://127.0.0.1:88/HCTF2016-LFI/home.php?fpphp://filter/readconvert.base64…

将YOLO数据集按照指定比例划分(训练集、验证集、测试集)的详细教程

1.将训练集、验证集、测试集按照7:2:1随机划分 1.项目准备 1.在项目下新建一个py文件,名字就叫做splitDataset1.py 2.将自己需要划分的原数据集就放在项目文件夹下面 以我的为例,我的原数据集名字叫做hatDataXml 里面的JPEGImages装的是图片 Annota…

【物联网】磁介质存储设备——机械硬盘

磁介质存储设备是一种使用磁性材料作为存储介质的设备,用于存储和读取数据。常见的磁介质存储设备包括硬盘驱动器(HDD)、软盘驱动器和磁带。 文章目录 一、机械硬盘存储器的基本结构与分类1.1 基本结构1.2 分类 二、硬盘的信息分布三、机械硬…

计算机网络的故事——HTTP报文内的HTTP信息

HTTP报文内的HTTP信息 文章目录 HTTP报文内的HTTP信息一、HTTP 报文二、请求报文及响应报文的结构三、编码提升传输速率 一、HTTP 报文 HTTP报文是由多行(CRLF作换行符)数据构成的字符串文本,HTTP报文可以分为报文首部和报文主体两部分&…