❤️作者简介:2022新星计划第三季云原生与云计算赛道Top5🏅、华为云享专家🏅、云原生领域潜力新星🏅
💛博客首页:C站个人主页🌞
💗作者目的:如有错误请指正,将来会不断的完善笔记,帮助更多的Java爱好者入门,共同进步!
文章目录
- DevOps
- DevOps概述
- Jenkins流水线任务入门⭐
- Jenkins流水线任务的Hello World体验⭐
- Jenkins流水线语法例子
- Jenkins流水线语法生成器⭐
- Jenkins实战4:构建pipeline(流水线)的Jenkins项目⭐
- 项目架构图
- Jenkins实战4的初步流水线模板(功能全部都未实现)⭐
- Jenkinsfile配置⭐
- 在项目中编写Jenkinsfile来维护pipeline模板(以后我们的pipeline语法都放在这个文件上)⭐
- 在Jenkins中配置Jenkinsfile在gitlab上的地址⭐
- 测试构建,看看Jenkinsfile是否能生效
- 架构图第2步案例:将gitlab上面的项目代码拉取到Jenkins中⭐
- 架构图第3步案例:利用Maven构建项目的jar包⭐
- 架构图第4步案例:给Jenkins的pipeline任务配置SonarQube自动进行代码质量检测⭐
- 架构图第5步案例:Jenkins制作自定义镜像并上传到Harbor⭐
- 架构图第6-7步案例:通知目标服务器可以从Harbor上拉取镜像,并运行容器(注意:这里有个坑!)⭐
- Jenkins流水线整合钉钉:在构建完成后通知信息(新增⭐)
- 下载安装钉钉,并且注册账号(电脑版和手机版都行)⭐
- 在Jenkins中下载钉钉插件(DingTalk 2.4.7版本)⭐
- 在钉钉创建一个企业(不然无法申请项目群)⭐
- 在钉钉创建一个新的项目群⭐
- 在钉钉的项目群里创建一个机器人⭐
- 在Jenkins中配置这个机器人⭐
- Jenkinsfile配置钉钉⭐
- 实战4的Jenkinsfile全部代码⭐
DevOps
DevOps概述
软件开发最初是由两个团队共同组成:(没有采用DevOps之前)
- 开发团队:从头开始设计和整体系统的构建(编写代码)。需要系统不停的迭代更新。
- 运维团队:将开发团队的代码进行测试通过后再部署上线。确保系统稳定运行。
没有采用DevOps的缺点:
- 这看似两个目标不同的团队需要协同完成一个软件的开发。在开发团队指定好计划并完成编写代码后,需要把代码交给运维团队。运维团队向开发团队反馈需要修复的BUG以及一些需要返工的任务。这时开发团队需要经常等待运维团队的反馈。这无疑会延长整个软件开发的周期。
采用DevOps的优点?
- DevOps的方式可以让公司能够更快地应对更新和市场发展变化,开发可以快速交付,部署也更加稳定。核心就在于简化Dev和Ops团队之间的流程,使整体软件开发过程更快速。说白了就是DevOps有利于快速完成项目,不会浪费时间)
整体的软件开发流程:
- PLAN:开发团队根据客户的目标制定开发计划
- CODE:根据PLAN开始编码过程,需要将不同版本的代码存储在一个库中。
- BUILD:编码完成后,需要将代码构建并且运行。
- TEST:成功构建项目后,需要测试代码是否存在BUG或错误。
- DEPLOY:代码经过手动测试和自动化测试后,认定代码已经准备好部署并且交给运维团队。
- OPERATE:运维团队将代码部署到生产环境中。
- MONITOR:项目部署上线后,需要持续的监控产品。
- INTEGRATE:然后将监控阶段收到的反馈发送回PLAN阶段,整体反复的流程就是DevOps的核心,即持续集成、持续部署。
为了保证整体流程可以高效的完成,各个阶段都有比较常见的工具,如下图:
Jenkins流水线任务入门⭐
Jenkins流水线任务的Hello World体验⭐
Jenkins流水线语法例子
// 所有脚本命令包含在pipeline{}中
pipeline {
// 指定任务在哪个Jenkins集群节点中执行(Jenkins是支持分布式)
// 这里的agent any是指该任务可以在任何Jenkins集群节点上执行。
agent any
// 声明全局变量,格式为:key='value'
environment{
host = '192.168.184.80'
}
// 存放所有任务的合集
stages {
// 单个任务1
stage('任务1') {
// 实现任务的具体流程
steps {
echo '做任务1'
}
}
// 单个任务2
stage('任务2') {
// 实现任务的具体流程
steps {
echo '做任务2'
}
}
// 单个任务3
stage('任务3') {
// 实现任务的具体流程
steps {
echo '做任务3'
}
}
}
}
Jenkins流水线语法生成器⭐
Jenkins实战4:构建pipeline(流水线)的Jenkins项目⭐
项目架构图
Jenkins实战4的初步流水线模板(功能全部都未实现)⭐
pipeline {
agent any
// 存放所有任务的集合
stages {
stage('拉取Git仓库代码') {
steps {
echo '拉取Git仓库代码 - SUCCESS'
}
}
stage('通过maven构建项目') {
steps {
echo '通过maven构建项目 - SUCCESS'
}
}
stage('通过SonarQube做代码质量检测') {
steps {
echo '通过SonarQube做代码质量检测 - SUCCESS'
}
}
stage('通过Docker制作自定义镜像') {
steps {
echo '通过Docker制作自定义镜像 - SUCCESS'
}
}
stage('将自定义镜像推送到Harbor仓库') {
steps {
echo '将自定义镜像推送到Harbor仓库 - SUCCESS'
}
}
stage('通过Publish Over SSH通知目标服务器') {
steps {
echo '通过Publish Over SSH通知目标服务器 - SUCCESS'
}
}
}
}
Jenkinsfile配置⭐
在项目中编写Jenkinsfile来维护pipeline模板(以后我们的pipeline语法都放在这个文件上)⭐
- 注意:该文件名一定要为:Jenkinsfile
- Jenkinsfile文件内容放在了上面,可以直接复制!
在Jenkins中配置Jenkinsfile在gitlab上的地址⭐
测试构建,看看Jenkinsfile是否能生效
架构图第2步案例:将gitlab上面的项目代码拉取到Jenkins中⭐
-
1:配置git参数:(根据tag去拉取代码)
-
2:生成拉取git代码的流水线语法:
- 生成的语法代码块如下:(注意:下面有个地方(branches的name从原来是/main被我改成了${tag},如果安装默认生成的话,则是拉取最新版本代码,我们这个意思就是安装tag去拉取对应代码)和系统生成的语法不一样!!)*
checkout([$class: 'GitSCM', branches: [[name: '${tag}']], extensions: [], userRemoteConfigs: [[url: 'http://192.168.184.70:8929/root/mytest.git']]])
- 3:把生成的pipeline语法放到Jenkinsfile文件的指定位置:
- 4:测试构建:
架构图第3步案例:利用Maven构建项目的jar包⭐
- 1:生成流水线语法:(生成如下)
- 注意:/var/jenkins_home/maven/bin/mvn要改成你的maven的mvn地址。
sh '/var/jenkins_home/maven/bin/mvn clean package -DskipTests'
- 2:将上面生成的语法放到Jenkinsfile的对应位置上去,然后上传到gitlab即可。(省略!)
架构图第4步案例:给Jenkins的pipeline任务配置SonarQube自动进行代码质量检测⭐
- 1:生成流水线语法:(生成如下)
- 注意:下面的-Dsonar.login要用自己的SonarQube的token
- 注意:/var/jenkins_home/sonar-scanner/bin/sonar-scanner要改成你的sonar-scanner地址
sh '/var/jenkins_home/sonar-scanner/bin/sonar-scanner -Dsonar.sources=./ -Dsonar.projectname=${JOB_NAME} -Dsonar.projectKey=${JOB_NAME} -Dsonar.java.binaries=./target/ -Dsonar.login=7ad2200f7cca90c37a909fdba8db049ac700909f'
- 2:将上面生成的语法放到Jenkinsfile的对应位置上去,然后上传到gitlab即可。(省略!)
架构图第5步案例:Jenkins制作自定义镜像并上传到Harbor⭐
- 1:生成制作自定义镜像的流水线语法(生成如下):
sh '''mv ./target/*.jar ./docker/
docker build -t ${JOB_NAME}:${tag} ./docker/'''
- 2:在Jenkinsfile文件定义全局变量environment:(记得要把下面的内容改成你自己的!)
- harborAddress是harbor地址
- harborRepo是harbor仓库名
- harborUser是harbor账号
- harborPasswd是Harbor密码
environment{
harborAddress = '192.168.184.80:80'
harborRepo = 'repo'
harborUser = 'admin'
harborPasswd = 'Harbor12345'
}
- 3:生成将镜像上传到Harbor仓库的流水线语法(生成如下):
sh '''docker login -u ${harborUser} -p ${harborPasswd} ${harborAddress}
docker tag ${JOB_NAME}:${tag} ${harborAddress}/${harborRepo}/${JOB_NAME}:${tag}
docker push ${harborAddress}/${harborRepo}/${JOB_NAME}:${tag}'''
-
4:防止Jenkins内部不能使用Docker,所以重新设置一下权限:(有时候即使设置了权限也会自动变回来,导致pipeline报错)
- 切换目录到/var/run/:
[root@centos7-jenkins harbor]# cd /var/run/
- 修改docker.sock文件的所属组:
[root@centos7-jenkins run]# chown root:root docker.sock
- 修改docker.sock文件的权限:
[root@centos7-jenkins run]# chmod o+rw docker.sock
-
5:将上面生成的语法放到Jenkinsfile的对应位置上去,然后上传到gitlab即可。
- 6:执行构建即可。
- 7:进入Harbor可视化界面,查看pipeline镜像是否push成功:
架构图第6-7步案例:通知目标服务器可以从Harbor上拉取镜像,并运行容器(注意:这里有个坑!)⭐
- 1:在所有目标服务器上都放一份shell脚本文件:(原理是:Jenkins通知目标服务器去执行shell脚本文件,从而让目标服务器在Harbor上面拉取指定镜像。)
- 原来的架构图上是把Dockerfile传到目标服务器,让目标服务器通过docker build构建镜像(缺点是当目标服务器有多台,那每一台目标服务器都需要build构建一次,n台服务器就是n次,这样十分浪费服务器资源)。
- 现在的架构图是把镜像在Jenkins容器内构建,然后把镜像push到Harbor上,Jenkins通知所有目标服务器(不管有多少台),然后目标服务器就会执行下面的shell脚本,会从Harbor拉取指定镜像,这样一来,不管有多少台目标服务器都只是build构建一次,节省了很多资源。
vi /root/deploy.sh
内容如下:
harbor_addr=$1
harbor_repo=$2
project=$3
version=$4
host_port=$5
container_port=$6
imageName=$harbor_addr/$harbor_repo/$project:$version
containerId=`docker ps -a | grep ${project} | awk '{print $1}'`
if [ "$containerId" != "" ] ; then
docker stop $containerId
docker rm $containerId
fi
tag=`docker images | grep ${project} | awk '{print $2}'`
if [[ "$tag" =~ "$version" ]] ; then
docker rmi -f $imageName
fi
docker login -u admin -p Harbor12345 $harbor_addr
docker pull $imageName
docker run -d -p $host_port:$container_port --name $project $imageName
echo "SUCCESS"
- 2:给deploy.sh权限:
chmod a+x /root/deploy.sh
- 3:把所有目标服务器的deploy.sh都放到/usr/bin下:
[root@centos7-jenkins ~]# mv /root/deploy.sh /usr/bin/
- 4:配置Jenkins参数:
-
5:生成流水线语法:
- 提示Exec command:
deploy.sh $harborAddress $harborRepo $JOB_NAME $tag $host_port $container_port
-
6:将生成的语法放到Jenkinsfile的对应位置上去,然后上传到gitlab即可。(⭐注意这里有个坑!⭐)
- 坑坑坑!!!:sshPublisher的execCommand要用双引号,默认是单引号。(一定要改成双引号,否则语法无法生效!⭐)
⭐下面的是修改之后的,并且是测试通过的流水线语法!!:
sshPublisher(publishers: [sshPublisherDesc(configName: 'mytest', transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: "deploy.sh $harborAddress $harborRepo $JOB_NAME $tag $host_port $container_port", execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: '', remoteDirectorySDF: false, removePrefix: '', sourceFiles: '')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)])
- 7:最后测试构建即可(省略!)
Jenkins流水线整合钉钉:在构建完成后通知信息(新增⭐)
下载安装钉钉,并且注册账号(电脑版和手机版都行)⭐
钉钉下载官网
在Jenkins中下载钉钉插件(DingTalk 2.4.7版本)⭐
在钉钉创建一个企业(不然无法申请项目群)⭐
在钉钉创建一个新的项目群⭐
在钉钉的项目群里创建一个机器人⭐
在Jenkins中配置这个机器人⭐
Jenkinsfile配置钉钉⭐
- 1:编写流水线语法:
- 注意:robot的值就是我们在Jenkins的系统配置所设置的机器人id!!(一定要进行修改)
post {
success {
dingtalk (
robot: 'Jenkins-dingding',
type:'MARKDOWN',
title: "success: ${JOB_NAME}",
text: ["- 成功构建:${JOB_NAME}项目!\n- 版本:${tag}\n- 持续时间:${currentBuild.durationString}\n- 任务:#${JOB_NAME}"]
)
}
failure {
dingtalk (
robot: 'Jenkins-dingding',
type:'MARKDOWN',
title: "fail: ${JOB_NAME}",
text: ["- 失败构建:${JOB_NAME}项目!\n- 版本:${tag}\n- 持续时间:${currentBuild.durationString}\n- 任务:#${JOB_NAME}"]
)
}
}
- 2:将上面的语法放到Jenkinsfile的stages外面,并上传gitlab:
- 3:点击构建Jenkins
- 4:查看钉钉项目群:
实战4的Jenkinsfile全部代码⭐
pipeline {
agent any
environment{
harborAddress = '192.168.184.80:80'
harborRepo = 'repo'
harborUser = 'admin'
harborPasswd = 'Harbor12345'
}
// 存放所有任务的集合
stages {
stage('拉取Git仓库代码') {
steps {
checkout([$class: 'GitSCM', branches: [[name: '${tag}']], extensions: [], userRemoteConfigs: [[url: 'http://192.168.184.70:8929/root/mytest.git']]])
}
}
stage('通过maven构建项目') {
steps {
sh '/var/jenkins_home/maven/bin/mvn clean package -DskipTests'
}
}
stage('通过SonarQube做代码质量检测') {
steps {
sh '/var/jenkins_home/sonar-scanner/bin/sonar-scanner -Dsonar.sources=./ -Dsonar.projectname=${JOB_NAME} -Dsonar.projectKey=${JOB_NAME} -Dsonar.java.binaries=./target/ -Dsonar.login=7ad2200f7cca90c37a909fdba8db049ac700909f'
}
}
stage('通过Docker制作自定义镜像') {
steps {
sh '''mv ./target/*.jar ./docker/
docker build -t ${JOB_NAME}:${tag} ./docker/'''
}
}
stage('将自定义镜像推送到Harbor仓库') {
steps {
sh '''docker login -u ${harborUser} -p ${harborPasswd} ${harborAddress}
docker tag ${JOB_NAME}:${tag} ${harborAddress}/${harborRepo}/${JOB_NAME}:${tag}
docker push ${harborAddress}/${harborRepo}/${JOB_NAME}:${tag}'''
}
}
stage('通过Publish Over SSH通知目标服务器') {
steps {
sshPublisher(publishers: [sshPublisherDesc(configName: 'mytest', transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: "deploy.sh $harborAddress $harborRepo $JOB_NAME $tag $host_port $container_port", execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: '', remoteDirectorySDF: false, removePrefix: '', sourceFiles: '')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)])
}
}
}
post {
success {
dingtalk (
robot: 'Jenkins-dingding',
type:'MARKDOWN',
title: "success: ${JOB_NAME}",
text: ["- 成功构建:${JOB_NAME}项目!\n- 版本:${tag}\n- 持续时间:${currentBuild.durationString}\n- 任务:#${JOB_NAME}"]
)
}
failure {
dingtalk (
robot: 'Jenkins-dingding',
type:'MARKDOWN',
title: "fail: ${JOB_NAME}",
text: ["- 失败构建:${JOB_NAME}项目!\n- 版本:${tag}\n- 持续时间:${currentBuild.durationString}\n- 任务:#${JOB_NAME}"]
)
}
}
}