Jenkins 基于Kubernetes 弹性构建池

news2024/11/18 3:36:40

流程：

  • 创建Jenkins Agent；

  • 获取Jenkins Agent的参数；

  • 渲染yaml模板；

  • 调用K8s API在固定的NS中创建一个Pod；

  • 运行Jenkins pipeline到agent；

创建Agent

import hudson.model.Node.Mode
import hudson.slaves.*
import jenkins.model.Jenkins

// 创建agent  下面是执行器数量的定义和label
String agentName = "__AGENT_NAME__"    
String executorNum = "1"     
String agentLabel = "JenkinsPod"

agent_node = new DumbSlave(agentName, "Jenkins pod", "/opt/jenkins", executorNum,            
                               Mode.EXCLUSIVE,   
                               agentLabel,                       
                               new JNLPLauncher(),         
                               RetentionStrategy.INSTANCE) 
Jenkins.instance.addNode(agent_node)

//获取agent的配置
node = Jenkins.instance.getNode(agentName)
computer = node.computer
jenkinsUrl = Jenkins.instance.rootUrl.trim().replaceAll('/$', '') 

return  """{
\"jenkinsUrl\" : \"${jenkinsUrl}\", 
\"jenkinsHome\": \"${node.remoteFS.trim()}\",
\"computerUrl\": \"${computer.url.trim().replaceAll('/$', '') as String}\",
\"computerSecret\": \"${computer.jnlpMac.trim()}\"
}"""

这里返回的是json类型的字符串，这样在调试的时候非常的方便。

这些信息最后在k8s里面需要以环境变量的方式指定出来。

其实手动创建好，然后将这串密钥拿下来，然后去启动他。但是现在自动化的去创建了。并且还将认证信息拿出来了。

后面在添加动态节点的时候先添加agent，然后拿到它的参数，最后渲染为pod的yaml，再去创建pod。

删除Agent

当资源不再使用了，就可以将节点删除。

import jenkins.model.Jenkins

String agentName = "__AGENT_NAME__"

Jenkins.instance.nodes.each { node ->
    String nodeName = node.name
    if (nodeName.equals(agentName)) {
        Jenkins.instance.removeNode(node)
    }
}

ScriptConsole

// ScriptConsole运行脚本
def RunScriptConsole(scriptContent, crumb){
    response = sh returnStdout: true, 
                  script: """
                    curl -s -d "script=\$(cat ${scriptContent})" \
                    --header "Jenkins-Crumb:${crumb}" \
                    -X  POST http://admin:112374bd5c557010386b55bb85a777aded@192.168.1.200:8080/scriptText
                    """
    try {
        response = readJSON text: response - "Result: "
    } catch(e){
        println(e)
    }
    return response
}


// 获取Crumb值
def GetCrumb(){
    response = sh returnStdout: true, 
                  script: """ curl -s -u admin:admin \
                                   --location \
                                   --request GET 'http://192.168.1.200:8080/crumbIssuer/api/json' """
    response = readJSON text: response
    return  response.crumb
}
http://192.168.11.128:8080/crumbIssuer/api/json

{"_class":"hudson.security.csrf.DefaultCrumbIssuer","crumb":"f72990e2bc09a468effa69ec41f1432844bc709ca5ad6130d600da24ad16672a","crumbRequestField":"Jenkins-Crumb"}
curl -s -d "script=$(cat create_agent.groovy)" \
  --header "Jenkins-Crumb:f72990e2bc09a468effa69ec41f1432844bc709ca5ad6130d600da24ad16672a" \
  -X  POST http://admin:115fcd2e2d30505df7a18f23763c1332a0@192.168.11.128:8080/scriptText
[root@jenkins ~]# curl -s -d "script=$(cat create_agent.groovy)"   --header "Jenkins-Crumb:f72990e2bc09a468effa69ec41f1432844bc709ca5ad6130d600da24ad16672a"   -X  POST http://admin:115fcd2e2d30505df7a18f23763c1332a0@192.168.11.128:8080/scriptText

Result: {
"jenkinsUrl" : "http://192.168.11.128:8080", 
"jenkinsHome": "/opt/jenkins",
"computerUrl": "computer/%5F%5FAGENT%5FNAME%5F%5F",
"computerSecret": "6473dea92efa350d744450b91f010cd01880e0686597b8d33ef0876e698127c7"
}

Pod Yaml模板

apiVersion: v1
kind: Pod
metadata:
  labels:
    app: __AGENT_NAME__
  name: __AGENT_NAME__
  namespace: __NAMESPACE__
spec:
  containers:
  - name: dind
    image: 'docker:stable-dind'
    command:
     - dockerd
     - --host=unix:///var/run/docker.sock
     - --host=tcp://0.0.0.0:8000
     - --insecure-registry=192.168.1.200:8088
    securityContext:
       privileged: true
    volumeMounts:
    - mountPath: /var/run
      name: docker-dir
  - image: agenttest:6 #jenkins/inbound-agent:4.10-3-jdk8
    name: __AGENT_NAME__
    imagePullPolicy: IfNotPresent
    resources:
      limits:
        cpu: 1000m
        memory: 8Gi
      requests:
        cpu: 500m
        memory: 2Gi
    env:
      - name: JENKINS_URL
        value: __JENKINS_URL__
      - name: JENKINS_SECRET
        value: __JENKINS_SECRET__
      - name: JENKINS_AGENT_NAME
        value: __AGENT_NAME__
      - name: JENKINS_AGENT_WORKDIR
        value: /home/jenkins/workspace
    volumeMounts:
     - mountPath: /var/run
       name: docker-dir
  dnsPolicy: ClusterFirst
  restartPolicy: Always
  volumes:
   - name: docker-dir
     emptyDir: {}

这里有两个容器，一个是docker in docker，因为containerd里面没有这个文件了。

因为docker共享了目录，在另外一个容器目录里面也可以看到，那么在另外的容器里面就可以运行docker命令了。

Kubernetes API准备工作

  1. 创建一个NS名称空间， 专用于运行Pod；

kubectl create ns jenkins

  1. 创建一个secret关联serviceaccount和role，操作K8s API；

# 创建role
kubectl -n jenkins create role jenkinsadmin \
--verb=create,delete,update,list,get,patch \
--resource=pods

# 创建服务账户
kubectl -n jenkins create serviceaccount jenkinsadmin

# 创建角色绑定
kubectl -n jenkins create rolebinding jenkinsadmin --role=jenkinsadmin --serviceaccount=jenkins:jenkinsadmin

# 创建secret
kubectl apply -f - <<EOF
apiVersion: v1
kind: Secret
metadata:
  name: jenkinsadmin-token
  namespace: jenkins
  annotations:
    kubernetes.io/service-account.name: jenkinsadmin
type: kubernetes.io/service-account-token
EOF


while ! kubectl -n jenkins describe secret jenkinsadmin-token | grep -E '^token' >/dev/null; do
  echo "waiting for token..." >&2
  sleep 1
done


# 获取令牌
TOKEN=$(kubectl -n jenkins get secret jenkinsadmin-token -o jsonpath='{.data.token}' | base64 --decode)

echo $TOKEN

# 获取API
kubectl config view -o jsonpath='{"Cluster name\tServer\n"}{range .clusters[*]}{.name}{"\t"}{.cluster.server}{"\n"}{end}'

# 使用令牌玩转 API
curl -X GET https://127.0.0.1:35659/api --header "Authorization: Bearer $TOKEN" --insecure
[root@192 ~]# curl -X GET https://127.0.0.1:6443/api --header "Authorization: Bearer $TOKEN" --insecure
{
  "kind": "APIVersions",
  "versions": [
    "v1"
  ],
  "serverAddressByClientCIDRs": [
    {
      "clientCIDR": "0.0.0.0/0",
      "serverAddress": "192.168.11.134:6443"
    }
  ]
}

将token 以secret text类型存储到Jenkins

POD API

//删除POD
def DeletePod(namespace, podName){
    withCredentials([string(credentialsId: 'f66733bf-ef35-402d-87d1-a79510387d2b', variable: 'CICDTOKEN')]) {
        sh """
           curl --location --request DELETE "https://192.168.1.200:6443/api/v1/namespaces/${namespace}/pods/${podName}" \
           --header "Authorization: Bearer ${CICDTOKEN}" \
           --insecure >/dev/null
        """
    }
}

// 创建POD
def CreatePod(namespace, podYaml){
    withCredentials([string(credentialsId: 'f66733bf-ef35-402d-87d1-a79510387d2b', variable: 'CICDTOKEN')]) {
        sh """
           curl --location --request POST "https://192.168.1.200:6443/api/v1/namespaces/${namespace}/pods" \
           --header 'Content-Type: application/yaml' \
           --header "Authorization: Bearer ${CICDTOKEN}" \
           --data "${podYaml}" --insecure >/dev/null
        """
    }
}
curl --location --request POST "https://192.168.11.134:6443/api/v1/namespaces/jenkins/pods" \
--header 'Content-Type: application/yaml' \
--header "Authorization: Bearer ${TOKEN}" \
--data "${podYaml}" --insecure >/dev/null

curl --location --request DELETE "https://192.168.11.134:6443/api/v1/namespaces/jenkins/pods/nginx" \
--header "Authorization: Bearer ${TOKEN}" \
--insecure >/dev/null
curl --location --request GET 'https://192.168.11.134:6443/api/v1/namespaces/jenkins/pods' \
--header 'Authorization: Bearer eyJhbGciOiJSUzI1NiIsImtpZCI6IjBqSWxfOExtSW1pVmpKVkFUVGFQbHp1ZE5TcFo0SjlmOUtjMWFveWtrZGMifQ.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJqZW5raW5zIiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9zZWNyZXQubmFtZSI6ImplbmtpbnNhZG1pbi10b2tlbi1jbTRsNyIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VydmljZS1hY2NvdW50Lm5hbWUiOiJqZW5raW5zYWRtaW4iLCJrdWJlcm5ldGVzLmlvL3NlcnZpY2VhY2NvdW50L3NlcnZpY2UtYWNjb3VudC51aWQiOiJjMDAwZTVhMC00Yzg0LTQyZWEtYmJiNy1mZmM5MDBhYzUyMjIiLCJzdWIiOiJzeXN0ZW06c2VydmljZWFjY291bnQ6amVua2luczpqZW5raW5zYWRtaW4ifQ.A-InywzLZZfwx_4-Na9iDDRGsIH0Bjm9Xk92VxKsnP7hflEbOU631EU0eHnewgg0UqAD1kkhW39XupN13oTXrOjHrzWdm_UUMe2cBIYCZD19VIpNnRZ6bBLZ3LFHA2F0gXO14HaVZiUvSYBXgIfyHydetIFQFBPWFtU7091u5iB4pcw_gE-VzGjX6NDHj-81j6Ap2Qr0gIrNvrPVAOpPO9uCSg3PNCgvQMq2ZNrY2te1w7QxmeFPEpOIPiK6VbUkRjhQlHmawULZFol2k5Wwv9z0m1hPQcc2Nten1f1__GR39hUjryWXfltJ8OLpbKWK-AtfBkHx8VqbiKH1vQOrRg' \
--header 'Content-Type: text/plain' \
--data-raw 'abc'

这里请求方法由get换成了delete

自定义构建镜像

  • https://helm.sh/zh/docs/intro/install/

  • https://github.com/jenkinsci/docker-inbound-agent/blob/master/8/alpine/Dockerfile

  • https://kubernetes.io/zh-cn/docs/tasks/tools/install-kubectl-linux/#install-kubectl-binary-with-curl-on-linux

FROM centos:7

USER root
ADD tools/jdk-8u201-linux-x64.tar.gz /usr/local
ENV JAVA_HOME=/usr/local/jdk1.8.0_201
ENV M2_HOME=/usr/local/apache-maven-3.8.1

COPY tools/agent.jar /usr/share/jenkins/agent.jar
COPY tools/jenkins-agent /usr/local/bin/jenkins-agent
COPY tools/apache-maven-3.8.1 /usr/local/apache-maven-3.8.1
COPY tools/helm /usr/bin/helm
COPY tools/kubectl /usr/bin/kubectl

RUN echo "export PATH=$PATH:$JAVA_HOME/bin:$M2_HOME/bin" >> /etc/profile  && \
    source /etc/profile && \
    java -version && \
    chmod +x /usr/local/bin/jenkins-agent && \
    ln -s /usr/local/bin/jenkins-agent /usr/local/bin/jenkins-slave && \
    yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo && \
    yum -y install docker-ce && \
    mkdir -p /home/jenkins/workspace && chmod 777 /home/jenkins/workspace && \
    yum -y install git && \
    chmod +x /usr/bin/helm && helm version && chmod +x /usr/bin/kubectl

COPY tools/daemon.json  /etc/docker/daemon.json
ENTRYPOINT ["/usr/local/bin/jenkins-agent"]

上面就是整个流程,k8s动态创建 销毁pod，在pod上面创建构建任务，构建完任务就将这个pod给删除了。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/349932.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

学Python不会不知道NumPy计算包吧，带你五分钟看懂NumPy计算包

学Python不会不知道NumPy计算包吧，带你五分钟看懂NumPy计算包

从今天我们就开始进入 Python 数据分析工具的教程。 前段时间数据分析和Python都讲了一点点&#xff0c;但是Python的数据库&#xff0c;讲的少了点&#xff0c;所以接下来就讲讲这些重要的常用数据库吧&#xff01;&#xff01;&#xff01; Python 数据分析绝对绕不过的四个…
阅读更多...
数据库常用命令

数据库常用命令

文章目录1. 数据库操作命令1.进入数据库2.查看数据库列表信息3.查看数据库中的数据表信息2.SQL语句命令1. 创建数据表2. 基本查询语句3. SQL排序4. SQL分组统计5. 分页查询6. 多表查询7.自关联查询8.子查询1. 数据库操作命令 1.进入数据库 mysql -uroot -p2.查看数据库列表信…
阅读更多...
PDF怎么转换成Word？两种PDF免费转Word方法推荐

PDF怎么转换成Word？两种PDF免费转Word方法推荐

不知道你们有没有发现&#xff0c;我们在网上下载的很多资料都是PDF格式的&#xff0c;尽管PDF文件也可以通过专门的PDF编辑器来编辑&#xff0c;但是PDF文档作为版式文档&#xff0c;编辑起来还是存在很多局限性&#xff0c;所有当我们需要大量编辑修改文档的时候&#xff0c;…
阅读更多...
网络编程套接字之TCP

网络编程套接字之TCP

文章目录一、TCP流套接字编程ServerSocketSocketTCP长短连接二、TCP回显服务器客户端服务器客户端并发服务器UDP与TCP一、TCP流套接字编程 我们来一起学习一下TCP socket api的使用&#xff0c;这个api与我们之前学习的IO流操作紧密相关&#xff0c;如果对IO流还不太熟悉的&am…
阅读更多...
Springboot 我随手封装了一个万能的导出excel工具，传什么都能导出

Springboot 我随手封装了一个万能的导出excel工具，传什么都能导出

前言 如题&#xff0c;这个小玩意&#xff0c;就是不限制你查的是哪张表&#xff0c;用的是什么类。 我直接一把梭&#xff0c;嘎嘎给你一顿导出。 我知道&#xff0c;这是很多人都想过的&#xff0c; 至少我就收到很多人问过我这个类似的问题。 我也跟他们说了&#xff0c;但…
阅读更多...
python冒号的用法总结

python冒号的用法总结

一维数组 1. 单个冒号的情况 1.1 写完整的情况下 单个冒号的情况下&#xff0c;对数组的遍历操作是从前向后操作。如&#xff1a;arr[a:b] &#xff0c;冒号前的a含义是从a开始遍历&#xff0c;冒号后的b含义是到b截止&#xff08;不包括b&#xff09;。 arr [1, 2, 3, 4,…
阅读更多...
Qt扫盲-QMake 语言概述

Qt扫盲-QMake 语言概述

QMake 语言概述一、概述二、变量三、替换函数四、测试函数一、概述 这里主要就是记录一下如何使用 qmake Manual&#xff0c;里面关于我对 qmake的理解&#xff0c;以及如何配置这个 qt 工程文件&#xff0c;通过配置工程文件&#xff0c;来构建出&#xff0c;APP&#xff0c;…
阅读更多...
如何在Github上配置ssh key的密钥

如何在Github上配置ssh key的密钥

Step0 : 解释说明 git使用SSH配置&#xff0c; 初始需要以下三个步骤 使用秘钥生成工具生成rsa秘钥和公钥将rsa公钥添加到代码托管平台将rsa秘钥添加到ssh-agent中&#xff0c;为ssh client指定使用的秘钥文件 Step 1: 核验本地主机是否已经存在ssh密钥。&#xff08;若id_rs…
阅读更多...
ChatGPT之文章生成

ChatGPT之文章生成

文章目录介绍激励设计Prompt Design故障调整Troubleshooting分类Classification提高分类器的效率生成对话内容转化翻译转化总结实际问答插入文本编辑模式介绍 ChatGPT功能很强大&#xff0c;它可以根据你给出的模板和文本进行文本补全&#xff0c;最好的探索方式就是使用我们给…
阅读更多...
数据预处理（无量纲化、缺失值、分类特征、连续特征）

数据预处理（无量纲化、缺失值、分类特征、连续特征）

文章目录1. 无量纲化1.1 sklearn.preprocessing.MinMaxScaler1.2 sklearn.preprocessing.StandardScaler2. 缺失值3. 分类型特征4. 连续型特征数据挖掘的五大流程包括&#xff1a;获取数据数据预处理特征工程建模上线 其中&#xff0c;数据预处理中常用的方法包括数据标准化和归…
阅读更多...
3分钟学会图新地球图源制作详细教程

3分钟学会图新地球图源制作详细教程

图新地球图源制作 1.资源准备 &#xff08;1&#xff09; 准备一份图新地球支持的lrc格式的图源; &#xff08;2&#xff09; 安装图新地球 &#xff08;LSV&#xff09;软件和奥维omap软件 。 2.操作步骤 (1) 用记事本打开lrc格式的文件(图①)&#xff0c;同时用奥维软件…
阅读更多...
Unity 多语言 轻量高效的多语言工具集 LanguageManager

Unity 多语言 轻量高效的多语言工具集 LanguageManager

效果展示 支持excel导入自动化 组件化 更方便 也提供直接获取多语言的接口 没有挂 LanguageText的对象也可以获取多语言文本内容 支持 Format接口 可以传递N个参数进来组装多语言 支持首次系统语言自测 支持语言切换后本地自动保存配置 支持实时切换 同步刷新所有UI 容错处…
阅读更多...
Maven：在Intellij idea的使用

Maven：在Intellij idea的使用

MavenIntellij idea配置MavenIntellij idea创建Maven项目Java项目的创建Web项目的创建Intellij idea执行Maven命令JavaWeb项目转为Maven项目遇到的问题解决了解到Maven的基础知识后&#xff0c;接下来&#xff0c;简单介绍Maven在Intellij idea的使用&#xff08; 以 IntelliJ …
阅读更多...
在线开会，来开开圆桌会议吧~

在线开会，来开开圆桌会议吧~

圆桌会议应用场景&#xff1a;适合内部培训、部门会议亦或是头脑风暴等较为轻松的场景&#xff0c;有兴趣的朋友可以联系我来测试哦~~ 上图&#xff1a; 图&#xff1a;圆桌会议应用截图 在圆桌布局之下&#xff0c;企业可以将每一位参会者和座位绑定&#xff0c;1:1模拟线下圆…
阅读更多...
微信中如何接入机器人才比较安全（不会收到警告或者f号）之第三步正式接入

微信中如何接入机器人才比较安全（不会收到警告或者f号）之第三步正式接入

大家好，我是雄雄，欢迎关注微信公众号：雄雄的小课堂。 前言 前面两篇文章分别介绍了下chatgpt接入方式： 微信中如何接入chatgpt机器人才比较安全（不会收到警告或者f号）之第一步登录微信 微信中如何接入chatgpt机器人才比较安全（不会收到警告或者f号）之第二步注入dll文件…
阅读更多...
Spring 底层原理与解析 - 容器接口

Spring 底层原理与解析 - 容器接口

Spring 底层原理与解析 - 容器接口 BeanFactory 能做哪些事 BeanFactory 与 ApplicaiotnContext 到底是谁提前做完了对象的加载 在之前的一篇关于 Spring 的文章Spring IoC 与容器的初始化中提到过&#xff0c;BeanFactory 接口与 ApplicationContext 接口之间的关系 可以看…
阅读更多...
MySQL作业四

MySQL作业四

学生表&#xff1a;Student (Sno, Sname, Ssex , Sage, Sdept) 学号&#xff0c;姓名&#xff0c;性别&#xff0c;年龄&#xff0c;所在系 Sno为主键 课程表&#xff1a;Course (Cno, Cname,) 课程号&#xff0c;课程名 Cno为主键 学生选课表&#xff1a;SC (Sno, Cno, Score)…
阅读更多...
编译链接实战（8）认识elf文件格式

编译链接实战（8）认识elf文件格式

&#x1f380; 关于博主&#x1f447;&#x1f3fb;&#x1f447;&#x1f3fb;&#x1f447;&#x1f3fb; &#x1f947; 作者简介&#xff1a; 热衷于知识探索和分享的技术博主。 &#x1f482; csdn主页:&#xff1a;【奇妙之二进制】 ✍️ 微信公众号&#xff1a;【Linux …
阅读更多...
FreeRTOS的列表和列表项

FreeRTOS的列表和列表项

目录 列表和列表项的简介 列表和列表项的关系 列表相关API函数介绍 函数vListInitialiseI() 函数vListInitialiseItem() 函数vListInsert() 函数vListInsertEnd() 函数uxListRemove() 列表和列表项的简介 列表是FreeRTOS中的一个数据结构&#xff0c;概念上和链表有点类…
阅读更多...
电脑的安全模式安全吗？如何进入安全模式？

电脑的安全模式安全吗？如何进入安全模式？

“怎么进安全模式&#xff1f;”这条留言成功引起了驱动哥的注意。 在遇到电脑蓝屏、黑屏等系统问题的时候&#xff0c;如何在更安全且不损失电脑文件的情况下修复故障&#xff1f;系统早已为大家准备好了相应的修复策略。 没错&#xff01;电脑也有属于自己的Plan B——安全…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023