DevOps实现CI/CD实战（六）- Jenkins集成k8s

十、 Jenkins集成k8s

Jenkins在集成K8s之前，需要搭建k8s集群，具体搭建步骤，完整笔记
https://github.com/ITenderL/ITenderL.github.io/tree/main/docs/DevOps，
包括完整的DevOps的笔记。

1. 准备部署的yml文件

pipeline.yml

apiVersion: apps/v1
kind: Deployment
metadata:
  namespace: test
  name: pipeline
  labels:
    app: pipeline
spec:
  replicas: 2
  selector:
    matchLabels:
      app: pipeline
  template:
    metadata:
      labels:
        app: pipeline
    spec:
      containers:
      - name: pipeline
        image: harbor.com/sswang/pipeline:v4.0.0
        imagePullPolicy: Always
        ports:
        - containerPort: 8080

---
apiVersion: v1
kind: Service
metadata:
  namespace: test
  name: pipeline
  labels:
    app: pipeline
spec:
  selector:
    app: pipeline
  ports:
    - port: 8082
      targetPort: 8080
  type: NodePort

---
apiVersion: networking.k8s.io/v1
kind: Ingress
metadata:
  namespace: test
  name: pipeline
spec:
  ingressClassName: nginx
  rules:
  - host: pipeline.test.com
    http:
      paths:
      - path: /
        pathType: Prefix
        backend:
          service:
            name: pipeline
            port:
              number: 8082

2. 配置Docker私服

在尝试用kubernetes的yml文件启动pipeline服务时，会出现Kubernetes无法拉取镜像的问题，这里需要在kubernetes所在的Linux中配置Harbor服务信息，并且保证Kubernetes可以拉取Harbor上的镜像。
在这里插入图片描述
填写你的harbor地址信息，填写完成后下面会生成一行命令，复制命令到你的kube服务器运行，看是否可以登录成功，登陆成功就ok了

如果不成功，要检查一下你的daemon.json的配置

{
  "exec-opts": ["native.cgroupdriver=systemd"],
   # docker私服地址，把你的harbor地址加到这里
  "insecure-registries": ["kubernetes-register.sswang.com", "harbor.com"],
  "registry-mirrors": [
    "https://docker.m.daocloud.io",
    "https://dockerhub.icu",
    "https://registry.aliyuncs.com",
    "https://docker.nju.edu.cn"
  ]
}

配置完成后，再次启动你的pipeline.yml

# 删除
kubectl delete -f pipeline.yml
# 启动
kubectl apply -f pipeline.yml

部署成功后，查看状态

[root@master ~]# kubectl get all -n test
NAME                            READY   STATUS    RESTARTS   AGE
pod/pipeline-647d4585fb-qh292   1/1     Running   0          48m

NAME               TYPE       CLUSTER-IP      EXTERNAL-IP   PORT(S)          AGE
service/pipeline   NodePort   10.96.126.239   <none>        8082:32562/TCP   48m

NAME                       READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/pipeline   1/1     1            1           48m

NAME                                  DESIRED   CURRENT   READY   AGE
replicaset.apps/pipeline-647d4585fb   1         1         1       48m

然后访问192.168.201.111:32562
在这里插入图片描述

3. Jenkins配置k8s

在系统配置下面添加publish over ssh 配置，配置完成后，应用保存
- 修改pipeline任务配置

修改项目中Jenkinsfile中publish over ssh步骤的配置命令，到pipeline语法中生成
在这里插入图片描述

sshPublisher(publishers: [sshPublisherDesc(configName: 'k8s', transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: '', execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: '', remoteDirectorySDF: false, removePrefix: '', sourceFiles: 'pipeline.yml')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)])

然后修改项目中的Jenkinsfile的配置，用下面的配置，替换原来publish over ssh的配置

		stage('将部署的yml文件传送到k8s-master节点') {
			steps {
				sshPublisher(publishers: [sshPublisherDesc(configName: 'k8s', transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: '', execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: '', remoteDirectorySDF: false, removePrefix: '', sourceFiles: 'pipeline.yml')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)])
			}
		}

修改代码返回5.0.0，然后打标签v5.0.0,，然后构建看是否可以将pipeline文件传送到k8s服务器

[root@master k8s]# ls /usr/local/k8s/
pipeline.yml
# 文件已经传到目标服务器了，然后执行文件

运行pipeline.yml

如何运行pipeline.yml，使用shell命令的方式会需要输入密码

[root@master ~]# ssh root@192.168.201.120 kubectl ap -f /usr/local/k8s/pipeline.yml
root@192.168.201.120's password:

因此只能使用ssh的无密码登录方式，让Jenkins容器内部以无密码的方式连接到k8s的master节点，绝体步骤如下

进入Jenkins容器内部

[root@clear jenkins_docker]# docker exec -it jenkins bash
jenkins@e96108b4b77b:/$ cd ~
# 找到隐藏的文件.ssh
jenkins@e96108b4b77b:~$ ls -a
.ssh

jenkins@e96108b4b77b:~$ cat ~/.ssh/id_rsa.pub
ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAACAQC86IaWBtwJkhlAEH4WYoMUAg8acBZGiM13BZPTsHeqM541lKp02qcgvk8RBd9Zg2ykmeCH6qkPNLTVPzqfR75bnOFD7ZZ3q/A0Yl6h06NzoxFAIAepuXdy+hF+IK3ORScl1pOsFq8TQAWtQWN2UTPYJ7xORW8w/2hgwXKffwzTj1uuA2PZDpoQanSyx1N0qV+/t2omFRFscV1BkhiZvNKa7Pifesd3m24y/uFykZTE8/YCn8Bjbvlj1AH77vdgkkrCXjFJZeqWVLYcpLEGVqUt9tklDI9XkEf6gE/ut+QWtB5HHN+pfW95MFkFY/78i4KXNDUT7+Ogix0AqvUKyhriMOUx8KaAfLCUAWNtrmC+mLQwPFyyJN1EEiCNYWb6OJ5G9geH1YvrzoRfcpLk/k6pmsbkrpJdxh2ZSQqwdvTnxWNDMjnJLRw4OE6rRMp57qWecFnqJuaJN1z43Cdk2wo9J/Ve6f02vXAN0iTFK6t6xAF9E5+lBbKps9FRoLz/3njqWcrMlFQ3jKO2IvL/JJKe+fNbc6VHGT0BPc2TQ4nay24I7KAqfLhLqkrpuhOHbPoj7dO3yr5zzu0I9Z78gPsRpM2BOmaEE+Q2WXKyGUZmsr3IWdy9V/l4IwxYRlNUxjvUxbetkbvRRP8rT48JhsJYeZfHAekgpsVnHKJMsTYnAQ== your_email@example.com

# 如果没有则自己生成，生成方式如下

在设置SSH服务时，生成SSH密钥（公钥和私钥）是一个常见的任务。这些密钥用于安全地进行身份验证，无需输入密码。以下是如何生成SSH密钥的步骤：

生成SSH密钥对
首先，您需要在客户端机器上生成一个SSH密钥对。使用ssh-keygen命令来生成密钥对。

ssh-keygen -t rsa -b 4096 -C “your_email@example.com”
-t rsa：指定密钥类型为RSA。
-b 4096：指定密钥长度为4096位。
-C “your_email@example.com”：添加注释（通常是您的电子邮件地址），这有助于识别密钥。
执行上述命令后，系统会提示您输入文件名以保存密钥（默认情况下保存在~/.ssh/id_rsa中），以及是否设置密码短语。设置密码短语可以增加额外的安全层，但也可以留空以便免密码连接。

查看生成的密钥文件
生成密钥对后，您的SSH目录（通常是~/.ssh）中将包含以下两个文件：

id_rsa：私钥文件。
id_rsa.pub：公钥文件。

将公钥复制到远程服务器
要使用SSH密钥登录到远程服务器，需要将生成的公钥添加到远程服务器上的~/.ssh/authorized_keys文件中。可以使用ssh-copy-id命令来完成此操作：
ssh-copy-id user@remote_host
user：远程服务器上的用户名。
remote_host：远程服务器的IP地址或域名。
此命令会提示您输入远程服务器用户的密码，并将公钥自动复制到远程服务器的~/.ssh/authorized_keys文件中。

手动复制公钥（可选）
如果无法使用ssh-copy-id，也可以手动复制公钥。首先查看公钥内容：
cat ~/.ssh/id_rsa.pub
然后，将输出的内容复制并粘贴到远程服务器上的~/.ssh/authorized_keys文件中。确保文件权限正确：

在远程服务器上执行
mkdir -p ~/.ssh
chmod 700 ~/.ssh
echo "your_public_key" >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
测试SSH连接
完成上述步骤后，您应该能够使用SSH密钥进行无密码登录：
ssh user@remote_host
如果一切正常，您将直接登录到远程服务器，而不需要输入密码。

配置SSH客户端（可选）
为了更方便地管理多个SSH连接，可以在本地机器的~/.ssh/config文件中配置SSH客户端：
Host remote_host_alias
HostName remote_host
User user
IdentityFile ~/.ssh/id_rsa
这样，您可以通过别名进行连接：
ssh remote_host_alias
通过以上步骤，您可以生成SSH密钥并配置SSH服务，以便实现更加安全和便捷的无密码登录

来到k8s的master节点用户目录下.ssh文件夹，把jenkins的公钥放到.ssh文件夹下的authorized_keys文件中

[root@master ~]# cd ~
[root@master ~]# ls -a
.   anaconda-ks.cfg  .bash_logout   .bashrc  .config  deploy-nginx.yml  ingress  kuboard-v3.yaml   pipeline.yml  .ssh     .viminfo
..  .bash_history    .bash_profile  .cache   .cshrc   .docker           .kube    nginx-tomcat.yml  .pki          .tcshrc
[root@master ~]# cd .ssh
[root@master .ssh]# ls
known_hosts
[root@master .ssh]#  touch authorized_keys
[root@master .ssh]# vim authorized_keys
# 复制密钥到文件中保存即可


jenkins@e96108b4b77b:~$ ssh root@192.168.201.120 sfs
bash: sfs: command not found
jenkins@e96108b4b77b:~$

下面就可以在Jenkins中执行k8s的命令了，来到jenkins中添加配置，生成pipeline命令
在这里插入图片描述
修改项目中Jenkinsfile文件，在执行步骤中添加一个步骤，然后去Jenkins构建

stage('远程执行k8s-master节点的kubectl命令') {
			steps {
				sh 'ssh root@192.168.201.120 kubectl apply -f /usr/local/k8s/pipeline.yml'
			}
		}

最后成功部署了