jenkins+docker集成harbor实现可持续集成

一、前言

二、Harbor介绍

2.1 什么是Harbor

2.1.1 Harbor架构图

2.2 Harbor 特征

2.3 Harbor 核心组件

2.4 Harbor使用场景

三、Harbor部署

3.1 安装docker compose

3.1.1 安装方式一

3.2 基于python3 pip安装docker compose

3.2.1 安装python3

3.2.2 安装python-pip3并升级

3.2.3 执行命令安装 docker-compose

3.2.4 查看docker-compose版本

3.3 安装horbor

3.3.1 下载安装包

3.3.2 解压安装包

3.3.3 修改配置文件

3.3.4 执行安装

3.3.5 环境检查

3.3.6 浏览器访问

四、Harbor基本使用

4.1 机器准备

4.1.1 配置服务器免登

4.2 推送镜像到Harbor自定义镜像仓库

4.2.1 创建项目

4.2.2 修改docker配置文件

4.2.3 镜像打标

4.2.4 推送镜像

4.3 jenkins任务集成Harbor

4.3.1 修改jenkins的任务配置

4.3.2 重新执行任务

4.4 其他机器获取harbor镜像

4.4.1 A、B机器添加授信

4.4.2 删除并重新推送镜像

4.4.3 其他机器获取镜像

4.4.4 拉取镜像

4.5 使用jenkins任务进行分发镜像

4.5.1 配置全局ssh凭证

4.5.2 配置ssh连接信息

4.5.3 配置测试任务

五、镜像仓库备选方案

5.1 阿里云镜像仓库

5.2 dockerhub

5.3 Nexus Repository Manager

5.4 JFrog Artifactory

六、docker可视化管理工具

七、写在文末

一、前言

在上一篇，我们搭建了jenkins，并通过配置jenkins任务的方式完成了从拉取代码，到打包构建，最后制作docker镜像的完整步骤。但是到这里，我们会发现仍然有两个问题。

问题一：资源占用：

1、构建出来的镜像仍然留在jenkins这台机器上，久而久之，这台机器的空间将不堪重负；

2、如果直接运行镜像，这些镜像将会占用当前jenkins这台机器的资源，如果后续要运行更多的镜像，这台机器肯定吃不消

问题二：缺少镜像的统一分发和管理：

基于问题一，如何管理这些镜像呢？既然镜像不能一直留在这台jenkins机器，就需要引入其他的容器管理平台，该平台能够实现docker镜像的常规管理，比如容器的启停，删除，pull、push等操作。

基于上述这两个最紧迫的问题，该使用什么方法解决呢？这就需要引入docker的镜像管理工具。本文以Harbor为例进行详细的说明。

二、Harbor介绍

官方文档：Harbor docs | Harbor 1.10 Documentation

2.1 什么是Harbor

Harbor 是一个开源的容器镜像仓库，它提供了一个安全、可信赖的方式来存储和管理容器镜像。

Harbor 支持用户创建自己的私有镜像仓库，可以在其中存储各种容器镜像，并且可以对这些镜像进行权限管理、漏洞扫描、复制、备份等操作。
Harbor 还提供了 Web 界面和 RESTful API，使用户可以方便地进行镜像管理和操作。
通过 Harbor，用户可以更加轻松地构建、部署和运行容器化应用。

2.1.1 Harbor架构图

2.2 Harbor 特征

Harbor 具备如下特征：

基于角色的访问控制
- 用户与Docker镜像仓库通过“项目”进行组织管理，一个用户可以对多个镜像仓库在同一个命名空间（project）里有不同的权限。
图形化用户界面
- 用户可以通过浏览器来浏览，检索当前Docker镜像仓库，管理项目和命名空间。
镜像复制
- 镜像可以在多个Registry实例中复制（同步）。尤其适合于负载均衡、高可用，混合云和多云的场景。
部署简单
- 提供在线和离线两种安装工具，也可以安装到vSphere平台（OVA方式）虚拟设备。
RESTful API
- RESTful API 提供给管理员对于Harbor更多的操控，使得其它管理软件集成变得更容易。
AD/LDAP支持
- Harbor可以集成企业内部已有的AD/LDAP，用于鉴权认证管理。
国际化
- 已拥有英文、中文、德文、日文和俄文的本地化版本。更多的语言将会添加进来。
审计管理
- 所有针对于镜像仓库的操作都可以被记录追溯，用于审计管理。

2.3 Harbor 核心组件

结合上述Harbor的架构，下面总结一下Harbor中涉及到的组件。

Harbor的Registry，UI，token等服务，通过一个前置的反向代理统一接收浏览器、Dockerfile客户端的请求，并将请求转发给后端不同的服务。

Registry

负责存储Docker镜像，并处理docker push/pull 命令。由于我们要对用户进行访问控制，即不同用户对Docker image有不同的读写权限，Registry会指向一个token服务，强制用户的每次docker pull/push请求都要携带一个合法的token，Registry会通过公钥对token进行解密验证。

Core services

这是Harbor的核心功能，主要提供以下服务

UI：提供图形化界面，帮助用户管理Registry上的镜像，并对用户进行授权
WebHook：为了及时获取Registry上image状态变化的情况，在Registry上配置webhook，把状态变化传递给UI模块。
Token：负责根据用户权限给每个docker push/pull命令签发token，Docker客户端向-Registry服务发起的请求，如果不包含token，会被重定向到这里，获得token后再重新向Registry进行请求

Database

为core services提供数据库服务，负责储存用户权限、审计日志、Docker image分组信息等数据

Job Services

提供镜像远程复制功能，可以把本地镜像同步到其他Harbor实例中。

Log Collector

为了帮助监控Harbor运行，负责收集其组件的log，供日后进行分析。

2.4 Harbor使用场景

Harbor主要有如下使用场景

构建和管理私有镜像仓库：组织可以使用Harbor搭建自己的私有Docker Registry，方便存储和管理内部开发的镜像，保护知识产权和数据隐私。
安全性管理：Harbor支持用户认证、访问控制、镜像签名等安全功能，确保镜像的安全性，防止恶意镜像的注入。
镜像复制和同步：Harbor可以配置多个节点，实现镜像的复制和同步，方便在不同地区或部门之间共享镜像。
CI/CD集成：Harbor可以与CI/CD工具集成，如Jenkins、GitLab等，实现自动化构建、测试和部署。

接下来，将演示基于centos7系统演示如何搭建Harbor。

三、Harbor部署

3.1 安装docker compose

由于Harbor在后续对docker镜像管理和操作中，需要进行镜像的编排，需要用到docker compose，因此先安装docker compose。参考下面的步骤进行安装，这里提供了两种方式进行选择。

3.1.1 安装方式一

参照下面的命令执行安装

#获取安装包
sudo curl -L https://get.daocloud.io/docker/compose/releases/download/1.29.2/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose

#授权
chmod +x /usr/local/bin/docker-compose

#创建软连接
ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose

#查看docker-compose版本
docker-compose --version

在实际操作时发现，使用这种方式安装在拉取github的包时会非常慢，下面推荐第二种方式安装。

3.2 基于python3 pip安装docker compose

3.2.1 安装python3

sudo yum install python3

3.2.2 安装python-pip3并升级

yum -y install python3-pip
pip3 install --upgrade pip

3.2.3 执行命令安装 docker-compose

pip3 install docker-compose

3.2.4 查看docker-compose版本

docker-compose --version

最后重启docker

3.3 安装horbor

3.3.1 下载安装包

版本可以自行选择，推荐使用2.x版本的

wget --no-check-certificate https://github.com/goharbor/harbor/releases/download/v2.10.0/harbor-offline-installer-v2.10.0.tgz

3.3.2 解压安装包

3.3.3 修改配置文件

进入解压后的harbor目录，修改 harbor.yml.tmpl 配置文件，注意复制一个配置文件

cp harbor.yml.tmpl harbor.yml

修改hostname:

注释https

后续使用https访问的时候可以再配置，这里演示使用http；

需要关注的其他配置

默认监听端口；
初始化密码；

3.3.4 执行安装

配置修改完成，保存退出之后，直接调用目录下的安装脚本，这个过程可能比较漫长

直到看到下面的信息

补充

如何移除harbor已经安装的容器呢，使用命令：docker-compose down

3.3.5 环境检查

使用docker ps 命令检查一下，可以看到harbor启动了很多个容器

3.3.6 浏览器访问

浏览器访问 IP:80，就来到下面的登录页面，登录账户：admin/Harbor12345

登录之后来到如下控制台主页

界面上的各个菜单的功能有兴趣的同学可以继续深入研究，这里不再过多展开了。

四、Harbor基本使用

4.1 机器准备

为了后面的效果演示，需要准备两台服务器

机器	作用	备注
机器A	部署jenkins，Harbor服务	内存需要大点，上一篇使用该机器部署jenkins
机器B	业务服务器，部署docker镜像使用

4.1.1 配置服务器免登

为了在jenkins配置任务时能够方便的操作远程机器，建议设置下免登，即配置jenkins机器与目标业务服务器的免登授信操作，参考下面的操作步骤

机器A执行下面的命令

ssh-keygen -t rsa

将上一步生成的文件远程拷贝到机器B的相应目录下

cd .ssh
scp ./id_rsa.pub root@B机器公网IP:/root/.ssh/authorized_keys

拷贝完成后，使用ssh命令登录下B机器

4.2 推送镜像到Harbor自定义镜像仓库

4.2.1 创建项目

即创建一个新的仓库，用于管理镜像

创建完成后，列表中多了一条数据

4.2.2 修改docker配置文件

将下面的这行配置添加到docker的daemon.json文件中，找到insecure-registries标签追加即可

cd /etc/docker
vi daemon.json
Harbor部署的服务机器IP:80

加载配置文件并重启docker

systemctl daemon-reload
systemctl restart docker

4.2.3 镜像打标

在上一篇中，我们通过jenkins构建出来了一个springboot工程的镜像

但是如果要将这个镜像直接推送到Harbor仓库还不行，必须要按照Harbor的要求进行命名并重新打标，参考下面的命令执行；

docker tag 996ae7100be7 Harbor服务器地址:80/public/boot-docker:1.0

打完标签之后再次查看镜像，可以发现新的镜像已经显示出来了，细心的同学会发现，它们的镜像名是一样的

4.2.4 推送镜像

登录Harbor

docker login -u admin -p Harbor12345 Harbor机器IP:8085

使用下面的命令，推送镜像到Harbor，这个过程根据网络情况可能有点漫长

docker push 打完tag的镜像名

push完成之后，可以在Harbor的控制台界面，在public项目中就能看到刚刚推上来的镜像了

4.3 jenkins任务集成Harbor

基于上一篇中我们在jenkins中创建的测试任务，我们做一下修改，将构建完成的镜像推送至Harbor的仓库中。

4.3.1 修改jenkins的任务配置

在post steps里面，添加如下的脚本（仅供参考，实际操作时还需要结合自身的机器情况），该脚本主要做了下面几件事：

基于Dockerfile将maven构建出来的jar包制作成docker镜像；
删除之前通过构建的带标签版本号的镜像；
镜像打标签；
登录Harbor；
将打标签的镜像推送到Harbor的仓库（上面创建的public项目仓库）；

#!/usr/bin/env bash
echo '打包完成，开始构建镜像'
#dockerfile:build
docker build -t boot-docker:1.0 .

sleep 10
docker rmi -f 打完tag的镜像

sleep 10
docker tag 原镜像

sleep 10
echo '登录harbor'
docker login -u admin -p Harbor12345 Harbor机器IP:8085

sleep 10
docker push 本次被打完tag的镜像

echo '完成docker镜像推送'

4.3.2 重新执行任务

保存上述配置，重新点击执行任务，等待构建完成即可

构建完成后，检查镜像，可以看到带有2.0标签的镜像就创建出来了

同时在Harbor控制台的public项目下，也能看到上面推送过来的docker镜像

4.4 其他机器获取harbor镜像

另有一台新机器，即上述的B机器，需要从harbor镜像仓库中拉取镜像到自己机器上面部署，该如何实现呢？

4.4.1 A、B机器添加授信

在harbor机器上面的docker配置文件中添加如下配置

保存后重新加载配置,并重启docker

systemctl daemon-reload 
systemctl restart docker

建议在A，B两台机器上均做此配置，避免后面出现其他的错误（后文会提到），简单来说，就是将各自的机器IP配置到 insecure-registries中即可。

4.4.2 删除并重新推送镜像

删除原有的镜像

docker rmi -f c9bc81de8fb3

最后通过jenkins任务或命令重新推送镜像

4.4.3 其他机器获取镜像

现在假设我们登录到了另一台机器，假设为B机器，即上述授信配置中的这台机器，使用docker命令登录harbor

docker login -u admin -p Harbor12345 Harbor部署机器:8085

如果出现下面的错误，表面在B机器的docker配置中，认为从上述的Harbor机器登录是不可信的

遇到这个问题时，需要将Harbor机器的docker配置，拷贝到B机器上来，按照上面同样的方式，修改一下这里的daemon.json配置文件，将Harbor机器的IP信息配置进去

最后加载B机器的docker配置，然后重启docker，再次使用Docker命令登录Harbor仓库，此时就登录进来了

4.4.4 拉取镜像

上一步登录成功后，就可以远程拉取Harbor镜像仓库中的镜像了

docker pull 前面最新打完tag的标签

拉取完成后，使用 docker images命令就能看到上面的那个镜像了，后续就可以使用docker命令直接启动镜像即可。

4.5 使用jenkins任务进行分发镜像

上面使用jenkins任务将构建完的镜像通过打标签，然后push到了Harbor仓库中，接下来需要将这些镜像分发到具体的业务服务器上，该怎么操作呢？参考下面的流程。

4.5.1 配置全局ssh凭证

找到ssh并安装

设置凭证，系统管理 —> 添加凭证—>添加域，自定义一个名称，这里意思是将使用当前的jenkins管理你的B机器

配置凭证

4.5.2 配置ssh连接信息

通过系统管理 -> 全局配置找到 SSH sites 配置的地方，填写下面的信息

配置之后是否可以连接呢？点击右边的 Check connection按钮，如果连接成功，说明配置没问题了，然后保存配置

4.5.3 配置测试任务

创建一个新的任务

进入任务的配置页面，在构建环境中，在Build Steps里，选择下面执行脚本的一项

选择之后，编写测试脚本

保存配置并执行任务，测试成功

编写脚本，将上述最新打标的镜像推送至B机器

echo '在B机器上面执行命令'
echo '准备登录Harbor机器的仓库'

docker login -u admin -p Harbor12345 Harbor机器IP:8085

echo '登录成功，开始拉取镜像'

docker pull 最新tag的镜像

echo '拉取镜像成功'

然后执行，等待镜像的拉取完成即可，如果后续还有其他命令要执行，可以继续再在上述的执行脚本中添加即可。

任务完成之后，登录B机器，检查镜像是否拉取成功，然后就可以基于当前的镜像进行后续的操作了。

五、镜像仓库备选方案

5.1 阿里云镜像仓库

上述关于镜像仓库的选择，我们使用的是Harbor作为解决方案进行说明，事实上，关于企业应用的镜像仓库，很多云厂商也提供了解决方案，像阿里云，如果你购买了阿里云的云服务器，可以直接免费使用阿里云提供的镜像仓库作为你的镜像托管中心，这个在另一篇文章中有详细的说明，可以参考：k8s部署springboot项目，网上的资料也比较多，这也是一种比较成熟的解决方案。