目录
- 一、项目概述
- 二、环境
- 三、部署流程
- 3.1 Harbor部署
- 3.1.1 docker安装
- 3.1.2 docker-compose安装
- 3.1.3 安装证书
- 3.1.4 Harbor下载配置安装
- 3.2 NFS存储搭建
- 3.3 Rancher平台配置
- 3.3.1 NFS存储相关配置
- 3.3.2 Harbor相关配置
- 3.3.3 Nacos部署及相关配置
- 3.3.4 工作负载deployment配置
- 3.3.5 Eureka配置
- 四、总结
一、项目概述
Spring-boot的项目通过Rancher6.3部署，Nacos作为配置中心，Rureka作为注册中心，Harbor作为镜像仓库，采用NFS服务器进行数据卷存储。
本章节文章实施前提是你部署完K8S环境的情况下，如果没有准备环境，参考前一章节
二、环境
| 机器名 | IP地址 | 部署内容 | 备注 |
|---|---|---|---|
| k8smaster | 172.16.5.222 | Control Plane、Etcd | centos7.9 |
| k8sworker01 | 172.16.5.223 | Worker | centos7.9 |
| k8sworker02 | $12172.16.5.224 | Worker | centos7.9 |
| k8sworker03 | 172.16.5.225 | Worker | centos7.9 |
| harbor | 172.16.5.226 | Harbor 、NFS | centos7.9 |
| rancher | 172.16.5.221 | Rancher | centos7.9 |
三、部署流程
3.1 Harbor部署
3.1.1 docker安装
#docker安装
yum install -y yum-utils
# 添加yum源,这里添加的是阿里云的yum源
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
# 查看docker版本
yum list docker-ce --showduplicates | sort -r
# 您可以选择其他版本
yum -y install docker-ce-20.10.12-3.el7
# 设置国内镜像加速，你也可以用自己的仓库镜像，这里是我申请的阿里云个人加速镜像
mkdir -p /etc/docker
tee /etc/docker/daemon.json <<-'EOF'
{
"registry-mirrors": ["https://fuchp8pk.mirror.aliyuncs.com"]
}
EOF
# 导入镜像设置
systemctl daemon-reload
# 启动docker
systemctl restart docker
# 设置docker开机启动
systemctl enable docker
3.1.2 docker-compose安装
GitHub的docker-compose下载地址：https://github.com/docker/compose/releases，github.com网站无法访问自行百度，最好从github上面下载文件，其他地方下载的docker-compose可能有问题。
#docker-compose安装
curl -L "https://github.com/docker/compose/releases/download/2.3.4/docker-compose-$(uname -s)-$(uname -m)" -o/usr/local/bin/docker-compose
#授权
chmod +x /usr/local/bin/docker-compose
#测试
docker-compose --version
3.1.3 安装证书
#先创建一个存放证书的目录
mkdir -p /opt/harbor/cert && cd /opt/harbor/cert
#生成CA证书私钥
openssl genrsa -out ca.key 4096
#生成CA证书
openssl req -x509 -new -nodes -sha512 -days 3650 \
-subj "/C=CN/ST=Guangdong/L=Beijing/O=loongstudio/OU=loongstudio/CN=harbor.newcapec.com" \
-key ca.key \
-out ca.crt
#生成服务器证书
#生成私钥
openssl genrsa -out harbor.newcapec.com.key 4096
#生成带签名的证书CSR
openssl req -sha512 -new \
-subj "/C=CN/ST=Guangdong/L=Beijing/O=loongstudio/OU=loongstudio/CN=harbor.newcapec.com" \
-key harbor.newcapec.com.key \
-out harbor.newcapec.com.csr
#生成x509 v3扩展文件
cat > v3.ext <<-EOF
authorityKeyIdentifier=keyid,issuer
basicConstraints=CA:FALSE
keyUsage = digitalSignature, nonRepudiation, keyEncipherment, dataEncipherment
extendedKeyUsage = serverAuth
subjectAltName = @alt_names
[alt_names]
DNS.1=harbor.newcapec.com
DNS.2=harbor.newcapec
DNS.3=k8s-main
EOF
#使用v3.txt为harbor主机生成证书
openssl x509 -req -sha512 -days 3650 \
-extfile v3.ext \
-CA ca.crt -CAkey ca.key -CAcreateserial \
-in harbor.newcapec.com.csr \
-out harbor.newcapec.com.crt
#拷贝服务器证书与密钥到证书文件夹
mkdir -p /data/cert/
cp harbor.newcapec.com.crt /data/cert/
cp harbor.newcapec.com.key /data/cert/
#将harbor.newcapec.com.crt转换为harbor.newcapec.com.cert，以供Docker使用
openssl x509 -inform PEM -in hub.loongstudio.com.crt -out harbor.newcapec.com.cert
#将服务器证书、密钥和CA文件复制到Docker证书文件夹中
mkdir -pv /etc/docker/certs.d/harbor.newcapec.com/
cp harbor.newcapec.com.cert /etc/docker/certs.d/harbor.newcapec.com/
cp harbor.newcapec.com.key /etc/docker/certs.d/harbor.newcapec.com/
cp ca.crt /etc/docker/certs.d/harbor.newcapec.com/
#重启docker
systemctl daemon-reload && systemctl restart docker
3.1.4 Harbor下载配置安装
#下载harbor
wget https://github.com/goharbor/harbor/releases/download/v2.6.1/harbor-offline-installer-v2.6.1.tgz
#解压
tar -zxvf harbor-offline-installer-v2.6.1.tgz
- 修改Harbor.yml配置文件、安装包里面原本文件不是这个，需要修改名称，
hostname填写你的域名或者ip地址，如果是域名，需要访问Harbor平台的机器都需要修改hosts文件。
#生成配置文件，安装harbor
bash prepare
bash install.sh
#查看运行服务
docker-compose ps
#启动docker-compose
docker-compose up -d
#停止docker-compose
docker-compose down
- 修改docker的配置文件/etc/docker/daemon.json，每个工作节点docker配置文件都需要修改，不然无法正常从Harbor拉取镜像。
"insecure-registries": ["harbor.newcapec.com","0.0.0.0","172.16.5.226"]
- 测试harbor，去工作节点登录harbor
docker login harbor.newcapec.com
3.2 NFS存储搭建
#安装nfs软件包
yum install -y rpcbind nfs-utils
#将挂载目录写入文件，可以自定义目录
echo '/opt/k8s/nfs *(insecure,rw,sync,no_root_squash)' >> /etc/exports
# 创建共享目录，如果要使用自己的目录，请替换本文档中所有的 /data/nfs
mkdir /data/nfs
systemctl enable rpcbind
systemctl enable nfs-server
systemctl start rpcbind
systemctl start nfs-server
exportfs -r
#每个工作节点需要
#安装nfs软件包
yum install -y nfs-utils
#nfs ip 工作节点测试
showmount -e 172.16.5.226
3.3 Rancher平台配置
3.3.1 NFS存储相关配置
- 创建StorageClasses存储类
- 创建持久性卷声明 PersistentVolumeClaims (NFS)
- 创建持久卷 PersistentVolumes (NFS)
3.3.2 Harbor相关配置
- 配置Harbor连接密文
3.3.3 Nacos部署及相关配置
- 配置bootstrap.properties
微服务连接Nacos使用bootstrap.properties文件来配置，在微服务里面bootstrap.properties的优先级很高
spring.application.name=core
spring.profiles.active=prod
spring.cloud.nacos.config.file-extension=properties
spring.cloud.nacos.config.server-addr=nacos:8848
3.3.4 工作负载deployment配置
部署spring-boot微服务的工作负债需要新建立pvc存储卷，配置映射bootstrap.properties里面配置连接Nacos相关参数，可以参考上面Nacos工作负载的相关配置。
3.3.5 Eureka配置
四、总结
本次部署在测试环境，整体流程是生产环境基本所有的配置项，使用k8s环境进行部署项目，目前基本都是使用一个集群管理平台Rancher或者Kuboard、Dashboard，spring-boot项目配置文件使用Nacos来存储配置，方便后期维护升级等，Eureka作为spring项目的注册中心，NFS作为存储，一般用来存放微服务日志，还有一些需要持久化存储的文件。
