目录
一、实验
1.环境
2.K8S storage节点部署NFS
3.K8S 动态创建PV
4.K8S master节点部署HELM3
4.K8S master节点部署Minio存储服务(第一种方式安装)
5.Minio客户端安装MC命令
6.K8S master节点使用Docker 部署Minio存储服务(第二种方式安装)
二、问题
1.K8S无法删除pv,pvc问题
2.minio 部署模式有哪些
3.pod Readiness探针与Liveness探针失败
4. 添加 MinIO服务失败
5.docker创建容器失败
6.K8S如何快速创建Minio存储
一、实验
1.环境
(1)主机
表1 主机
主机 | 架构 | 版本 | IP | 备注 |
master1 | K8S master节点 | 1.20.6 | 192.168.204.180 | |
node1 | K8S node节点 | 1.20.6 | 192.168.204.181 | |
node2 | K8S node节点 | 1.20.6 | 192.168.204.182 | |
stor01 | nfs存储节点 | 192.168.204.177 |
(2)查看集群状态
2.K8S storage节点部署NFS
(1)安装配置nfs服务
#在stor01(192.168.204.183)节点上安装nfs,并配置nfs服务
mkdir /opt/k8s
chmod 777 /opt/k8s/
yum -y install nfs-utils rpcbind
#给204网段用户赋予读写权限、同步内容、不压缩共享对象root用户权限
vim /etc/exports
/opt/k8s 192.168.204.0/24(rw,sync,no_root_squash)
#首次安装
systemctl start rpcbind nfs
#非首次安装
systemctl restart rpcbind
systemctl restart nfs
#监听服务
ss -antp | grep rpcbind
#查看共享
exportfs -arv
showmount -e
#所有节点配置hosts映射,或者配置DNS解析
echo '192.168.204.177 stor01' >> /etc/hosts
在stor01(192.168.204.177)节点上安装nfs,并配置nfs服务
安装
配置文件
重启服务
监听服务
查看共享目录
(2)查看域名
vim /etc/hosts
3.K8S 动态创建PV
(1) 创建 Service Account,用来管理 NFS-Subdir-External-Provisioner 在 k8s 集群中运行的权限,设置 nfs-client 对 PV,PVC,StorageClass 等的规则
编写资源清单文件
vim nfs-rbac.yaml
apiVersion: v1
kind: ServiceAccount
metadata:
name: nfs-client-provisioner
namespace: default # 替换成你要部署的 Namespace
---
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
name: nfs-client-provisioner-runner
rules:
- apiGroups: [""]
resources: ["persistentvolumes"]
verbs: ["get", "list", "watch", "create", "delete"]
- apiGroups: [""]
resources: ["persistentvolumeclaims"]
verbs: ["get", "list", "watch", "update"]
- apiGroups: ["storage.k8s.io"]
resources: ["storageclasses"]
verbs: ["get", "list", "watch"]
- apiGroups: [""]
resources: ["events"]
verbs: ["create", "update", "patch"]
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
name: run-nfs-client-provisioner
subjects:
- kind: ServiceAccount
name: nfs-client-provisioner
namespace: default
roleRef:
kind: ClusterRole
name: nfs-client-provisioner-runner
apiGroup: rbac.authorization.k8s.io
---
kind: Role
apiVersion: rbac.authorization.k8s.io/v1
metadata:
name: leader-locking-nfs-client-provisioner
namespace: default
rules:
- apiGroups: [""]
resources: ["endpoints"]
verbs: ["get", "list", "watch", "create", "update", "patch"]
---
kind: RoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
name: leader-locking-nfs-client-provisioner
namespace: default
subjects:
- kind: ServiceAccount
name: nfs-client-provisioner
namespace: default
roleRef:
kind: Role
name: leader-locking-nfs-client-provisioner
apiGroup: rbac.authorization.k8s.io
生成资源
kubectl apply -f nfs-rbac.yaml
再次查看sa
kubectl get sa
(3)使用 Deployment 来部署 NFS-Subdir-External-Provisioner
NFS Provisione(即 nfs-client),有两个功能:一个是在 NFS 共享目录下创建挂载点(volume),另一个则是将 PV 与 NFS 的挂载点建立关联。
vim nfs-provisioner-deploy.yaml
apiVersion: apps/v1
kind: Deployment
metadata:
name: nfs-client-provisioner
labels:
app: nfs-client-provisioner
spec:
replicas: 1
strategy:
type: Recreate ## 设置升级策略为删除再创建(默认为滚动更新)
selector:
matchLabels:
app: nfs-client-provisioner
template:
metadata:
labels:
app: nfs-client-provisioner
spec:
serviceAccountName: nfs-client-provisioner
containers:
- name: nfs-client-provisioner
#image: gcr.io/k8s-staging-sig-storage/nfs-subdir-external-provisioner:v4.0.0
image: registry.cn-beijing.aliyuncs.com/xngczl/nfs-subdir-external-provisione:v4.0.0
volumeMounts:
- name: nfs-client-root
mountPath: /persistentvolumes
env:
- name: PROVISIONER_NAME ## Provisioner的名称,以后设置的storageclass要和这个保持一致
value: nfs-client
- name: NFS_SERVER ## NFS服务器地址,需和valumes参数中配置的保持一致
value: stor01
- name: NFS_PATH ## NFS服务器数据存储目录,需和valumes参数中配置的保持一致
value: /opt/k8s
volumes:
- name: nfs-client-root
nfs:
server: stor01 ## NFS服务器地址
path: /opt/k8s ## NFS服务器数据存储目录
kubectl apply -f nfs-provisioner-deploy.yaml
(5)创建 StorageClass,负责建立 PVC 并调用 NFS-Subdir-External-Provisioner进行预定的工作,并让 PV 与 PVC 建立关联,声明 NFS 动态卷提供者名称为 “nfs-storage”。
vim nfs-storage.yaml
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: nfs-storage
annotations:
storageclass.kubernetes.io/is-default-class: "false" ## 是否设置为默认的storageclass
provisioner: nfs-client ## 动态卷分配者名称,必须和上面创建的"provisioner"变量中设置的Name一致
parameters:
archiveOnDelete: "true" ## 设置为"false"时删除PVC不会保留数据,"true"则保留数据
mountOptions:
- hard ## 指定为硬挂载方式
- nfsvers=4 ## 指定NFS版本,这个需要根据NFS Server版本号设置
kubectl apply -f nfs-storage.yaml
4.K8S master节点部署HELM3
(1)Helm版本与K8S集群兼容
Helm | Helm版本支持策略
(2)查看K8S集群状态
# kubectl get node
(3)策略
当前K8S 集群为1.20.6版本,选择HELM 3.8.1 版本。
(4)部署
1)安装 helm
//下载二进制 Helm client 安装包
wget https://get.helm.sh/helm-v3.8.1-linux-amd64.tar.gz
tar -zxvf helm-v3.8.1-linux-amd64.tar.gz
mv linux-amd64/helm /usr/local/bin/helm
helm version
//命令补全
source <(helm completion bash)
2)使用 helm 安装 Chart
//添加常用的 chart 仓库,
helm repo add bitnami https://charts.bitnami.com/bitnami
helm repo add aliyun https://kubernetes.oss-cn-hangzhou.aliyuncs.com/charts
3) 更新 charts 列表
helm repo update
helm repo list
安装
使用 helm 安装 Chart
4.K8S master节点部署Minio存储服务(第一种方式安装)
(1)Minio官方文档
minio 13.4.2 · bitnami/bitnami (artifacthub.io)
(2)获取最新minio charts
1)查询 minio 资源
helm search repo minio
2)创建目录
mkdir -p /root/minio/ && cd /root/minio/
3)拉取 chart 到本地目录
第一种方式:
helm fetch bitnami/minio --version 13.3.3
第二种方式
helm pull bitnami/minio --version 13.3.3
4)解压
tar -zxvf minio-13.3.3.tgz
cp minio/values.yaml ./values-test.yaml
5)查看当前目录层级
tree -L 2
.
├── minio
│ ├── Chart.lock
│ ├── charts
│ ├── Chart.yaml
│ ├── README.md
│ ├── templates
│ └── values.yaml
├── minio-13.3.3.tgz
└── values-test.yaml
查询
拉取解压
查看目录
(3)查看集群 storageclasses
kubectl get storageclasses.storage.k8s.io
(4)修改配置文件
vim values-test.yaml
(5)安装minio集群
helm install minio minio -f values-test.yaml
-n 指定 kubernetes 集群名称空间
-f 指定使用的配置文件,文件中定义的配置可以覆盖 minio/values.yaml 文件中配置
NAME: minio
LAST DEPLOYED: Thu Feb 8 09:03:41 2024
NAMESPACE: default
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
CHART NAME: minio
CHART VERSION: 13.3.3
APP VERSION: 2024.1.31
** Please be patient while the chart is being deployed **
MinIO® can be accessed via port on the following DNS name from within your cluster:
minio.default.svc.cluster.local
To get your credentials run:
export ROOT_USER=$(kubectl get secret --namespace default minio -o jsonpath="{.data.root-user}" | base64 -d)
export ROOT_PASSWORD=$(kubectl get secret --namespace default minio -o jsonpath="{.data.root-password}" | base64 -d)
To connect to your MinIO® server using a client:
- Run a MinIO® Client pod and append the desired command (e.g. 'admin info'):
kubectl run --namespace default minio-client \
--rm --tty -i --restart='Never' \
--env MINIO_SERVER_ROOT_USER=$ROOT_USER \
--env MINIO_SERVER_ROOT_PASSWORD=$ROOT_PASSWORD \
--env MINIO_SERVER_HOST=minio \
--image docker.io/bitnami/minio-client:2024.1.31-debian-11-r1 -- admin info minio
To access the MinIO® web UI:
- Get the MinIO® URL:
echo "MinIO® web URL: http://127.0.0.1:9001/minio"
kubectl port-forward --namespace default svc/minio 9001:9001
(6) 查看
helm list
kubectl get deploy
kubectl get pod
kubectl get pod -o wide
(7) 查看pv与pvc
kubectl get pv
kubectl get pvc
(8)NFS 查看卷
ls
ls | grep minio
5.Minio客户端安装MC命令
(1)下载
wget https://dl.min.io/client/mc/release/linux-amd64/mc
(2)安装
chmod a+x mc
mv mc /usr/local/bin/
mc --version
(3) 配置访问minio
mc config host add minio http://10.99.219.173:9000 minio minio123 --api S3v4
# 查看配置,不同 mc 版本,以下内容输出可能不一定完全相同
mc config host list
gcs
URL : https://storage.googleapis.com
AccessKey : YOUR-ACCESS-KEY-HERE
SecretKey : YOUR-SECRET-KEY-HERE
API : S3v2
Path : dns
local
URL : http://localhost:9000
AccessKey :
SecretKey :
API :
Path : auto
minio
URL : http://10.99.219.173:9000
AccessKey : minio
SecretKey : minio123
API : S3v4
Path : auto
play
URL : https://play.min.io
AccessKey : Q3AM3UQ867SPQQA43P2F
SecretKey : zuf+tfteSlswRu7BJ86wekitnifILbZam1KYY3TG
API : S3v4
Path : auto
s3
URL : https://s3.amazonaws.com
AccessKey : YOUR-ACCESS-KEY-HERE
SecretKey : YOUR-SECRET-KEY-HERE
API : S3v4
Path : dns
6.K8S master节点使用Docker 部署Minio存储服务(第二种方式安装)
(1)docker 命令去安装稳定版本的 minio
docker pull minio/minio
(2)创建存放数据的目录
# 一个用来存放配置,一个用来存储上传文件的目录
# 启动前需要先创建Minio外部挂载的配置文件( /rootconfig),和存储上传文件的目录( /root/data)
mkdir -p /root/data
mkdir -p /root/config
(3) 创建Minio容器并运行(多行模式)
# 9090端口指的是minio的客户端端口
# MINIO_ACCESS_KEY :账号
# MINIO_SECRET_KEY :密码(账号长度必须大于等于5,密码长度必须大于等于8位)
docker run -p 9000:9000 -p 9090:9090 \
--net=host \
--name minio \
-d --restart=always \
-e "MINIO_ACCESS_KEY=minioadmin" \
-e "MINIO_SECRET_KEY=minioadmin" \
-v /root/data:/data \
-v /root/config:/root/.minio \
minio/minio server \
/data --console-address ":9090" -address ":9000"
(4)另一种方式创建Minio容器并运行(单行模式)
docker run -p 9000:9000 -p 9090:9090 --net=host --name minio -d --restart=always -e "MINIO_ACCESS_KEY=minioadmin" -e "MINIO_SECRET_KEY=minioadmin" -v /root/data:/data -v /root/config:/root/.minio minio/minio server /data --console-address ":9090" -address ":9000"
(5)查看docker进程
docker ps | grep minio
(6)登录
http://192.168.204.180:9090/login
进入系统
(7)创建用户
填写信息
(8)完成创建
(9)创建组
(10)创建accessKey和secretKey
查看
(11)创建Bucket
查看
(12)上传文件
查看
二、问题
1.K8S无法删除pv,pvc问题
(1)报错
error: resource(s) were provided, but no name was specified
(2)原因分析
删除顺序不对。
(3)解决方法
正确的删除顺序:
1)先删除pod
helm -n devops uninstall minio(项目名称)
2)解除pv绑定
kubectl patch pv pvname(pv名称) -p '{"metadata":{"finalizers":null}}'
3)解除pvc绑定
kubectl patch pvc pvcname(pvc名称) -p '{"metadata":{"finalizers":null}}'
4) 删除pv
kubectl delete pv pvname(pv名称) -n devops
5) 删除pvc
kubectl delete pvc pvname(pvc名称) -n devops
2.minio 部署模式有哪些
(1)模式
1)standalone
独立模式下,服务部署数量为1个
3)distributed
分别模式下,服务部署数量,必须大于4个
(2)standalone模式
创建(服务部署数量为1个)
(3)distributed模式
创建 (服务部署数量为4个)
3.pod Readiness探针与Liveness探针失败
(1)报错
通过yaml文件创建pod时,执行完yaml文件,过一会就开始报错说Back-off restarting failed container
。
查看pod状态一致处于CrashLoopBackOff
kubectl get pod
kubectl describe pod minio-9c678d65c-45js9
(2)原因分析
Back-off restarting failed container的Warning事件,一般是由于通过指定的镜像启动容器后,容器内部没有常驻进程,导致容器启动成功后即退出,从而进行了持续的重启。
(3)解决方法
如果是通过yaml文件创建的pod,找到对应的deployment,增加命令command: ["/bin/bash", "-ce", "tail -f /dev/null"]
kubectl edit deploy
4. 添加 MinIO服务失败
(1)报错
(2)原因分析
端口不能漏,–api不能漏
(3)解决方法
连接
mc config host add minio http://10.99.219.173:9000 minio minio123 --api S3v4
如需删除
mc config host remove minio
5.docker创建容器失败
(1)报错
(2)原因分析
容器名称重复
(3)解决方法
查看
docker ps -a
删除
docker rm -f a17f4299e7bd
成功:
docker run -p 9000:9000 --name minio -v /root/data:/data -v /root/config:/root/.minio minio/minio server /data
6.K8S如何快速创建Minio存储
(1)官方文档
MinIO Object Storage for Kubernetes — MinIO Object Storage for Kubernetes
(2)下载 MinIO 对象
curl https://raw.githubusercontent.com/minio/docs/master/source/extra/examples/minio-dev.yaml -O
(3)应用 MinIO 对象定义
kubectl apply -f minio-dev.yaml
命令输出应如下所示:
namespace/minio-dev created
pod/minio created
(4)验证 Pod 的状态
kubectl get pods -n minio-dev
(5)检索有关 Pod 状态的详细信息
kubectl describe pod/minio -n minio-dev
kubectl logs pod/minio -n minio-dev
(6)临时访问 MinIO S3 API 和控制台
使用以下命令将流量从 MinIO Pod 临时转发到本地计算机
#该命令在 shell 中处于活动状态时,将 pod 端口转发到本地计算机上的匹配端口。 该命令仅在 shell 会话中处于活动状态时起作用。 终止会话将关闭本地计算机上的端口。
#要配置对 Pod 的长期访问,需要在 Kubernetes 中配置 Ingress 或类似的网络控制组件,以路由进出 Pod 的流量。
kubectl port-forward pod/minio 9000 9090 -n minio-dev
(7)浏览器连接到 MinIO 服务器
通过在本地计算机上打开浏览器并导航到 来访问 MinIO 控制台。http://127.0.0.1:9001
使用凭据 登录控制台。 这些是默认的 root 用户凭证。minioadmin | minioadmin
(8)连接 MinIO 客户端
如果本地计算机已安装mc,请使用以下命令进行身份验证并连接到 MinIO 部署
mc alias set k8s-minio-dev http://127.0.0.1:9000 minioadmin minioadmin
mc admin info k8s-minio-dev