目录
- 一、为什么要存储卷?
- 二、emptyDir存储卷
- 三、hostPath存储卷
- 四、 nfs共享存储卷
- 五、PVC 和 PV
- 5.1 PV和PVC之间的相互作用遵循的生命周期
- 5.2 PV 的状态
- 5.3 一个PV从创建到销毁的具体流程
- 六、静态创建pv和pvc资源由pod运用过程
- 6.1 在NFS主机上创建共享目录,并且进行exportfs发布
- 6.2 在master主机编写pv资源创建yaml
- 6.3 创建pvc资源,并且设置匹配绑定相应的pv
- 6.4 挂载共享卷,并且进行共享目录写入测试
- 6.5 K8S支持的存储卷的访问模式
- 七、StorageClass + nfs-client-provisioner搭建动态创建pv
- 7.1 在NFS服务器配置nfs服务
- 7.2 创建 Service Account,用来管理 NFS Provisioner 在 k8s 集群中运行的权限和动态规则
- 7.3 创建 StorageClass,负责建立 PVC 并调用 NFS provisioner 进行预定的工作,并让 PV 与 PVC 建立关联
- 7.4 挂载共享卷,并且进行共享目录写入测试
- 八、 总结
一、为什么要存储卷?
容器磁盘上的文件的生命周期是短暂的,这就使得在容器中运行重要应用时会出现一些问题。首先,当容器崩溃时,kubelet 会重启它,但是容器中的文件将丢失——容器以干净的状态(镜像最初的状态)重新启动。其次,在Pod中同时运行多个容器时,这些容器之间通常需要共享文件。Kubernetes 中的Volume抽象就很好的解决了这些问题。Pod中的容器通过Pause容器共享Volume。
二、emptyDir存储卷
当Pod被分配给节点时,首先创建emptyDir卷,并且只要该Pod在该节点上运行,该卷就会存在。正如卷的名字所述,它最初是空的。Pod 中的容器可以读取和写入emptyDir卷中的相同文件,尽管该卷可以挂载到每个容器中的相同或不同路径上。当出于任何原因从节点中删除 Pod 时,emptyDir中的数据将被永久删除。
emptyDir可实现Pod中的容器之间共享目录数据,但是emptyDir卷不能持久化数据,会随着Pod生命周期结束而一起删除。
//创建一个模板文件
mkdir /opt/volumes
cd /opt/volumes
kubectl run myapp-demo --image=soscscs/myapp:v1 --port=80 --dry-run=client -o yaml > myapp-demo.yaml
vim myapp-demo.yaml
apiVersion: v1
kind: Pod
metadata:
labels:
run: myapp-demo
name: myapp-demo
spec:
containers:
- image: soscscs/myapp:v1
name: myapp-demo
ports:
- containerPort: 80
cp myapp-demo.yaml demo1-emptydir.yaml
vim demo1-emptydir.yaml
apiVersion: v1
kind: Pod
metadata:
labels:
run: myapp-demo
name: myapp-empty
spec:
volumes:
- name: test-vol
emptyDir: {}
containers:
- image: soscscs/myapp:v1
name: myapp-demo
ports:
- containerPort: 80
volumeMounts:
- name: test-vol
mountPath: /var/www/
- image: busybox:1.28
name: busybox-demo
ports:
- containerPort: 80
command: ['/bin/sh','-c','sleep 3600']
volumeMounts:
- name: test-vol
mountPath: /data/
kubectl describe pod myapp-empty
kubectl exec -it myapp-empty -c myapp-demo sh
//再另外开一个进程
kubectl exec -it myapp-empty -c busybox-demo sh
三、hostPath存储卷
hostPath卷将 node 节点的文件系统中的文件或目录挂载到集群中。
hostPath可以实现持久存储,但是在node节点故障时,也会导致数据的丢失。
把Node节点上的目录/文件挂载到容器中,可实现持久化数据存储。但是存储空间会受到Node节点的单机限制,Node节点故障数据就会丢失,且Pod不能实现跨节点共享数据
https://kubernetes.io/docs/concepts/storage/volumes#hostpath
cp myapp-demo.yaml demo2-hostpath.yaml
vim demo2-hostpath.yaml
apiVersion: v1
kind: Pod
metadata:
labels:
run: myapp-demo
name: myapp-demo
spec:
volumes:
- name: hostpath-vol
hostPath:
path: /var/www/html/
type: DirectoryOrCreate
nodeSelector:
test: b
containers:
- image: soscscs/myapp:v1
name: myapp-demo
ports:
- containerPort: 80
volumeMounts:
- name: hostpath-vol
mountPath: /usr/share/nginx/html/
readOnly: false
kubectl apply -f demo2-hostpath.yaml
kubectl get pods -o wide
//进入容器
kubectl exec -it myapp-demo sh
在创建Pod时,node02节点的目录会自动挂载到容器的目录上
四、 nfs共享存储卷
另开一台节点上安装nfs,并配置nfs服务
//在master节点部署
cp myapp-demo.yaml demo3.nfs.yaml
vim demo3.nfs.yaml
apiVersion: v1
kind: Pod
metadata:
labels:
run: myapp-demo3
name: myapp-demo3
spec:
volumes:
- name: test-nfs
nfs:
path: /opt/share
server: 192.168.154.13
containers:
- image: soscscs/myapp:v1
name: myapp-demo
ports:
- containerPort: 80
volumeMounts:
- name: test-nfs
mountPath: /usr/share/nginx/html
kubectl apply -f demo3.nfs.yaml
kubectl get pods -owide
vim demo3.nfs.yaml
apiVersion: v1
kind: Pod
metadata:
labels:
run: myapp-demo3
name: myapp-demo4
spec:
nodeName: node02
volumes:
- name: test-nfs
nfs:
path: /opt/share
server: 192.168.154.13
containers:
- image: soscscs/myapp:v1
name: myapp-demo
ports:
- containerPort: 80
volumeMounts:
- name: test-nfs
mountPath: /usr/share/nginx/html
kubectl apply -f demo3.nfs.yaml
kubectl get pods -owide
kubectl exec -it myapp-demo3 sh
cd /usr/share/nginx/html/
kubectl exec -it myapp-demo4 sh
cd /usr/share/nginx/html/
五、PVC 和 PV
PV 全称叫做 Persistent Volume,持久化存储卷。它是用来描述或者说用来定义一个存储卷的,这个通常都是由运维工程师来定义。
PVC 的全称是 Persistent Volume Claim,是持久化存储的请求。它是用来描述希望使用什么样的或者说是满足什么条件的 PV 存储。
PVC 的使用逻辑:在 Pod 中定义一个存储卷(该存储卷类型为 PVC),定义的时候直接指定大小,PVC 必须与对应的 PV 建立关系,PVC 会根据配置的定义去 PV 申请,而 PV 是由存储空间创建出来的。PV 和 PVC 是 Kubernetes 抽象出来的一种存储资源。
一个PV可以个一个或多个POD使用,PV是k8s集群里专用的存储资源,是逻辑划分存储设备空间的资源对象。存储资源要提供存储空间给存储资源使用,不能凭空出现
真正提供存储空间的是存储设备,如硬盘挂载的目录,nfs共享的目录,ceph分布式存储等
我们作为K8S集群管理员,可以在K8S集群中创建PV,再从存储设备划分存储空间给PV
然后我的POD想引用哪个PV,得先定义一个PVC,用来描述希望使用什么样的或者说是满足什么条件的 PV 存储,比如多大存储空间,是专用,是一对一,还是一对多
POD会根据PVC去找符合条件的PV进行绑定,最后给POD挂载使用
上面介绍的PV和PVC模式是需要运维人员先创建好PV,然后开发人员定义好PVC进行一对一的Bond,但是如果PVC请求成千上万,那么就需要创建成千上万的PV,对于运维人员来说维护成本很高,Kubernetes提供一种自动创建PV的机制,叫StorageClass
,它的作用就是创建PV的模板。
创建 StorageClass 需要定义 PV 的属性,比如存储类型、大小等;另外创建这种 PV 需要用到的存储插件,比如 Ceph 等。 有了这两部分信息,Kubernetes 就能够根据用户提交的 PVC,找到对应的 StorageClass,然后 Kubernetes 就会调用 StorageClass 声明的存储插件,自动创建需要的 PV 并进行绑定。
动态创建PV
怎样动态创建PV?
使用StorageClass 引用某一存储设备的存储卷插件,通过调用存储卷插件去到存储设备中动态创建符合PVC需求的存储资源,然后PV和PVC进行绑定,这样Pod就可以使用PV的存储空间
PV是集群中的资源。 PVC是对这些资源的请求,也是对资源的索引检查。
5.1 PV和PVC之间的相互作用遵循的生命周期
PV和PVC之间的相互作用遵循这个生命周期:
Provisioning(配置)—> Binding(绑定)—> Using(使用)—> Releasing(释放) —> Recycling(回收)
●Provisioning
,即 PV 的创建,可以直接创建 PV(静态方式),也可以使用 StorageClass 动态创建
●Binding
,将 PV 分配给 PVC
●Using
,Pod 通过 PVC 使用该 Volume,并可以通过准入控制StorageProtection(1.9及以前版本为PVCProtection) 阻止删除正在使用的 PVC
●Releasing
,Pod 释放 Volume 并删除 PVC
●Reclaiming
,回收 PV,可以保留 PV 以便下次使用,也可以直接从云存储中删除
5.2 PV 的状态
根据这 5 个阶段,PV 的状态有以下 4 种:
●Available(可用):表示可用状态,还未被任何 PVC 绑定
●Bound(已绑定):表示 PV 已经绑定到 PVC
●Released(已释放):表示 PVC 被删掉,但是资源尚未被集群回收
●Failed(失败):表示该 PV 的自动回收失败
5.3 一个PV从创建到销毁的具体流程
1、一个PV创建完后状态会变成Available,等待被PVC绑定。
2、一旦被PVC邦定,PV的状态会变成Bound,就可以被定义了相应PVC的Pod使用。
3、Pod使用完后会释放PV,PV的状态变成Released。
4、变成Released的PV会根据定义的回收策略做相应的回收工作。有三种回收策略,Retain、Delete和Recycle。Retain就是保留现场,K8S集群什么也不做,等待用户手动去处理PV里的数据,处理完后,再手动删除PV。Delete策略,K8S会自动删除该PV及里面的数据。Recycle方式,K8S会将PV里的数据删除,然后把PV的状态变成Available,又可以被新的PVC绑定使用。
六、静态创建pv和pvc资源由pod运用过程
如图所示我们将选择一台k8s集群之外的服务器作为NFS共享存储服务器,并且按照图中的规格
创建pv,再由k8s集群创建pv资源和pvc资源,最后将其挂载在pod上进行使用
6.1 在NFS主机上创建共享目录,并且进行exportfs发布
mkdir -p /opt/k8s/v{1..5}
ls -R k8s/
vim /etc/exports
systemctl status nfs
exportfs -arv
//其他两个node节点能不能看到
showmount -e 192.168.154.13
6.2 在master主机编写pv资源创建yaml
访问模式有:
ReadWriteOnce
卷可以被一个节点以读写方式挂载。 ReadWriteOnce 访问模式也允许运行在同一节点上的多个 Pod 访问卷。ReadOnlyMany
卷可以被多个节点以只读方式挂载。ReadWriteMany
卷可以被多个节点以读写方式挂载。
//在master主机编写pv资源创建yaml
mkdir pv
cd pv/
vim pv1.yaml
apiVersion: v1
kind: PersistentVolume
metadata:
name: pv001
spec:
accessModes:
- ReadWriteOnce
- ReadWriteMany
capacity:
storage: 1Gi
nfs:
path: /opt/k8s/v1
server: 192.168.154.13
---
apiVersion: v1
kind: PersistentVolume
metadata:
name: pv002
spec:
accessModes:
- ReadWriteOnce
capacity:
storage: 2Gi
nfs:
path: /opt/k8s/v2
server: 192.168.154.13
---
apiVersion: v1
kind: PersistentVolume
metadata:
name: pv003
spec:
accessModes:
- ReadWriteOnce
- ReadWriteMany
capacity:
storage: 2Gi
nfs:
path: /opt/k8s/v3
server: 192.168.154.13
---
apiVersion: v1
kind: PersistentVolume
metadata:
name: pv004
spec:
accessModes:
- ReadWriteOnce
- ReadWriteMany
capacity:
storage: 4Gi
nfs:
path: /opt/k8s/v4
server: 192.168.154.13
---
apiVersion: v1
kind: PersistentVolume
metadata:
name: pv005
spec:
accessModes:
- ReadWriteOnce
- ReadWriteMany
capacity:
storage: 5Gi
nfs:
path: /opt/k8s/v1
server: 192.168.154.13
kubectl apply -f pv1.yaml
kubectl get pv
6.3 创建pvc资源,并且设置匹配绑定相应的pv
https://kubernetes.io/docs/concepts/storage/persistent-volumes#persistentvolumeclaims
vim pvc1.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: mypvc01
spec:
accessModes:
- ReadWriteMany
resources:
requests:
storage: 2Gi
6.4 挂载共享卷,并且进行共享目录写入测试
kubectl run myapp-demo --image=soscscs/myapp:v1 --port=80 --dry-run=client -oyaml > myapp-demo.yaml
cp myapp-demo.yaml demo1.yaml
vim demo1.yaml
apiVersion: v1
kind: Pod
metadata:
labels:
run: myapp-demo1
name: myapp-demo1
spec:
volumes:
- name: test-vol
persistentVolumeClaim:
claimName: mypvc01
containers:
- image: soscscs/myapp:v1
name: myapp-demo1
ports:
- containerPort: 80
volumeMounts:
- name: test-vol
mountPath: /data/
kubectl apply -f demo1.yaml
kubectl exec -it myapp-demo1 sh
cd /data/
echo 'Hello World' > index.html
6.5 K8S支持的存储卷的访问模式
其中 × 表示支持,- 表示不支持
七、StorageClass + nfs-client-provisioner搭建动态创建pv
StorageClass + nfs-client-provisioner的理解
上面介绍的PV和PVC模式是需要运维人员先创建好PV,然后开发人员定义好PVC进行一对一的Bond,但是如果PVC请求成千上万,那么就需要创建成千上万的PV,对于运维人员来说维护成本很高,Kubernetes提供一种自动创建PV的机制,叫StorageClass,它的作用就是创建PV的模板。
创建 StorageClass 需要定义 PV 的属性,比如存储类型、大小等;另外创建这种 PV 需要用到的存储插件,比如 Ceph 等。 有了这两部分信息,Kubernetes 就能够根据用户提交的 PVC,找到对应的 StorageClass,然后 Kubernetes 就会调用 StorageClass 声明的存储插件,自动创建需要的 PV 并进行绑定。
Kubernetes 本身支持的动态 PV 创建不包括 NFS,所以需要使用外部存储卷插件分配PV。详见:https://kubernetes.io/zh/docs/concepts/storage/storage-classes/
卷插件称为 Provisioner(存储分配器),NFS 使用的是 nfs-client,这个外部卷插件会使用已经配置好的 NFS 服务器自动创建 PV。
Provisioner:用于指定 Volume 插件的类型,包括内置插件(如 kubernetes.io/aws-ebs)和外部插件(如 external-storage 提供的 ceph.com/cepfs)。
7.1 在NFS服务器配置nfs服务
//nfs服务器
mkdir /opt/k8s
vim /etc/exports
/opt/k8s 192.168.154.0/24(rw,sync,no_root_squash)
7.2 创建 Service Account,用来管理 NFS Provisioner 在 k8s 集群中运行的权限和动态规则
//master节点
cd pv/
mkdir sc
cd sc/
unzip nfs-client.zip
创建网络插件
7.3 创建 StorageClass,负责建立 PVC 并调用 NFS provisioner 进行预定的工作,并让 PV 与 PVC 建立关联
cd /etc/kubernetes/manifests/
vim kube-apiserver.yaml
- --feature-gates=RemoveSelfLink=false
vim pvc.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: mypvc01-nfs
spec:
accessModes:
- ReadWriteMany
resources:
requests:
storage: 2Gi
storageClassName: nfs-client-storageclass
7.4 挂载共享卷,并且进行共享目录写入测试
vim pod-demo.yaml
apiVersion: v1
kind: Pod
metadata:
labels:
run: myapp-demo1
name: myapp-demo1
spec:
volumes:
- name: test-vol
persistentVolumeClaim:
claimName: mypvc01-nfs
containers:
- image: soscscs/myapp:v1
name: myapp-demo1
ports:
- containerPort: 80
volumeMounts:
- name: test-vol
mountPath: /data/
cp pvc.yaml pvc1.yaml
vim pvc1.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: mypvc02-nfs
spec:
accessModes:
- ReadOnlyMany
resources:
requests:
storage: 2Gi
storageClassName: nfs-client-storageclass
八、 总结
k8s 存储卷 volumes
- emptyDir :可实现Pod中的容器之间共享目录数据,但emptyDir存储卷没有持久化数据的能力,存储卷会随着Pod生命周期结束而一起删除
- hostPath :将Node节点上的目录/文件挂载到容器的指定目录中,有持久化数据的能力,但只能在单个Node节点上持久化数据,不能实现跨节点的Pod共享数据
- nfs :使用NFS服务将存储设备的共享目录挂载到容器的指定目录中,有持久化数据的能力,且也能实现跨节点的Pod共享数据
PV PVC
PV :K8S在指定的存储设备空间中逻辑划分创建的可持久化的存储资源对象
PVC :是对PV资源对象的请求和绑定,也是一致Pod可挂载的存储卷类型
PV的状态 4 种
- Available(可用):表示可用状态,还未被任何 PVC 绑定
- Bound(已绑定):表示 PV 已经绑定到 PVC
- Released(已释放):表示 PVC 被删掉,但是资源尚未被回收
- Failed(失败):表示该 PV 的自动回收失败
创建和使用 静态PV
1)准备好存储设备和共享目录
2)手动创建PV资源,配置 存储卷类型 访问模式(RWO RWX ROX) 存储能力大小
3)创建PVC资源,配置请求PV资源的问模式(必要条件,必须是PV能支持的访问模式)和存储大小(就近选择大于等于指定大小的PV)来绑定PV(一个PV只能绑定一个PVC)
4)创建Pod资源挂载PVC存储卷,配置存储卷类型为 persistentVolumeClaim ,在容器配置中定义存储卷的挂载点
创建和使用 动态PV
1)准备好存储设备和共享目录
2)如果是外置存储卷插件,需要先创建service account账户(Pod应用使用的账户)和RBAC授权(创建角色授予相应资源对象的操作权限,角色与账户绑定),使得 sa 账户具有对PV PVC SC等资源的操作权限
3)创建外置存储卷插件Provisioner的Pod,配置中使用sa账户作为Pod账户,并设置相关环境变量参数
4)创建SC资源(StorageClass),配置中引用之前定义的Provisioner的名称
-------------- 以上过程是一劳永逸的,以后只需要创建PVC时引用StorageClass就可以动态生成相关PV资源 ---------------
5)创建PVC资源,配置中引用StorageClass资源名称。创建PVC资源后会自动创建相关的PV资源。
6)创建Pod资源挂载PVC存储卷,配置存储卷类型为 persistentVolumeClaim ,在容器配置中定义存储卷的挂载点