在k8s集群中,资源存储会散落到各个工作节点上,这样对用资源调用很不方便,那么k8s是如何实现存储资源共享的呢,本文浅尝辄止的探讨一下,k8s是通过pv、pvc实现的。
一、PV、PVC的概念
1、持久卷(PV)
pv是PersistentVolume的缩写,pv是集群中的一块存储,可以由管理员事先制备, 或者使用存储类(Storage Class)来动态制备。 持久卷是集群资源,就像节点也是集群资源一样。PV 持久卷和普通的 Volume 一样, 也是使用卷插件来实现的,拥有独立于任何使用 PV 的 Pod 的生命周期。
2、持久卷声明(PVC)
pvc是PersistentVolumeClaim的缩写, 是用户对存储的请求,PVC 申领会耗用 PV 资源。pvc的访问模式有 ReadWriteOnce、ReadOnlyMany、ReadWriteMany、ReadWriteOncePod。
二、PV、PVC的生命周期
1、制作PV
PV 卷的制备有两种方式,静态制备或动态制备。静太制作集群管理员创建若干 PV 卷,这些卷对集群用户可用,可供用户消费。动态制备,当没有提前制作好的pv卷供pvc匹配,集群可以尝试为该 PVC 申领动态制备一个存储卷。
2、绑定
用户创建一个带有特定存储容量和特定访问模式需求的 PersistentVolumeClaim 对象, 控制平面中的控制回路监测新的 PVC 对象,寻找与之匹配的 PV 卷 并将二者绑定到一起。。
3、使用
Pod 将 PVC 申领当做存储卷来使用。集群会检视 PVC 申领,找到所绑定的卷, 并为 Pod 挂载该卷。对于支持多种访问模式的卷, 用户要在 Pod 中以卷的形式使用申领时指定期望的访问模式。
4、回收策略
当用户不再使用其存储卷时,他们可以从 API 中将 PVC 对象删除, 从而允许该资源被回收再利用。PersistentVolume 对象的回收策略告诉集群, 当其被从申领中释放时如何处理该数据卷。 目前,数据卷可以被 Retained(保留)、Recycled(回收)或 Deleted(删除)。
(1)保留(Retain)
回收策略 Retain
使得用户可以手动回收资源。当 PersistentVolumeClaim 对象被删除时,PersistentVolume 卷仍然存在,对应的数据卷被视为"已释放(released)"。 由于卷上仍然存在之前用户的数据,该卷还不能用于其他申领。如果需要继续使用这一块的资源,需要手动手动删除所关联的存储数据。
(2)删除(Delete)
对于支持 Delete
回收策略的卷插件,删除动作会将 PersistentVolume 对象从 Kubernetes 中移除,同时也会从外部基础设施中移除所关联的存储资产。
(3)回收(Recycle)
目前已经废弃,推荐使用动态制作。
三、NFS服务搭建
1、文件存储技术分类
分布式的文件存储技术实现常用的有三种:
(1)块存储ISCSI
优点:速率块 不可取代 可以简单的方式实现数据的可用性
缺点:不可共享 以及 文件系统的约束
(2)文件存储 NFS
优点:实现了数据共享、构建资金较低
缺点:速率较慢
(3)对象存储 MFS
优点:实现了数据共享、读写效率高、有更高的磁盘IO 网络 IO,存储量级更高
缺点:造价高 难度实现大
本文使用nfs作为存储类型
2、NFS部署
(1)安装nfs-utils
yum install -y nfs-utils rpcbind
(2)配置挂载点
mkdir -p /home/data/nfs
vim /etc/exports
/home/data/nfs *(insecure,rw,sync,no_root_squash)
exports -r
(3)启动nfs服务
systemctl start rpcbind
systemctl start nfs
systemctl status nfs
(4)节点挂载
假如主节点的主机名为server200,那么从节点的安装步骤按照前三步执行。然后在各个节点执行挂载命令即可:
mount –t nfs server205:/home/data/nfs /home/data/nfs
showmount -e server205
四、PV、PVC创建与应用
1、编写pv.yaml
apiVersion: v1
kind: PersistentVolume
metadata:
name: k8s-dep-pv
namespace: wmy-dev
spec:
capacity:
storage: 256Mi
accessModes:
- ReadWriteMany
storageClassName: nfs
nfs:
path: /home/data/nfs/test
server: server205
kubectl apply -f pv.yaml
2、编写pvc.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: k8s-dep-pvc
namespace: wmy-dev
spec:
resources:
#申请资源
requests:
storage: 256Mi
accessModes:
- ReadWriteMany
storageClassName: nfs
kubectl apply -f pvc.yaml
3、应用PVC资源
安装一个nginx服务,将其根目录挂载到/home/data/nfs/test
apiVersion: apps/v1
kind: Deployment
metadata:
name: my-nginx
namespace: wmy-dev
spec:
replicas: 1
selector:
matchLabels:
app: my-nginx
template:
metadata:
labels:
app: my-nginx
spec:
containers:
- name: k8s-dep
image: ningx
imagePullPolicy: IfNotPresent
ports:
- containerPort: 80
name: tcp
protocol: TCP
volumeMounts:
- name: v-nfs
# 容器内需要挂载的目录文件
mountPath: /usr/share/nginx/html
volumes:
# 容器卷名称,按照规范命名即可,与挂载名称volumeMounts保持一致
- name: v-nfs
persistentVolumeClaim:
claimName: k8s-dep-pvc
kubectl apply -f nginx.yaml