Kubernetes基本存储
容器的生命周期可能很短,会被频繁地创建和销毁,容器销毁时,保存在容器中的数据也会被清除。为了持久化保存容器中数据,引入Volume概念。
Volume时Pod中多个容器共同访问的共享目录,它被定义在Pod中,被一个Pod里的多个容器挂载到具体的文件目录下,k8s通过Volume实现同一个Pod中不同容器之间的数据共享以及数据的持久化存储。当容器终止或重启时,Volume中数据也不会丢失。
类似于Docker中数据卷的概念,有兴趣的同学可以通过这篇文章了解下。
Docker环境/命令/数据卷
EmptyDir
EmptyDir:最基础的Volume类型,一个EmptyDIr就是Host上一个空目录。在Pod被分配到Node时创建,初始内容为空,并且无需指定宿主机上对应目录文件,因为k8s会自动分配一个目录。Pod被销毁时,EmptyDir的数据也会被永久删除。
用途:
-
临时空间,例如用于某些应用运行时所需要的临时空间,且无需永久保留
-
一个容器需要从另一个容器中获取数据的目录(多容器共享目录)
案例:
在一个Pod中准备两个容器nginx和busybox,然后声明一个Volume分别挂在到两个容器的目录中,然后nginx容器负责向Volume中写日志,busybox中通过命令将日志内容读到控制台。
创建volume-emptydir.yaml
apiVersion: v1
kind: Pod
metadata:
name: volume-emptydir
namespace: dev
spec:
containers:
- name: nginx
image: nginx:1.14-alpine
ports:
- containerPort: 80
volumeMounts: # 将logs-volume挂在到nginx容器中,对应的目录为 /var/log/nginx
- name: logs-volume
mountPath: /var/log/nginx
- name: busybox
image: busybox:1.30
command: ["/bin/sh","-c","tail -f /logs/access.log"] # 初始命令,动态读取指定文件中内容
volumeMounts: # 将logs-volume 挂在到busybox容器中,对应的目录为 /logs
- name: logs-volume
mountPath: /logs
volumes: # 声明volume, name为logs-volume,类型为emptyDir
- name: logs-volume
emptyDir: {}
操作过程:
[root@master ~]# vim volume-emptydir.yaml
#创建名称空间
[root@master ~]# kubectl create ns dev
namespace/dev created
#创建Pod
[root@master ~]# kubectl create -f volume-emptydir.yaml
pod/volume-emptydir created
#查看信息
[root@master ~]# kubectl get pod -n dev -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE R
volume-emptydir 2/2 Running 0 32s 10.244.1.2 node1 <none>
#通过PodIP访问端口
[root@master ~]# curl 10.244.1.2:80
#另起一个窗口 在访问端口的同时,查看指定容器标准化输出
[root@master ~]# kubectl logs -f volume-emptydir -n dev -c busybox
10.244.0.0 - - [07/Jun/2023:00:36:29 +0000] "GET / HTTP/1.1" 200 612 "-" "curl/7.29.0" "-“
#能够查看,说明共享了EmptyDir数据
#记得测试完之后删除Pod哦
[root@master ~]# kubectl delete -f volume-emptydir.yaml
pod "volume-emptydir" deleted
HostPath
EmptyDir数据不会持久化,会随着Pod的结束而销毁,如果向简单持久化数据到主机中可以使用HostPath。
HostPath就是将Node主机中一个实际目录挂载到Pod中去,提供容器使用,这样设计就算Pod被销毁,数据依然可以存在于Node主机中。
创建volume-hostpath.yaml
apiVersion: v1
kind: Pod
metadata:
name: volume-hostpath
namespace: dev
spec:
containers:
- name: nginx
image: nginx:1.17.1
ports:
- containerPort: 80
volumeMounts:
- name: logs-volume
mountPath: /var/log/nginx
- name: busybox
image: busybox:1.30
command: ["/bin/sh","-c","tail -f /logs/access.log"]
volumeMounts:
- name: logs-volume
mountPath: /logs
volumes:
- name: logs-volume
hostPath:
path: /root/logs
type: DirectoryOrCreate # 目录存在就使用,不存在就先创建后使用
关于一些配置信息(例如type)可以在官方文档中查看,这里不做详细说明。官方文档地址:Kubernetes文档/概念/存储/卷
操作过程:
[root@master ~]# vim volume-hostpath.yaml
#创建Pod
[root@master ~]# kubectl create -f volume-hostpath.yaml
pod/volume-hostpath created
#查看Pod信息
[root@master ~]# kubectl get pod -n dev -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
volume-hostpath 2/2 Running 0 110s 10.244.1.3 node1 <none> <none>
#访问80端口
[root@master ~]# curl 10.244.1.3:80
#与此同时 新窗口动态查看标准容器输出
[root@master ~]# kubectl logs -f volume-hostpath -n dev -c busybox
10.244.0.0 - - [07/Jun/2023:01:04:43 +0000] "GET / HTTP/1.1" 200 612 "-" "curl/7.29.0" "-"
#这个Pod在node1节点下 进入node1节点查看 ssh远程连接node1 IP
[root@master ~]# ssh 'root@192.168.126.133'
The authenticity of host '192.168.126.133 (192.168.126.133)' can't be established.
ECDSA key fingerprint is SHA256:XQp99d3wLmZ8HRxWl755k0HMFfuKrio66QdSM7r507c.
ECDSA key fingerprint is MD5:24:50:b7:e7:3f:bd:a7:9c:52:4a:0a:5b:73:c1:2d:7f.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added '192.168.126.133' (ECDSA) to the list of known hosts.
root@192.168.126.133's password:
Last login: Tue Jun 6 20:22:25 2023
#文件存在OK
[root@node1 ~]# ls /root/logs/
access.log error.log
#退出
[root@node1 ~]# exit
logout
Connection to 192.168.126.133 closed.
#同样的道理,如果在此目录下创建一个文件,到容器中也是可以看到的
#测试完记得删除Pod
[root@master ~]# kubectl delete -f volume-hostpath.yaml
pod "volume-hostpath" deleted
NFS
Hostpath可以解决数据持久化问题,但一旦Node节点故障,Pod如果转移到别的节点,又有新的问题,此时需要准备单独的网络存储系统。常用NFS,CIFS。
NFS是网络文件存储系统,可以搭建一台NFS服务器,然后将Pod中存储直接连接到NFS系统上,无论Pod节点怎么转移,只要Node跟NFS的对接没问题,数据就可以访问。
-
首先准备nfs服务器,简单演示,直接使用master节点做nfs服务器
#安装nfs服务 [root@master ~]# yum install nfs-utils -y #准备共享目录 [root@master ~]# mkdir /root/data/nfs -pv mkdir: created directory ‘/root/data’ mkdir: created directory ‘/root/data/nfs’ #将共享目录以读写权限暴露给集群IP网段上这里以192.168.126.0/24网段所有主机 #/etc/exports nfs服务默认读取文件 [root@master ~]# vim /etc/exports [root@master ~]# cat /etc/exports /root/data/nfs 192.168.126.0/24(rw,no_root_squash) #启动nfs服务 [root@master ~]# systemctl start nfs
-
为了让node节点驱动nfs设备,在每个node节点上安装nfs,注意不要启动
yum install nfs-utils -y
-
编写volume-nfs.yaml
apiVersion: v1 kind: Pod metadata: name: volume-nfs namespace: dev spec: containers: - name: nginx image: nginx:1.17.1 ports: - containerPort: 80 volumeMounts: - name: logs-volume mountPath: /var/log/nginx - name: busybox image: busybox:1.30 command: ["/bin/sh","-c","tail -f /logs/access.log"] volumeMounts: - name: logs-volume mountPath: /logs volumes: - name: logs-volume nfs: server: 192.168.126.132 #nfs服务器地址 path: /root/data/nfs #共享文件路径
-
运行Pod,观察结果
#创建Pod [root@master ~]# kubectl create -f volume-nfs.yaml pod/volume-nfs created #查看Pod [root@master ~]# kubectl get pod -n dev -o wide NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES volume-nfs 2/2 Running 0 46s 10.244.1.4 node1 <none> <none> #进入共享文件 发现已经有文件了 [root@master ~]# ls /root/data/nfs/ access.log error.log [root@master ~]# cd /root/data/nfs/ #然后再访问一下 [root@master ~]# curl 10.244.1.4:80 #查看日志文件输出 [root@master nfs]# tail -f access.log 10.244.0.0 - - [07/Jun/2023:01:47:43 +0000] "GET / HTTP/1.1" 200 612 "-" "curl/7.29.0" "-"