K8s 使用 CephFS 作为后端存储（静态供给、动态供给）

news2024/11/18 23:35:07

一、K8s 使用 CephFS

CephFS是 Ceph 中基于RADOS（可扩展分布式对象存储）构建，通过将文件数据划分为对象并分布到集群中的多个存储节点上来实现高可用性和可扩展性。

首先所有 k8s 节点都需要安装 ceph-common 工具：

yum -y install epel-release ceph-common

二、静态供给方式

静态供给方式需要提前创建好 CephFS 给到 K8s 使用。

2.1 在 Ceph 中创建 FS 和 授权用户

创建存储池：

# 数据存储池
ceph osd pool create cephfs_data_pool 16

# 元数据存储池
ceph osd pool create ceph_metadata_pool 8

创建 FS ：

ceph fs new k8s-cephfs cephfs_data_pool ceph_metadata_pool

创建用户 fs-user 并授权存储池 cephfs_data_pool

查看 admin 用户秘钥：

ceph auth get-key client.admin

在这里插入图片描述

2.2 在 k8s 中创建 secret

export ADMIN_USER_SECRET='AQDdUB9mcTI3LRAAOBpt3e7AH5v9fiMtHKQpqA=='

kubectl create secret generic ceph-admin-default-secret --type="kubernetes.io/rbd" \
--from-literal=key=$ADMIN_USER_SECRET \
--namespace=default

在这里插入图片描述

2.3 pod 直接使用 CephFS 存储

vi cephfs-test-pod.yml

apiVersion: v1
kind: Pod
metadata:
  name: cephfs-test-pod
spec:
  containers:
  - name: nginx
    image: nginx
    imagePullPolicy: IfNotPresent
    volumeMounts:
    - name: data-volume
      mountPath: /usr/share/nginx/html/
  volumes:
  - name: data-volume
    cephfs:
      monitors: ["11.0.1.140:6789"]
      path: /
      user: admin
      secretRef:
        name: ceph-admin-default-secret

kubectl apply -f cephfs-test-pod.yml

查看 pod ：

kubectl get pods

在这里插入图片描述

可以进到 pod 中查看分区情况：

kubectl exec -it cephfs-test-pod -- /bin/bash

df -hl

在这里插入图片描述

2.4 创建 PV 使用 CephFS 存储

vi cephfs-test-pv.yml

apiVersion: v1
kind: PersistentVolume
metadata:
  name: cephfs-test-pv
spec:
  accessModes: ["ReadWriteOnce"]
  capacity:
    storage: 2Gi
  persistentVolumeReclaimPolicy: Retain
  cephfs:
    monitors: ["11.0.1.140:6789"]
    path: /
    user: admin
    secretRef:
      name: ceph-admin-default-secret

kubectl apply -f cephfs-test-pv.yml

在这里插入图片描述

创建 PVC 绑定 PV ：

vi cephfs-test-pvc.yml

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: cephfs-test-pvc
spec:
  accessModes: ["ReadWriteOnce"]
  resources:
    requests:
      storage: 2Gi

kubectl apply -f cephfs-test-pvc.yml

查看 pvc 和 pv ：

kubectl get pvc

kubectl get pv

在这里插入图片描述

测试 pod 挂载 pvc：

vi cephfs-test-pod1.yml

apiVersion: v1
kind: Pod
metadata:
  name: cephfs-test-pod1
spec:
  containers:
  - name: nginx
    image: nginx
    imagePullPolicy: IfNotPresent
    volumeMounts:
    - name: data-volume
      mountPath: /usr/share/nginx/html/
  volumes:
  - name: data-volume
    persistentVolumeClaim:
      claimName: cephfs-test-pvc
      readOnly: false

kubectl apply -f cephfs-test-pod1.yml

查看 pod ：

kubectl get pods

在这里插入图片描述

三、动态供给方式

由于官方没有提供cephfs动态卷支持，这里使用社区提供的cephfs-provisioner 插件实现动态供给：

vi external-storage-cephfs-provisioner.yml

apiVersion: v1
kind: ServiceAccount
metadata:
  name: cephfs-provisioner
  namespace: kube-system
---
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: cephfs-provisioner
rules:
  - apiGroups: [""]
    resources: ["persistentvolumes"]
    verbs: ["get", "list", "watch", "create", "delete"]
  - apiGroups: [""]
    resources: ["persistentvolumeclaims"]
    verbs: ["get", "list", "watch", "update"]
  - apiGroups: ["storage.k8s.io"]
    resources: ["storageclasses"]
    verbs: ["get", "list", "watch"]
  - apiGroups: [""]
    resources: ["events"]
    verbs: ["create", "update", "patch"]
  - apiGroups: [""]
    resources: ["endpoints"]
    verbs: ["get", "list", "watch", "create", "update", "patch"]
  - apiGroups: [""]
    resources: ["secrets"]
    verbs: ["create", "get", "delete"]
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: cephfs-provisioner
subjects:
  - kind: ServiceAccount
    name: cephfs-provisioner
    namespace: kube-system
roleRef:
  kind: ClusterRole
  name: cephfs-provisioner
  apiGroup: rbac.authorization.k8s.io

---
apiVersion: rbac.authorization.k8s.io/v1
kind: Role
metadata:
  name: cephfs-provisioner
  namespace: kube-system
rules:
  - apiGroups: [""]
    resources: ["secrets"]
    verbs: ["create", "get", "delete"]
---
apiVersion: rbac.authorization.k8s.io/v1
kind: RoleBinding
metadata:
  name: cephfs-provisioner
  namespace: kube-system
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: Role
  name: cephfs-provisioner
subjects:
- kind: ServiceAccount
  name: cephfs-provisioner
  namespace: kube-system

---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: cephfs-provisioner
  namespace: kube-system
spec:
  selector:
    matchLabels:
      app: cephfs-provisioner
  replicas: 1
  strategy:
    type: Recreate
  template:
    metadata:
      labels:
        app: cephfs-provisioner
    spec:
      containers:
      - name: cephfs-provisioner
        image: "registry.cn-chengdu.aliyuncs.com/ives/cephfs-provisioner:latest"
        env:
        - name: PROVISIONER_NAME
          value: ceph.com/cephfs
        command:
        - "/usr/local/bin/cephfs-provisioner"
        args:
        - "-id=cephfs-provisioner-1"
      serviceAccount: cephfs-provisioner

kubectl apply -f external-storage-cephfs-provisioner.yml

查看 pod：

kubectl get pods -n kube-system

在这里插入图片描述

3.1 创建 StorageClass

vi cephfs-sc.yml

kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
  name: dynamic-cephfs
provisioner: ceph.com/cephfs
parameters:
  monitors: 11.0.1.140:6789
  adminId: admin
  adminSecretName: ceph-admin-default-secret
  adminSecretNamespace: default
  claimRoot: /volumes/kubernetes

kubectl apply -f cephfs-sc.yml

查看 SC：

kubectl get sc

在这里插入图片描述

3.4 测试创建 PVC

vi cephfs-pvc1.yml

kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: cephfs-pvc1
spec:
  accessModes:     
    - ReadWriteOnce
  storageClassName: dynamic-cephfs
  resources:
    requests:
      storage: 2Gi

kubectl apply -f cephfs-pvc1.yml

查看 pvc：

kubectl get pvc

在这里插入图片描述

创建 pod 使用上面 pvc ：

vi cephfs-test-pod2.yml

apiVersion: v1
kind: Pod
metadata:
  name: cephfs-test-pod2
spec:
  containers:
  - name: nginx
    image: nginx
    imagePullPolicy: IfNotPresent
    volumeMounts:
    - name: data-volume
      mountPath: /usr/share/nginx/html/
  volumes:
  - name: data-volume
    persistentVolumeClaim:
      claimName: cephfs-pvc1
      readOnly: false

kubectl apply -f cephfs-test-pod2.yml

查看 pod ：

kubectl get pods

在这里插入图片描述

3.5 测试使用 volumeClaimTemplates 动态创建 pv 和 pvc

vi mysql.yml

# headless service 
apiVersion: v1
kind: Service
metadata:
  name: mysql-hl
  namespace: mysql
  labels:
    app: mysql-hl
spec:
  clusterIP: None
  ports:
  - name: mysql-port
    port: 3306
  selector:
    app: mysql

---
# NodePort service 
apiVersion: v1
kind: Service
metadata:
  name: mysql-np
  namespace: mysql
  labels:
    app: mysql-np
spec:
  clusterIP: 
  ports:
  - name: master-port
    port: 3306
    nodePort: 31306
    targetPort: 3306
  selector:
    app: mysql
  type: NodePort
  target-port:
  externalTrafficPolicy: Cluster 
  
---
apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: mysql
spec:
  serviceName: "mysql-hl"
  replicas: 1
  selector: 
    matchLabels: 
      app: mysql
  template:
    metadata:
      labels:
        app: mysql
    spec:
      containers:
      - name: mysql
        image: mysql:8.0.20
        ports:
        - containerPort: 3306
          name: master-port
        env:
        - name: MYSQL_ROOT_PASSWORD
          value: "root"
        - name: TZ
          value: "Asia/Shanghai"
        volumeMounts:                           
        - name: mysql-data
          mountPath: /var/lib/mysql 
  volumeClaimTemplates:
    - metadata:
        name: mysql-data
      spec:
        accessModes: ["ReadWriteOnce"]
        storageClassName: dynamic-cephfs
        resources:
          requests:
            storage: 2Gi

kubectl apply -f mysql.yml

查看 pod ：

在这里插入图片描述

查看 pvc ：

在这里插入图片描述

查看 pv：

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1629619.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

C++面经(简洁版)

C++面经(简洁版)

1. 谈谈C和C的认识 C在C的基础上添加类，C是一种结构化语言，它的重点在于数据结构和算法。C语言的设计首要考虑的是如何通过一个过程，对输入进行运算处理得到输出，而对C，首先要考虑的是如何构造一个对象，通…
阅读更多...
PotatoPie 4.0 实验教程(41) —— FPGA实现RISC-V 扩展 GPIO UART Timer功能

PotatoPie 4.0 实验教程(41) —— FPGA实现RISC-V 扩展 GPIO UART Timer功能

TD工程介绍 我们提供的TD工程里的RISC-V核默认就开启了GPIO UART扩展，可以看到还有SPI和I2C扩展。因此后面的实验中TD的工程我们基本不怎么修改TD的内容，只需要修改TD工具中Soc_Top.v文件中的TCM0_INITFILE为FD生成的固件名称即可，主要修我以…
阅读更多...
实时通讯技术 WebRTC 介绍

实时通讯技术 WebRTC 介绍

WebRTC WebRTC（Web Real-Time Communication）是一个支持网页浏览器进行实时语音对话或视频对话的技术。 历史 2010年5月，Google以6820万美元收购VoIP软件开发商Global IP Solutions的GIPS引擎，并改为名为“WebRTC”。WebRTC使用…
阅读更多...
C++ ─── 匿名对象+变量的创建顺序

C++ ─── 匿名对象+变量的创建顺序

目录 1. 匿名对象（临时对象） 2. 编译器的优化 3.变量的创建与销毁 1. 匿名对象（临时对象） 我们先来看有名对象的创建 Date d1; Date d2(2024,4,27);匿名对象的创建 Date(2024,56,1); 生成了一个匿名对象，执行完Da…
阅读更多...
数据仓库是什么

数据仓库是什么

写在前面 刚接触大数据的新手小白可能会对数据仓库这个词比较陌生，本文将介绍数据仓库的主要特征及OLTP&OLAP的区别，帮助读者更好理解数据仓库。 一、什么是数据仓库 数据仓库，简称数仓，是一个对数据进行加工，集…
阅读更多...
信息系统项目管理师0073：网路集成（5信息系统工程—5.3系统集成—5.3.2网路集成）

信息系统项目管理师0073：网路集成（5信息系统工程—5.3系统集成—5.3.2网路集成）

点击查看专栏目录 文章目录 5.3.2网路集成5.3.2网路集成 计算机网络系统集成不仅涉及技术问题，而且涉及组织的管理问题，因而比较复杂，特别是大型网络系统更是如此。从技术角度讲，网络集成不仅涉及不同厂家的网络设备和管理软件，也会涉及异构和异质网络系统的互联问题。从管…
阅读更多...
【算法学习】day1

【算法学习】day1

文章目录 双指针算法移动零复写零 双指针算法 移动零 思路：通过定义两个下标作为双指针，cur从开始对整个数组进行遍历，而我们的dest代表的是非零元素的最后一个位置，cur位置为0的时候就cur，不为0元素的时候就交换dest…
阅读更多...
STM32单片机C语言模块化编程实战：按键控制LED灯详解与示例

STM32单片机C语言模块化编程实战：按键控制LED灯详解与示例

一、开发环境 硬件：正点原子探索者 V3 STM32F407 开发板 单片机：STM32F407ZGT6 Keil版本：5.32 STM32CubeMX版本：6.9.2 STM32Cube MCU Packges版本：STM32F4 V1.27.1 之前介绍了很多关于点灯的方法，比如…
阅读更多...
设计模式学习笔记 - 项目实战一：设计实现一个支持各种算法的限流框架（实现）

设计模式学习笔记 - 项目实战一：设计实现一个支持各种算法的限流框架（实现）

概述 上篇文章，我们介绍了如何通过合理的设计，来实现框架的功能性需求的同时，满足易用、易扩展、灵活、低延迟、高容错等非功能性需求。在设计的过程中，我们也借鉴了之前讲过的一些开源项目的设计思想。比如 Spring 的低侵入松耦…
阅读更多...
【ETAS CP AUTOSAR工具链】RTE层基本概念与开发流程

【ETAS CP AUTOSAR工具链】RTE层基本概念与开发流程

本篇文章续接上篇文章【ETAS CP AUTOSAR工具链】基本概念与开发流程，继续按上篇文章描述的ETAS CP工具链进行开发的基本框架，讲述了“RTE集成与配置”这部分的基本概念与开发流程。 RTE（Runtime Environment）处于应用层与基础软件…
阅读更多...
Web前端开发 小实训（一） 成绩分类统计

Web前端开发 小实训（一） 成绩分类统计

用于学生web前端开发课程实训练习，掌握基本语法和数据类型 实训目的 使用分支语句，完成分数统计与等级对比,通过输入框输入分数，可以根据分数多少划分等级。 参考思路： 分析题目：根据输入分数进行等级划分。 操作过…
阅读更多...
声光控路灯控制系统设计与仿真

声光控路灯控制系统设计与仿真

目录 前言 一、设计任务 二、系统组成及工作原理 1、总体设计思路 2、电路各模块设计简介 （1）光控电路 （2）声控电路 (3) 逻辑控制电路 (4) 延时电路 三、系统中电源模块的设计 1、方案比较和确定 2、 设计思路 3、直流…
阅读更多...
自定义View-旋转变色圆角三角形的绘制

自定义View-旋转变色圆角三角形的绘制

本文字数：3151字 预计阅读时间：20分钟 在现代设计中，动效图在APP的UI界面中所起到的作用无疑是显著的。相比于静态的界面，动效更符合人类的自然认知体系，它有效地降低了用户的认知负载，UI动效俨然已经成为了…
阅读更多...
利用ENVI SPEAR工具和WV-2卫星影像数据量测水深

利用ENVI SPEAR工具和WV-2卫星影像数据量测水深

ENVI的SPEAR工具集（(Spectral Processing Exploitation and Analysis Resource)）是将很多的遥感图像处理过程集成为流程化的操作方式，使得遥感图像处理知识相对薄弱的非专业人员也能利用流程化的工具进行图像处理，图像处理速度也有…
阅读更多...
自动驾驶框架 UniAD环境部署

自动驾驶框架 UniAD环境部署

感谢大佬们的开源工作 UniAD-github地址-YYDS更多bev算法部署参考如果您觉得本帖对您有帮助，感谢您一键三连支持一波^_^ 统一自动驾驶框架 (UniAD) ，第一个将全栈驾驶任务整合到一个深度神经网络中的框架，并可以发挥每个子任务以及各个模块的…
阅读更多...
[每周一更]-(第94期)：认识英伟达显卡

[每周一更]-(第94期)：认识英伟达显卡

英伟达显卡：引领图形计算的领先者，显卡也常称为GPU（图形处理器 Graphics processing unit），是一种专门在个人电脑、工作站、游戏机和一些移动设备（如平板电脑、智能手机等）上执行绘图运算工作的…
阅读更多...
【STM32+HAL】三轴按键PS2摇杆

【STM32+HAL】三轴按键PS2摇杆

一、准备工作： 有关CUBEMX的初始化配置，参见我的另一篇blog：【STM32HAL】CUBEMX初始化配置 有关定时器触发ADC模式配置，详见【STM32HAL】ADC采集波形实现 二、所用工具： 1、芯片： STM32F407VET6 2、CUBE…
阅读更多...
大数据面试题 —— Spark数据倾斜及其解决方案

大数据面试题 —— Spark数据倾斜及其解决方案

目录 1 调优概述2 数据倾斜发生时的现象3 数据倾斜发生的原理4 如何定位导致数据倾斜的代码4.1 某个 task 执行特别慢的情况4.2 某个 task 莫名其妙内存溢出的情况5 查看导致数据倾斜的 key 的数据分布情况6 数据倾斜的解决方案6.1 使用 Hive ETL 预处理数据6.2 过滤少数导致倾…
阅读更多...
Ubuntu中的 Everything 搜索软件 ==＞ fsearch

Ubuntu中的 Everything 搜索软件 ==＞ fsearch

本文所使用的 Ubuntu 系统版本是 Ubuntu 22.04 ! 在 Windows 中，我经常使用 Everything 来进行文件搜索，搜索效率比 Windows 自带的高出千百倍。 那么在 Ubuntu 系统中，有没有类似的软件呢？那必须有，它就是 FSearch 。…
阅读更多...
JavaScript-Web API基本认知-什么是DOM和BOM

JavaScript-Web API基本认知-什么是DOM和BOM

基本认知 var、let、const选用Web API作用和分类什么是DOM什么是DOM树DOM对象（重要）什么是BOM var、let、const选用 var or let or const ？ 首先var 先排除，老派写法，问题很多，可以淘汰掉… let or const …
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023