安装Ceph集群

news2024/12/26 12:03:09

安装Ceph集群

在这里插入图片描述

环境准备

CentOS 7.6

主机名IPRole
admin192.168.182.128admin
node1192.168.182.129mon/mgr/osd
node2192.168.182.130osd
node3192.168.182.131osd
client192.168.182.132
  • 所有节点修改主机名相互解析
  • 三台node节点添加大小5G以上硬盘
  • 关闭所有节点防火墙与SeLinux
  • 所有节点创建普通用户并设置密码

以下内容写入到 /etc/hosts

192.168.182.128 admin
192.168.182.129 node1
192.168.182.130 node2
192.168.182.131 node3
192.168.182.132 client

关闭所有节点防火墙与SeLinux脚本(授权并执行即可)

#!/bin/bash

# 关闭防火墙
echo "正在关闭防火墙..."
sudo systemctl stop firewalld
sudo systemctl disable firewalld
echo "防火墙已关闭并禁用。"

# 检查 SELinux 状态
sestatus=$(sestatus | grep "SELinux status" | awk '{print $3}')

if [ "$sestatus" == "enabled" ]; then
    # 关闭 SELinux
    echo "正在关闭 SELinux..."
    sudo setenforce 0
    sudo sed -i 's/^SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config
    echo "SELinux 已关闭。"
else
    echo "SELinux 已经处于禁用状态，无需操作。"
fi

echo "脚本执行完毕。"

所有节点创建用户,设置密码

useradd cephu
passwd cephu

确保Ceph节点新创建用户都有sudo权限 所有节点均操作

visudo
#大约在100行添加
cephu   ALL=(root)      NOPASSWD:ALL

实现ssh免密登录 （admin节点操作）

[root@admin ~]# su  - cephu
[cephu@admin ~]$ ssh-keygen
#将admin节点cephu用户生产的密钥拷贝到各Ceph节点
ssh-copy-id cephu@node

#admin节点root用户田家庵~/.ssh/config配置文件 这样ceph-deploy就能用你所建的用户名登陆Ceph节点了
[root@admin ~]# mkdir ~/.ssh
[root@admin ~]# vim ~/.ssh/config
[root@admin ~]# cat ~/.ssh/config
Host node1
Hostname node1
User cephu

Host node2
Hostname node2
User cephu

Host node3
Hostname node3
User cephu

添加下载源

安装ceph-deploy（admin节点root用户)

vim /etc/yum.repos.d/ceph.repo

[ceph-noarch]
name=Ceph noarch packages
baseurl=https://download.ceph.com/rpm-luminous/el7/noarch
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc

yum makecache
yum update
#开启yum缓存
[root@admin ~]# vim /etc/yum.conf
keepcache=1

yum install ceph-deploy -y

安装ntp服务

在所有节点操作，选择一台节点当ntp时间服务器，其他节点当时间服务器客户端跟服务器同步时间。

[root@admin ~]# yum install -y ntp

[root@admin ~]# vim /etc/ntp.conf  #有4行server的位置，把那4行server行注释掉，填写以下两行
server 127.127.1.0 # local clock
fudge  127.127.1.0 stratum 10

[root@admin ~]# systemctl start ntpd
[root@admin ~]# systemctl enable ntpd
Created symlink from /etc/systemd/system/multi-user.target.wants/ntpd.service to /usr/lib/systemd/system/ntpd.service.

其他节点

 yum install ntpdate  -y
 ntpdate  时间服务器ip

部署集群

无特殊说明以下操作均在admin节点，cephu用户执行

  • 创建cephu操作的目录，ceph-deploy命令操作必须在该目录下执行

    [root@admin ~]# su - cephu
Last login: Tue Jul 11 10:09:09 EDT 2023 on pts/0
[cephu@admin ~]$ mkdir my-cluster

sudo yum install  wget unzip -y

  • 创建集群

    wget https://files.pythonhosted.org/packages/5f/ad/1fde06877a8d7d5c9b60eff7de2d452f639916ae1d48f0b8f97bf97e570a/distribute-0.7.3.zip

    [cephu@admin ~]$ ls
distribute-0.7.3.zip  my-cluster
[cephu@admin ~]$ unzip distribute-0.7.3.zip
[cephu@admin ~]$ cd distribute-0.7.3
[cephu@admin distribute-0.7.3]$ sudo python setup.py install

[cephu@admin distribute-0.7.3]$ cd ../my-cluster/
[cephu@admin my-cluster]$ ceph-deploy new node1
[cephu@admin my-cluster]$ ls
ceph.conf  ceph-deploy-ceph.log  ceph.mon.keyring

  • 在三台node节点上安装ceph-radosgw主包

    （三台node节点操作）

     #安装epel源
    yum install -y epel*
 #创建Ceph源，内容如下：阿里源
     vim /etc/yum.repos.d/ceph.repo

    [Ceph]
name=Ceph packages for $basearch
baseurl=http://mirrors.aliyun.com/ceph/rpm-luminous/el7/$basearch
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc
priority=1

[Ceph-noarch]
name=Ceph noarch packages
baseurl=http://mirrors.aliyun.com/ceph/rpm-luminous/el7/noarch
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc
priority=1

[ceph-source]
name=Ceph source packages
baseurl=http://mirrors.aliyun.com/ceph/rpm-luminous/el7/SRPMS
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc
priority=1

  • 在三台node节点执行命令安装软件

    su - cephu
sudo yum install ceph ceph-radosgw  -y 

 ceph --version
ceph version 12.2.13 (584a20eb0237c657dc0567da126be145106aa47e) luminous (stable)

初始化集群

  • 初始化mon(cephu@admin)

    [cephu@admin my-cluster]$ ceph-deploy mon create-initial

ceph-deploy admin node1 node2 node3

ceph-deploy mgr create node1

  • 添加osd

    #查看node节点的磁盘名称

[cephu@node3 ~]$ lsblk
NAME            MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda               8:0    0   20G  0 disk
├─sda1            8:1    0    1G  0 part /boot
└─sda2            8:2    0   19G  0 part
  ├─centos-root 253:0    0   17G  0 lvm  /
  └─centos-swap 253:1    0    2G  0 lvm  [SWAP]
sdb               8:16   0    5G  0 disk
sr0              11:0    1  918M  0 rom


    [cephu@admin my-cluster]$ ceph-deploy osd create --data /dev/sdb node1
[cephu@admin my-cluster]$ ceph-deploy osd create --data /dev/sdb node2
[cephu@admin my-cluster]$ ceph-deploy osd create --data /dev/sdb node3

    DashBoard配置

    node1操作

    #创建管理域密钥
[cephu@node1 ~]$ sudo ceph auth get-or-create mgr.node1 mon 'allow profile mgr' osd 'allow *' mds 'allow *'
[mgr.node1]
        key = AQCUXa5kZcSGIhAAqRGiZM7wLa3PQpfhR3dJbA==
#开启管理域

[cephu@node1 ~]$ sudo ceph-mgr -i node1
#查看状态
[cephu@node1 ~]$ sudo ceph status
  cluster:
    id:     4f902c45-53fb-4048-9697-77b959811be9
    health: HEALTH_OK

  services:
    mon: 1 daemons, quorum node1
    mgr: node1(active, starting)
    osd: 3 osds: 3 up, 3 in

  data:
    pools:   0 pools, 0 pgs
    objects: 0 objects, 0B
    usage:   3.01GiB used, 12.0GiB / 15.0GiB avail
    pgs:


#打开dashboard模块

[cephu@node1 ~]$  sudo ceph mgr module enable dashboard

#绑定dashboard模块
 sudo ceph config-key set mgr/dashboard/node1/server_addr 192.168.182.129


# ip地址为mgr节点的ip地址,也就是node1的ip地址

    访问
    在这里插入图片描述

配置客户端

配置客户端使用rbd，创建块设备需要创建存储池，相关命令需要mon节点执行（node1节点）

[cephu@node1 ~]$ sudo ceph osd pool create rbd 128 128
pool 'rbd' created


#初始化存储池
[cephu@node1 ~]$ sudo rbd pool init rbd

#升级内核

[root@client ~]# uname -r
3.10.0-957.el7.x86_64

rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org


[root@client ~]# rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-2.el7.elrepo.noarch.rpm


#查看可用系统内核包

[root@client ~]# yum --disablerepo="*" --enablerepo="elrepo-kernel" list available
Loaded plugins: fastestmirror
Loading mirror speeds from cached hostfile
 * elrepo-kernel: mirrors.tuna.tsinghua.edu.cn
elrepo-kernel                                                                     | 3.0 kB  00:00:00
elrepo-kernel/primary_db                                                          | 3.2 MB  00:00:17
Available Packages
elrepo-release.noarch                               7.0-6.el7.elrepo                        elrepo-kernel
kernel-lt.x86_64                                    5.4.249-1.el7.elrepo                    elrepo-kernel
kernel-lt-devel.x86_64                              5.4.249-1.el7.elrepo                    elrepo-kernel
kernel-lt-doc.noarch                                5.4.249-1.el7.elrepo                    elrepo-kernel
kernel-lt-headers.x86_64                            5.4.249-1.el7.elrepo                    elrepo-kernel
kernel-lt-tools.x86_64                              5.4.249-1.el7.elrepo                    elrepo-kernel
kernel-lt-tools-libs.x86_64                         5.4.249-1.el7.elrepo                    elrepo-kernel
kernel-lt-tools-libs-devel.x86_64                   5.4.249-1.el7.elrepo                    elrepo-kernel
kernel-ml.x86_64                                    6.4.3-1.el7.elrepo                      elrepo-kernel
kernel-ml-devel.x86_64                              6.4.3-1.el7.elrepo                      elrepo-kernel
kernel-ml-doc.noarch                                6.4.3-1.el7.elrepo                      elrepo-kernel
kernel-ml-headers.x86_64                            6.4.3-1.el7.elrepo                      elrepo-kernel
kernel-ml-tools.x86_64                              6.4.3-1.el7.elrepo                      elrepo-kernel
kernel-ml-tools-libs.x86_64                         6.4.3-1.el7.elrepo                      elrepo-kernel
kernel-ml-tools-libs-devel.x86_64                   6.4.3-1.el7.elrepo                      elrepo-kernel
perf.x86_64                                         5.4.249-1.el7.elrepo                    elrepo-kernel
python-perf.x86_64                                  5.4.249-1.el7.elrepo                    elrepo-kernel


yum --enablerepo=elrepo-kernel install  kernel-ml-devel kernel-ml -y

#内核默认启动顺序
[root@client ~]# awk -F\' '$1=="menuentry " {print $2}' /etc/grub2.cfg
CentOS Linux (6.4.3-1.el7.elrepo.x86_64) 7 (Core)
CentOS Linux (3.10.0-957.el7.x86_64) 7 (Core)
CentOS Linux (0-rescue-3e4185a101a24cd88c8db432a7f43144) 7 (Core)


grub2-set-default 0

 reboot
 
 #删除旧内核
 yum remove kernel -y
 
 
 yum  -y install python-setuptools

创建epel源

yum install -y epel*


[Ceph]
name=Ceph packages for $basearch
baseurl=http://mirrors.aliyun.com/ceph/rpm-luminous/el7/$basearch
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc
priority=1

[Ceph-noarch]
name=Ceph noarch packages
baseurl=http://mirrors.aliyun.com/ceph/rpm-luminous/el7/noarch
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc
priority=1

[ceph-source]
name=Ceph source packages
baseurl=http://mirrors.aliyun.com/ceph/rpm-luminous/el7/SRPMS
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://mirrors.aliyun.com/ceph/keys/release.asc
priority=1

[root@client ~]# vim /etc/yum.conf  #开启yum缓存
keepcache=1

yum clean all
su - cephu

admin节点对client授权


[cephu@admin my-cluster]$ ceph-deploy admin client
#client修改读写权限
[cephu@client ~]$ sudo chmod +r /etc/ceph/ceph.client.admin.keyring
[cephu@client ~]$ sudo vi /etc/ceph/ceph.conf #在global section下添加：
rbd_default_features = 1

client节点创建块设备镜像

rbd create foo --size 4096
---映射---
#映射到主机
[cephu@client ~]$ sudo rbd map foo --name client.admin
/dev/rbd0
#格式化块设备
sudo mkfs.ext4 -m 0 /dev/rbd/rbd/foo

[cephu@client ~]$ sudo mkdir /mnt/ceph-block-device
[cephu@client ~]$ sudo mount /dev/rbd/rbd/foo /mnt/ceph-block-device
[cephu@client ~]$ cd /mnt/ceph-block-device
[cephu@client ceph-block-device]$ df -Th
Filesystem              Type      Size  Used Avail Use% Mounted on
devtmpfs                devtmpfs  452M     0  452M   0% /dev
tmpfs                   tmpfs     465M     0  465M   0% /dev/shm
tmpfs                   tmpfs     465M  6.6M  458M   2% /run
tmpfs                   tmpfs     465M     0  465M   0% /sys/fs/cgroup
/dev/mapper/centos-root xfs        17G  2.0G   16G  12% /
/dev/sda1               xfs      1014M  141M  874M  14% /boot
tmpfs                   tmpfs      93M     0   93M   0% /run/user/0
/dev/rbd0               ext4      3.8G   24K  3.8G   1% /mnt/ceph-block-device
[cephu@client ceph-block-device]$ sudo touch test.txt

客户端重起后，设备需要重新作映射,否则可能卡死。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/745780.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

机器学习 day25（softmax在神经网络模型上的应用，提高数据精度的方法）

机器学习 day25（softmax在神经网络模型上的应用，提高数据精度的方法）

输出层采用softmax 在识别手写数字的模型中，预测y只有两个结果，所以输出层采用sigmoid激活函数且只有一个神经元。若预测y有10个结果（0-9），该模型的前向传播计算方式与识别数字的模型完全相同，即隐藏层的…
阅读更多...
【力扣算法07】之 2.两数相加 python

【力扣算法07】之 2.两数相加 python

文章目录 问题描述示例1示例2示例 3提示 思路分析代码分析完整代码详细分析 完结 问题描述 给你两个 非空 的链表，表示两个非负的整数。它们每位数字都是按照 逆序 的方式存储的，并且每个节点只能存储 一位 数字。 请你将两个数相加，并以相同…
阅读更多...
RabbitMQ常用工作模式+整合springboot

RabbitMQ常用工作模式+整合springboot

目录 1.MQ的相关概念 1.1 什么是MQ消息中间件 1.2 为什么使用MQ (1) 应用解耦 (2) 异步提速 (3)削峰填谷 1.3 使用MQ的劣势 1.4 常见的MQ组件​​​​​​​ 2. RabbitMQ的概述 2.1 RabbitMQ的概念 2.2 RabbitMQ的原理 2.3 安装RabbitMQ 3. RabbitMQ 的工作模式…
阅读更多...
Swift与OC的混编

Swift与OC的混编

一些场面话 在一位前辈的博客里看到了关于iOS开发的各种语言的混编，浅浅学习一下怎么使用。不得不说语言混编的开发者是真的🐮🍺 Swift中用OC混编 新建一个Swift文件 创建一个OC的类 选择language为OC 继续往下走，会跳出这个界…
阅读更多...
学无止境·MySQL⑤（存储函数、存储过程）

学无止境·MySQL⑤（存储函数、存储过程）

存储函数和存储过程试题 试题一1、创建一个可以统计表格内记录条数的存储函数 ，函数名为count_sch()2、创建一个存储过程avg_sai，有3个参数，分别是deptno，job，接收平均工资，功能查询emp表dept为30&#xff…
阅读更多...
C/C++用socket实现简单的TCP文件传输

C/C++用socket实现简单的TCP文件传输

C/C:用socket实现简单的TCP文件传输 网络中进程之间如何进行通信socket是什么socket的基本操作socket()函数bind()函数listen()、connect()函数accept()函数recv()/send()函数close()函数 TCP的“三次握手”“三次握手”的作用 TCP的“四次挥手”四次挥手的一些注意事项 代码实…
阅读更多...
【附3.7安装包】python安装包下载及安装（超详细）

【附3.7安装包】python安装包下载及安装（超详细）

python3.7链接：https://pan.baidu.com/s/1Ett3XBMjWhkVOxkOU8NRqw?pwdqz3l 提取码：qz3l 今日资源：Python 适用系统：WINDOWS ​ Python 3.7.0 软件介绍： Python是一款通用型的计算机程序设计语言，Pytho…
阅读更多...
【Leetcode】19. 删除链表的倒数第N个节点

【Leetcode】19. 删除链表的倒数第N个节点

给你一个链表，删除链表的倒数第 n 个结点，并且返回链表的头结点。 进阶：你能尝试使用一趟扫描实现吗？ 示例 1： 输入：head [1,2,3,4,5], n 2 输出：[1,2,3,5] 示例 2： 输入&…
阅读更多...
有没有线上兼职的副业，在家可以做什么赚钱

有没有线上兼职的副业，在家可以做什么赚钱

线上兼职副业啊，确实是一个不错的副业选择！不过，我得提醒你，如果想要那种点一下鼠标就会下金币的神仙项目，这样的期待的话，那我只能告诉你，你可能走错地方了，在这帮不了你。 在线上赚…
阅读更多...
LeetCode[470]用Rand7()实现Rand10()

LeetCode[470]用Rand7()实现Rand10()

难度：Medium 题目： 给定方法 rand7 可生成 [1,7] 范围内的均匀随机整数，试写一个方法 rand10 生成 [1,10] 范围内的均匀随机整数。 你只能调用 rand7() 且不能调用其他方法。请不要使用系统的 Math.random() 方法。 每个测试用例将有一个内部…
阅读更多...
Python案例分析｜基于模块的库存管理系统

Python案例分析｜基于模块的库存管理系统

本案例是通过一个多模块的库存管理系统案例，帮助大家深入了解基于模块的Python应用程序的开发流程。 01、库存管理系统API设计 本文实现一个简单的基于模块的库存管理系统。系统采用JSON文件来保存数据。产品信息设计为字典，键为sku_id（产品…
阅读更多...
软件工程——第13章软件项目管理知识点整理（完结）

软件工程——第13章软件项目管理知识点整理（完结）

本专栏是博主个人笔记，主要目的是利用碎片化的时间来记忆软工知识点，特此声明！ 文章目录 1.管理的定义？ 2.软件项目管理地位？（重要性） 3.软件项目管理过程从一组项目计划活动开始&#xff0c…
阅读更多...
怎么制作查询成绩的网页？这个不用代码的方法你用过没？

怎么制作查询成绩的网页？这个不用代码的方法你用过没？

作为一名老师，与家长沟通交流是日常工作中重要的一部分。特别是每次考完试后，家长都急切地想了解孩子的成绩，以便能及时了解孩子的学习情况并给予适当的支持和指导。然而，为了保护学生的隐私，大部分学校不公开张榜学生…
阅读更多...
字符设备驱动led灯实验

字符设备驱动led灯实验

应用程序代码 #include<stdio.h> #include<string.h> #include <sys/types.h> #include <sys/stat.h> #include <fcntl.h> #include <unistd.h> #include <string.h>int main (int argc, const char *argv[]) {char buf[128] &quo…
阅读更多...
马上就要到2023年秋招的黄金时期了，计算机专业面试究竟需要注意些什么？

马上就要到2023年秋招的黄金时期了，计算机专业面试究竟需要注意些什么？

说说自己&#xff0c;不算很突出。本人 17 年就读于一所普通的本科学校&#xff0c;20 年 6 月在三年经验的时候顺利通过校招实习面试进入大厂&#xff0c;现就职于某大厂安全实验室。 所以我还是比较有话语权的吧。 话不多说直接进入主题。 1.理论知识准备&#xff1a;复习计算…
阅读更多...
驱动 day9 作业

驱动 day9 作业

要求&#xff1a; 现象 按下key1 led1灯的状态取反&#xff0c;number的值取反&#xff0c;然后应用程序打印从内核读到的number的值 应用程序test.c #include <stdio.h> #include <stdlib.h> #include <sys/types.h> #include <sys/stat.h> #incl…
阅读更多...
Bash 有效电话号码

Bash 有效电话号码

193 有效电话号码 给定一个包含电话号码列表&#xff08;一行一个电话号码&#xff09;的文本文件 file.txt&#xff0c;写一个单行 bash 脚本输出所有有效的电话号码。 你可以假设一个有效的电话号码必须满足以下两种格式&#xff1a; (xxx) xxx-xxxx 或 xxx-xxx-xxxx。&…
阅读更多...
三维重建以及神经渲染中的学习（三）

三维重建以及神经渲染中的学习（三）

三维重建以及神经渲染中的学习 公众号AI知识物语 本文内容为参加过去一次暑期课程学习时的笔记&#xff0c;浅浅记录下。 三维图形可控生成&#xff1a; 1&#xff1a;学习一个图形生成模型 2&#xff1a;具有可控三维变量&#xff1a;1物体形状&#xff1b;2物体位置&…
阅读更多...
ScannerException: while scanning for the next token found character ‘@‘ 问题解决

ScannerException: while scanning for the next token found character ‘@‘ 问题解决

问题描述 后端项目启动的时候报ScannerException: while scanning for the next token found character ‘‘ 异常&#xff0c;自己有些疑问&#xff0c;项目前一会都还可以&#xff0c;到报错的过程中&#xff0c;项目都没有动过。 解决办法 重新刷新项目就解决了。
阅读更多...
RxSwift 使用方式

RxSwift 使用方式

背景 最近项目业务&#xff0c;所有模块已经支持Swift混编开发&#xff0c;正在逐步使用Swift 方式进行开发新业务&#xff0c;以及逐步替换老业务方式进行发展&#xff0c;所以使用一些较为成熟的Swift 的三方库&#xff0c;成为必要性&#xff0c;经过调研发现RxSwift 在使用…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023