linux————ceph分布式部署

news2024/11/18 14:32:06

目录

一、概述

特点

1、统一存储

2、高扩展性

3、可靠性强

4、高性能

组件

1、Monitor

2、OSD

3、MOD

4、Objet

5、PG

6、RADOS

7. Libradio

8. CRUSH

9. RBD

10. RGW

11. CephFS

架构图

二、准备工作

三、ceph安装

创建集群目录

修改配置文件

安装

初始化monitor

同步管理信息

​编辑

安装mgr（管理守护进程）

安装rgw

创建mds服务

OSD安装,创建OSD

查看集群状态

三、dashboard安装

开启dashboard模块

生成签名

创建目录

启动服务

设置访问地址与端口

关闭https

查看ceph地址

设置用户和密码

访问测试

在ceph文件系统创建存储池

查看存储池

创建文件系统

查看文件系统

查看mds状态

四、客户挂载

centos1操作

centos4操作

一、概述

        是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。

特点
1、统一存储

        虽然 ceph 底层是一个分布式文件系统，但由于在上层开发了支持对象和块的接口。所以在开源存储软件中，能够一统江湖。至于能不能千秋万代，就不知了。

2、高扩展性

        扩容方便、容量大。能够管理上千台服务器、EB 级的容量。

3、可靠性强

        支持多份强一致性副本，EC。副本能够垮主机、机架、机房、数据中心存放。所以安全可靠。存储节点可以自动管理、自动修复。无单点故障，容错性强。

4、高性能

        因为是多个副本，因此在读写操作时候能够做到高度并行化。理论上，节点越多，整个集群的 IOPS和吞吐量越高。另外一点 ceph 客户端读写数据直接与存储设备(osd) 交互。

组件
1、Monitor

一个Ceph集群需要多个Monitor组成的小集群，它们通过Paxos同步数据，用来保存OSD的元数据。

2、OSD

OSD全称Object Storage Device，也就是负责响应客户端请求返回具体数据的进程。一个Ceph集群一般都有很多个OSD。

3、MOD

MDS全称Ceph Metadata Server，是CephFS服务依赖的元数据服务。

4、Objet

Ceph最底层的存储单元是Object对象，每个Object包含元数据和原始数据。

5、PG

PG全称Placement Grouops，是一个逻辑的概念，一个PG包含多个OSD。引入PG这一层其实是为了更好的分配数据和定位数据。

6、RADOS

RADOS全称Reliable Autonomic Distributed Object Store，是Ceph集群的精华，用户实现数据分配、Failover等集群操作。

7. Libradio

Librados是Rados提供库，因为RADOS是协议很难直接访问，因此上层的RBD、RGW和CephFS都是通过librados访问的，目前提供PHP、Ruby、Java、Python、C和C++支持。

8. CRUSH

CRUSH是Ceph使用的数据分布算法，类似一致性哈希，让数据分配到预期的地方。

9. RBD

RBD全称RADOS block device，是Ceph对外提供的块设备服务。

10. RGW

RGW全称RADOS gateway，是Ceph对外提供的对象存储服务，接口与S3和Swift兼容。

11. CephFS

CephFS全称Ceph File System，是Ceph对外提供的文件系统服务。

架构图

1:文件上传，先将文件切片成N个object（如果开启了cephFS，可以使用MDS缓存）
2:切片后的文件object会存入到Ceph中
3:文件存储前，会经过CRUSH算法，计算当前文件存储归结于哪个PG
4:PG是逻辑概念上对文件存储范围划分的索引
5:根据PG索引将文件存储到指定服务器的OSD中

二、准备工作

centos1    monitor    osd         192.168.100.3
centos2                    osd         192.168.100.4
centos3                    osd         192.168.100.5
centos4                    Client      192.168.100.6

1、关闭防火墙

systemctl stop firewalld.service 
systemctl disable firewalld.service 

2、关闭图形网络管理器

systemctl stop NetworkManager
systemctl disable NetworkManager

3、配置静态ip

sed -i "s/ONBOOT=no/ONBOOT=yes/" /etc/sysconfig/network-scripts/ifcfg-ens33
systemctl restart network

4、关闭selinux

setenforce 0

5、修改主机名

hostnamectl set-hostname centos{1..4}

6、修改设置

sed -i "s/#UseDNS yes/UseDNS no/" /etc/ssh/sshd_config
systemctl restart sshd

7、ssh免密设置

centos1
    ssh-keygen
    for i in 3 4 5 6 ; do ssh-copy-id root@192.168.100.$i;done
centos2
    ssh-keygen
   for i in 3 4 5 6 ; do ssh-copy-id root@192.168.100.$i;done
centos3
    ssh-keygen
    for i in 3 4 5 6 ; do ssh-copy-id root@192.168.100.$i;done
centos4
    ssh-keygen
    for i in 3 4 5 6 ; do ssh-copy-id root@192.168.100.$i;done

8、hosts文件修改

vim /etc/hosts
    192.168.100.3   centos1
    192.168.100.4    centos2
    192.168.100.5    centos3
    192.168.100.6    centos4
for i in 3 4 5 6;do scp /etc/hosts 192.168.100.$i:/etc/;done


9、时间同步

yum install -y ntp
vim /etc/ntp.conf
server 127.127.1.0  ·                  定义时间服务器
fudge 127.127.1.0 stratum 8       定义时间层次

systemctl start ntpd
systemctl enable ntpd

for i in 4 5 6 ;do ssh 192.168.100.$i  ntpdate 192.168.100.3;done

10、添加磁盘，并热扫描

cd /sys/class/scsi_host

for i in `ls`;do echo "- - -" > $i/scan;done
lsblk                        centos1 2 3 都需要进行

11、磁盘格式化

mkfs.xfs /dev/sdb

三、ceph安装

yum install epel-release -y
yum install lttng-ust -y

vim /etc/yum.repos.d/ceph.repo

[Ceph]
name=Ceph packages for $basearch
baseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-mimic/el7/x86_64/
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc

[Ceph-noarch]
name=Ceph noarch packages
# 清华源
baseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-mimic/el7/noarch/
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc

[ceph-source]
name=Ceph source packages
baseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-mimic/el7/SRPMS/
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://download.ceph.com/keys/release.asc

yum -y install ceph ceph-deploy 

创建集群目录

mkdir -p /usr/local/soft/cephcluster
cd /usr/local/soft/cephcluster

ceph-deploy new centos1 centos2 centos3

修改配置文件

vim ceph.conf

#对外开放网段
public network = 192.168.100.0/24
# 设置pool池默认分配数量
osd pool default size = 2
# 容忍更多的时钟误差
mon clock drift allowed = 2
mon clock drift warn backoff = 30
# 允许删除pool
mon_allow_pool_delete = true
[mgr]
# 开启WEB仪表盘
mgr modules = dashboard

安装

ceph-deploy install centos1 centos2 centos3（需要良好网络）

初始化monitor

ceph-deploy mon create-initial 

同步管理信息

ceph-deploy admin  centos1 centos2 centos3

安装mgr（管理守护进程）

ceph-deploy mgr create  centos1 centos2 centos3

安装rgw

ceph-deploy rgw create centos1 centos2 centos3

创建mds服务

ceph-deploy mds create centos1 centos2 centos3

OSD安装,创建OSD

ceph-deploy osd create --data /dev/sdb centos1
ceph-deploy osd create --data /dev/sdb centos2
ceph-deploy osd create --data /dev/sdb centos3

查看集群状态

ceph -s

三、dashboard安装

开启dashboard模块

ceph mgr module enable dashboard

生成签名

ceph dashboard create-self-signed-cert

创建目录

mkdir -p /usr/local/jx/cephcluster/mgr-dashboard

cd /usr/local/jx/cephcluster/mgr-dashboard 

openssl req -new -nodes -x509   -subj "/O=IT/CN=ceph-mgr-dashboard" -days 3650   -keyout dashboard.key -out dashboard.crt -extensions v3_ca

启动服务

ceph mgr module disable dashboard
ceph mgr module enable dashboard

设置访问地址与端口

ceph config set mgr mgr/dashboard/server_addr 192.168.100.3
ceph config set mgr mgr/dashboard/server_port 9001

关闭https

ceph config set mgr mgr/dashboard/ssl false

查看ceph地址

ceph mgr services

设置用户和密码

ceph dashboard set-login-credentials jx123 123.com

访问测试

https://192.168.100.3:8443

在ceph文件系统创建存储池

少于5个OSD可把pg_num设置为128
OSD数量在5到10，可以设置pg_num为512
OSD数量在10到50，可以设置pg_num为4096
OSD数量大于50，需要计算pg_num的值

cd /usr/local/soft/cephcluster

ceph osd pool create cephfs_data 128

ceph osd pool create cephfs_metadata 64

查看存储池

ceph osd lspools

创建文件系统

ceph fs new  fs_test  cephfs_metadata cephfs_data

查看文件系统

ceph fs ls

查看mds状态

ceph mds stat

四、客户挂载

centos1操作

安装

同步管理信息

ceph-deploy install centos4

ceph-deploy admin  centos4

centos4操作

yum install -y ceph-fuse

查看信息

ls  /etc/ceph
ceph.client.admin.keyring

创建挂载目录
mkdir /ceph挂载ceph文件系统
ceph-fuse -k /etc/ceph/ceph.client.admin.keyring -m 192.168.100.3:6789 /ceph

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1039774.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

数据结构上机1

数据结构上机1

1、题目&#xff1a; 将1~10存入数组a[10]&#xff0c;并将其逆序输出 #define _CRT_SECURE_NO_WARNINGS 1 //(1) 将1~10存入数组a[10]&#xff0c;并将其逆序输出#include <stdio.h>int main() {int a[10];// 将1到10存入数组a[10]for (int i 0; i < 10; i){a[i] i…
阅读更多...
[硬件基础]-快速了解I2C串行通信协议

[硬件基础]-快速了解I2C串行通信协议

快速了解I2C串行通信协议 文章目录 快速了解I2C串行通信协议1、硬件接口2、数据帧3、数据操作4、时钟拉伸&#xff08;Clock Stretching&#xff09;5、总线仲裁6、权衡&#xff1a;功率与速度7、总结 内部集成电路协议&#xff08;Inter-Integrated Circuit Protocol&#xff…
阅读更多...
TS编译选项——TS代码错误不生成编译文件

TS编译选项——TS代码错误不生成编译文件

一、TS不生成编译文件 在tsconfig.js文件中配置noEmit属性 {"compilerOptions": {// outDir 用于指定编译后文件所在目录"outDir": "./dist", // 将编译后文件放在dis目录下// 不生成编译后的文件"noEmit": true,} } 二、TS代码错…
阅读更多...
看到一个外贸经典案例， 分享一下

看到一个外贸经典案例， 分享一下

最近看到一个经典案例&#xff0c;案例可能没有多少新奇&#xff0c;但是大家的评论以及给出的解决方案却能给我们很多启发&#xff0c;一个事情要从多方面去进行假设然后一一排除去找到最合适的解决方法&#xff0c; 下面&#xff0c;让我们一起来看看这个外贸小伙伴遇到的问…
阅读更多...
《你好，C语言》：从另一个视角学习并重新审视C语言的意义

《你好，C语言》：从另一个视角学习并重新审视C语言的意义

《你好&#xff0c;C语言》&#xff1a;从另一个视角学习并重新审视C语言的意义 尽管C语言诞生了这么多年&#xff0c;但是它依然活跃在开发者一线&#xff0c;不可否认的是C语言的确有它独特的魅力。本文将从一个全新的视角&#xff0c;重新带领大家学习领悟C语言的奥秘&#…
阅读更多...
[XR-FRAME] 1.O3 文档导览 || XR-FRAME / 有点寡淡，加上图像

[XR-FRAME] 1.O3 文档导览 || XR-FRAME / 有点寡淡，加上图像

开始 | 微信开放文档 文档导览 - XR-FRAME / 有点寡淡&#xff0c;加上图像 。 文档导览&#xff0c;知识点整理。 加入纹理 &#xff1a; 新学习标签&#xff1a; <xr-assets bind:progress"handleAssetsProgress" bind:loaded"handleAssetsLoaded…
阅读更多...
TS编译选项——编译TS文件同时对JS文件进行编译

TS编译选项——编译TS文件同时对JS文件进行编译

一、允许对JS文件进行编译 我们在默认情况下编译TS项目时是不能编译js文件的&#xff0c;如下图中的hello.js文件并未编译到dist目录下&#xff08;这里配置了编译文件放到dist目录下&#xff09; 如果我们想要实现编译TS文件同时对JS文件进行编译&#xff0c;就需要在tsconfi…
阅读更多...
GIS基础教程之坐标系

GIS基础教程之坐标系

本教程从以下几个方面入手&#xff1a; 坐标系的基本概念 地理坐标系 投影坐标系 如何选择坐标系 根据研究区域大小 根据研究目的&#xff08;等角&#xff1f;等面积&#xff1f;等距离&#xff1f;其他&#xff09; 推荐一个在线坐标系选择网站 GIS坐标系几种情况 数…
阅读更多...
【dbeaver】win环境的kerberos认证和Clouders集群中Kerberos认证使用Dbeaver连接Hive和Phoenix

【dbeaver】win环境的kerberos认证和Clouders集群中Kerberos认证使用Dbeaver连接Hive和Phoenix

一、下载驱动 cloudera官网 1.1 官网页面下载 下载页面 的Database Drivers 挑选比较新的版本即可。 1.2 集群下载 Hive可能集群没有驱动包。驱动包名称&#xff1a;HiveJDBC42.jar。41结尾的包也可以使用的。注意Jar包的大小一定是十几MB的。几百KB的是thin包不可用。 …
阅读更多...
nginx(七十九)nginx与tls/ssl续

nginx(七十九)nginx与tls/ssl续

一 nginx与tls/ssl续 说明&#xff1a; 本文是基于tls/ssl学习之后,对之前所写tls/ssl博客的补充,重复的不再啰嗦curve: [椭圆] 曲线补充&#xff1a; 会不定期的补充教育&#xff1a; 解决问题为出发点,不要停留在理论上​遗留&#xff1a; wiresahrk分析TLS 1.2 1.3 握手各…
阅读更多...
win11系统固定到快速访问的文件夹无法调整顺序的问题

win11系统固定到快速访问的文件夹无法调整顺序的问题

最近在使用win11系统时&#xff0c;固定到快速访问的文件夹无法调整顺序。网上搜了一大圈没有对应的解决方法&#xff0c;柳暗花明&#xff0c;在博主yin0hao的一篇文章中找到了类似的&#xff0c;跟着做了一下&#xff0c;结果问题也解决了。在此记录。 在文件资源管理器地址…
阅读更多...
关于10万并发压测时弹性扩容失效问题回答

关于10万并发压测时弹性扩容失效问题回答

之前压测过2万用户在30秒内每个用户每秒5次请求&#xff0c;OPS大概在3千左右&#xff0c;但是弹性伸缩虽然在扩容预期值的时候很给力&#xff0c;也能将新加的服务器添加到负载均衡中&#xff0c;但是当cpu使用率超过80%的时候&#xff0c;我其实是有配置报警任务的&#xff0…
阅读更多...
MySQL：基础操作（1）

MySQL：基础操作（1）

下载配置mysql MySQL&#xff1a;码包安装mysql&#xff08;5.6.51&#xff09;_鲍海超-GNUBHCkalitarro的博客-CSDN博客https://blog.csdn.net/w14768855/article/details/133186897?spm1001.2014.3001.5501 初始登录MySQL mysql -u 用户名 [-p] 一开始什么都没设置 mysql…
阅读更多...
MIPI协议介绍-CPHY

MIPI协议介绍-CPHY

MIPI协议概述 MIPI(Mobile Industry Processor Interface): 是MIPI联盟发起为移动应用处理器制定的开放标准.MIPI接口协议层主要包括CSI和DSI两种,其中CSI主要用于图像输出&#xff0c;如图像传感器等&#xff1b; DSI主要用于图像输入&#xff0c;如屏幕显示器等.对于camera而…
阅读更多...
AUTOSAR扫盲贴--不是黑神话【基本概念和方法论】

AUTOSAR扫盲贴--不是黑神话【基本概念和方法论】

猴子纵有72搬变化，也跳不出如来的手掌 目录 1. 引言 2. AUTOSAR的基本概念 2.1. AUTOSAR的架构和组成部分 2.2. AUTOSAR的规范和
阅读更多...
验证和观察Activity生命周期【Intent跳转】

验证和观察Activity生命周期【Intent跳转】

创建测试项目&#xff0c;验证和观察Activity生命周期&#xff0c;使用Intent实现Activity之间的跳转&#xff1a; 1、创建TestActivity项目&#xff1b; 2、创建SecondActivity及相应布局&#xff1b; 3、在MainActivity和SecondActivity中重写onStart()、onResume()等生命…
阅读更多...
Momentum Contrast for Unsupervised Visual Representation Learning 论文学习

Momentum Contrast for Unsupervised Visual Representation Learning 论文学习

1. 解决了什么问题&#xff1f; 非监督学习在自然语言处理非常成功&#xff0c;如 GPT 和 BERT。但在计算机视觉任务上&#xff0c;监督预训练方法要领先于非监督的方法。这种差异可能是因为各自的信号空间不同&#xff0c;语言任务有着离散的信号空间&#xff08;单词、短语等…
阅读更多...
机器学习总结

机器学习总结

对以下文章机器学习总结 什么是深度学习?最易懂的机器学习入门文章-CSDN博客 人工智能和机器学习之间的关系 人工智能是一个最宽泛的概念&#xff0c;是一个研究领域&#xff0c;同时也是一个实现目标&#xff0c;而机器学习则是实现这一目标的一类方法。深度学习只是机器学…
阅读更多...
N9000A 安捷伦Agilent信号分析仪

N9000A 安捷伦Agilent信号分析仪

181/2461/8938利用先进的低成本信号分析工具&#xff0c;轻松完成基本的信号表征 借助可选的内置跟踪发生器&#xff0c;可以执行经济高效的激励响应测量 通过 X 系列测量应用软件增添重要功能 可以在射频和微波教育实验室中与培训套件结合使用&#xff0c;通过实践练习加深…
阅读更多...
基于微信小程序的数学辅导系统设计与实现(源码+lw+部署文档+讲解等)

基于微信小程序的数学辅导系统设计与实现(源码+lw+部署文档+讲解等)

文章目录 前言用户微信端的主要功能有&#xff1a;管理员的主要功能有&#xff1a;具体实现截图详细视频演示为什么选择我自己的网站自己的小程序&#xff08;小蔡coding&#xff09;有保障的售后福利 代码参考论文参考源码获取 前言 &#x1f497;博主介绍&#xff1a;✌全网粉…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023