2.2ceph集群部署准备-软件准备上

news2024/11/15 15:44:10

系统的选择

操作系统的选取，除了要考虑ceph本身的运行，一般情况下还需要考虑的因素有如下几点

  • 系统本身的稳定性

    目前稳定可靠的系统主要是基于x86和arm的linux系统，ceph并不能安装到windows上，分支上，debian和redhat为最常见的选择，生产环境用得很多，稳定性久经考验，细分分支中最常见的又数Debian和Centos为佳，像Fedora、ubuntu这类系统虽说开发时间长，用户也多，但作为常年运行的生产环境操作系统来说，是不太合适的。

  • 软件包的支持

    虽然大部分的发行版系统都能够通用软件包，但很难避免有些软件包移植产生一些兼容性问题，尤其在不同平台上，软件包的支持度很重要，运行ceph生产集群除了ceph本身的软件包外，还需要大量的软件包支持集群的监控及补充功能开发，另外，针对ceph的二次开发，也需要一些额外的开发工具支持。

  • 运维人员的熟练度

    集群运行期间需要运维人员进行持续的维护，运维人员对系统的熟悉程度直接关系到运维质量，因此在选定操作系统的同时，也需要考虑运维人员对各类系统的熟练度。

本篇及生产集群的操作系统选取上，我们推荐使用Debian Buster系统，它符合上述的三个要求，并且ceph的Pacific对系统版本有最低要求

在这里插入图片描述

即Centos 7.x系列已经不支持安装Ceph Pacific及后续版本了

节点配置国内APT源及本地源的建设

国内源速度快，这里配置的是清华源的debian源

cat /etc/apt/source.list
deb https://mirrors.tuna.tsinghua.edu.cn/debian/ buster main contrib non-free
deb https://mirrors.tuna.tsinghua.edu.cn/debian/ buster-updates main contrib non-free
deb https://mirrors.tuna.tsinghua.edu.cn/debian/ buster-backports main contrib non-free
deb https://mirrors.tuna.tsinghua.edu.cn/debian-security buster/updates main contrib non-free

配置完成后，需要使用apt update刷新

接下来，我们将自建一个内部的apt源。

我们在前面的步骤中已经配置了腾讯云的源，接下来，我们增加ceph的国内源，并安装apt-mirror

root@debian:/etc/apt# apt install gnupg
root@debian:/etc/apt# wget -q -O- 'http://mirrors.ustc.edu.cn/ceph/keys/release.asc' | apt-key add -
root@debian:/etc/apt# echo deb http://mirrors.ustc.edu.cn/ceph/debian-pacific/ $(lsb_release -sc) main | tee /etc/apt/sources.list.d/ceph.list
root@debian:/etc/apt# apt update
root@debian:/etc/apt# apt install apt-mirror

接下来，我们利用apt源，搭建我们自己的内部源，首先我们要将网络上的源同步到本地，修改mirror的信息如下

############# config ##################
#base_path是指我们同步网络上的源数据到本地的路径，注意这个
#路径必须要有足够的空间存放数据，至少需要110GiB的可用空间
set base_path    /mnt/
set nthreads     20
set _tilde 0
#
############# end config ##############
deb https://mirrors.tuna.tsinghua.edu.cn/debian/ buster main contrib non-free
deb https://mirrors.tuna.tsinghua.edu.cn/debian/ buster-updates main contrib non-free
deb https://mirrors.tuna.tsinghua.edu.cn/debian/ buster-backports main contrib non-free
deb https://mirrors.tuna.tsinghua.edu.cn/debian-security buster/updates main contrib non-free
deb http://mirrors.ustc.edu.cn/ceph/debian-pacific/ buster main

clean http://ftp.us.debian.org/debian

在开始之前,需要修改apt-mirror的相关配置,否则会有部分deb包无法正常下载

vi /usr/bin/apt-mirror
523行加入对xz的支持
if ( $filename =~ m{^$component/i18n/Translation-[^./]*\.(bz2|xz)$} )

配置都准备好后，我们执行apt-mirror命令进行同步，这个时间比较长，待同步完成后，整个源的包就下载好了.

root@debian:/mnt# apt-mirror
Downloading 118 index files using 20 threads...
Begin time: Sun Feb  4 14:39:44 2024
[20]... [19]... [18]... [17]... [16]... [15]... [14]... [13]... [12]... [11]

接下来下载ceph源的key

wget http://mirrors.ustc.edu.cn/ceph/keys/release.asc

安装并配置nginx，使得我们的源可以被其他集群节点正常访问，注意修改目录的文件权限

apt install nginx
chown www-data.www-data -R /mnt/
vi /etc/nginx/conf.d/apt.conf
server {
    listen       80;
    listen       [::]:80;
    server_name 192.168.183.100 #注意这个位置要改对，不对的话没法用
    charset utf-8;

    # Load configuration files for the default server block.
    index index.html;

    location / {
            root   /var/www/mirror;
            autoindex  on;
            autoindex_exact_size  off;
            autoindex_localtime  on;
            index index.html;
    }

    error_page 404 /404.html;
        location = /40x.html {
    }

    error_page 500 502 503 504 /50x.html;
        location = /50x.html {
    }
}
ln -s /mnt/mirror /var/www/mirror
启动nginx并验证是否能够访问80端口

在网络允许的情况下，最好能够定期同步上游的源，避免出现内部源过期的情况

apt客户端的源配置，首先是常规源

deb http://192.168.183.100/mirrors.tuna.tsinghua.edu.cn/debian/ buster main non-free contrib
deb http://192.168.183.100/mirrors.tuna.tsinghua.edu.cn/debian-security buster/updates main
deb http://192.168.183.100/mirrors.tuna.tsinghua.edu.cn/debian/ buster-updates main non-free contrib
deb http://192.168.183.100/mirrors.tuna.tsinghua.edu.cn/debian/ buster-backports main non-free contrib

apt update

接下来配置ceph源，ceph源需要单独配置key才能正常使用

ansible all -i nodes -m shell -a 'apt install -y gnupg'
deb http://192.168.183.100/mirrors.ustc.edu.cn/ceph/debian-pacific/ buster main
集群节点添加对ceph的key
ansible mons -i nodes -m copy -a 'src=/mnt/mirror/release.asc dest=/root/'
cat release.asc | apt-key add -
apt update

这样我们就可以使用内部的apt源了。

ansible工具

在设计规划像ceph这样的分布式集群时，我们必须考虑规模，尽管很多环境集群规模不大，但是用好批量化的工具很重要，无论集群规模大小，都能够在工作中提升工作效率。

ansible是一款针对大量机器进行批量化操作的软件，安装方便，命令简单，功能强大，我们将在环境中大量用到它

首先，安装配置ansible工具

apt install ansible sshpass

完成后，我们就可以使用ansible工具了。

接下来我们简单认识一下ansible工具的配置文件，这个文件保存在当前目录下，名称为ansible.cfg即可

# Comments inside this file must be set BEFORE the option.
# NOT after the option, otherwise the comment will be interpreted as a value to that option.

[defaults]
ansible_managed = Please do not change this file directly since it is managed by Ansible and will be overwritten
library = ./library
action_plugins = plugins/actions
callback_plugins = plugins/callback
roles_path = ./roles
# Be sure the user running Ansible has permissions on the logfile
log_path = ansible.log

# 指定开启进程数
forks = 10
host_key_checking = False
gathering = smart
fact_caching = jsonfile
fact_caching_connection = $HOME/ansible/facts
fact_caching_timeout = 7200
nocows = 1
callback_whitelist = profile_tasks

# Disable them in the context of https://review.openstack.org/#/c/469644
retry_files_enabled = False

# This is the default SSH timeout to use on connection attempts
# CI slaves are slow so by setting a higher value we can avoid the following error:
# Timeout (12s) waiting for privilege escalation prompt:
timeout = 60

接下来，我们配置一个ansible的应用配置，当我们执行ansible命令时，这个配置告诉ansible应该到哪些节点执行哪些任务，比如下面这个nodes文件

cat nodes
[osds]
192.168.183.101
192.168.183.102
192.168.183.103
192.168.183.104
192.168.183.105
192.168.183.106
192.168.183.107
[mons]
192.168.183.101
192.168.183.102
192.168.183.103
[rgws]
192.168.183.108
192.168.183.109
[all:vars]
ansible_ssh_port = 22
ansible_ssh_user=root
ansible_ssh_pass=pupu666

比如，我们可以使用如下命令测试节点的连通性

ansible all -i nodes -m ping

或者我们单独指定探测osd节点的负载情况

ansible osds -i nodes -m shell -a 'uptime'

接下来我们用ansible工具将本节点的hosts文件进行分发，首先创建/etc/hosts文件，hosts相关配置对我们后续集群建设有很大影响

for x in $( seq 1 9 );do echo "192.168.183.10${x} debian${x}";done

cat /etc/hosts
192.168.183.100 deployhost
192.168.183.101 debian1
192.168.183.102 debian2
192.168.183.103 debian3
192.168.183.104 debian4
192.168.183.105 debian5
192.168.183.106 debian6
192.168.183.107 debian7
192.168.183.108 debian8
192.168.183.109 debian9

ansible all -i nodes -m copy -a 'src=/etc/hosts dest=/etc/hosts'

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2110952.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

sponge创建的服务与dtm连接使用etcd、consul、nacos进行服务注册与发现

sponge创建的服务与dtm连接使用etcd、consul、nacos进行服务注册与发现

本文介绍sponge创建的 transfer 服务(grpc)如何与 dtm 使用服务注册与发现连接的。此示例在同一台机器上运行的服务，默认 IP 地址为 127.0.0.1。如果服务运行在不同的机器上，请在 transfer 和 dtm 的配置文件中，将 127.0.0.1 替换为相应的主机…
阅读更多...
TL431精密可调并联稳压器

TL431精密可调并联稳压器

TL431是一种由德州仪器(TI)公司生产的可调精密并联稳压器，具有较广的工作电压范围（2.5V-36V）和优异的电流调节能力。作为一种基准电压源，它广泛用于电源设计、稳压电路以及精密参考电源等应用场合。 TL431的内部结构 TL431具有三…
阅读更多...
Zotero引用参考文献常见问题及解决方法

Zotero引用参考文献常见问题及解决方法

一、显示经典版“添加引注”对话框 使用Word插入参考文献时，会出现引用对话框，默认是图1形式，需要搜索对应文章或者点击下拉箭头才显示保存的文献，很不方便。 图 1 想要默认显示文献，在Zotero中左上角的“编辑”→“首…
阅读更多...
python环境中，pytorch、tensorflow、opencv 包的安装

python环境中，pytorch、tensorflow、opencv 包的安装

知不足而奋进，望远山而前行 —— 24.9.6 tensorflow pip install -i https://pypi.tuna.tsinghua.edu.cn/simple tensorflow-gpu1.13.1 pip install tensorflow -i https://pypi.tuna.tsinghua.edu.cn/simple pytorch pip install torch2.0.0cu118 torchvision0.15…
阅读更多...
基于人工智能的音乐情感分类系统

基于人工智能的音乐情感分类系统

目录 引言项目背景环境准备 硬件要求软件安装与配置系统设计 系统架构关键技术代码示例 数据预处理模型训练模型预测应用场景结论 1. 引言 音乐情感分类是通过对音乐音频信号进行分析，识别出音乐传递的情感，如“愉快”、“悲伤”、“愤怒”等。该技术…
阅读更多...
SVD降维

SVD降维

文章目录 一、SVD降维的基本原理二、SVD降维的步骤三、SVD降维的优点四、SVD降维的应用五、代码应用六、SVD降维的局限性 一、SVD降维的基本原理 SVD是线性代数中的一种技术，它将一个矩阵A分解为三个矩阵的乘积：A UΣV^T。其中，U和V是正交矩…
阅读更多...
【项目二】C++高性能服务器开发——日志系统(各种适配器)

【项目二】C++高性能服务器开发——日志系统(各种适配器)

感谢前人的总结，没有他们，我不会这么快学完･ω･ 知识点备忘录操作记录 知识点备忘录 数据除了打印到控制台还需要打印到本地磁盘和远程日志，所以需要适配器来干这活 涉及多个适配器，打印到控制台的、打印到…
阅读更多...
【操作系统】进程同步之Unix域套接字

【操作系统】进程同步之Unix域套接字

域套接字是一种高级的进程间通信的方法。 Unix域套接字可以用于同一机器多个进程间通信。 下图分别是服务端和客户端怎么使用域套接字： 服务端： 客户端： 分别编译后可以建立连接同步通信。 提供了单机简单可靠的通信同步服务。 只能在单…
阅读更多...
遍历有向网格链路实现

遍历有向网格链路实现

在实际的业务中，我们可能遇到复杂规则（多个或与条件组合），复杂链路等类似场景问题，如：规则引擎相关业务，生产任务排期等。 复杂链路示意图如下： 复杂网路链路场景描述 有一个或多…
阅读更多...
【Python】pip install速度太慢的多种解决方案

【Python】pip install速度太慢的多种解决方案

目录 问题描述为什么 pip 速度这么慢？解决方案1. 使用国内镜像源2. 配置多个镜像源3. 使用第三方工具4. 手动下载后本地安装5. 优化网络环境6. 更新 pip 版本 测试效果 问题描述 在使用 Python 进行开发时，我们经常需要使用 pip 来安装第三方库。然而&am…
阅读更多...
【项目二】C++高性能服务器开发——日志系统(日志器，日志级别，日志事件)

【项目二】C++高性能服务器开发——日志系统(日志器，日志级别，日志事件)

知识点备忘录 其实也没啥 操作记录 在乌邦图上写的，先是模仿sylar创建了目录 进入sylar文件夹，有今天写的log.h头文件 其中log_test.cpp是为了测试log.h能否正常运行建的，只是个测试文件 log.h写了三个类，日志级别&#xff0…
阅读更多...
计算机毕业设计选题推荐-果蔬生产溯源管理系统-Java/Python

计算机毕业设计选题推荐-果蔬生产溯源管理系统-Java/Python

✨作者主页：IT毕设梦工厂✨ 个人简介：曾从事计算机专业培训教学，擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。 ☑文末获取源码☑ 精彩专栏推荐⬇⬇⬇ Java项目 Py…
阅读更多...
C++笔记19•数据结构:红黑树(RBTree)•

C++笔记19•数据结构:红黑树(RBTree)•

红黑树 1.简介： 红黑树，是一种二叉搜索树，但在每个结点上增加一个存储位表示结点的颜色，可以是Red或 Black。 通过对任何一条从根到叶子的路径上各个结点着色方式的限制，红黑树确保没有一条路 径会比其他路径长出俩倍…
阅读更多...
F12抓包05：Network接口测试（抓包篡改请求）

F12抓包05：Network接口测试（抓包篡改请求）

课程大纲 使用线上接口测试网站演示操作，浏览器F12检查工具如何进行简单的接口测试：抓包、复制请求、篡改数据、发送新请求。 测试地址：https://httpbin.org/forms/post ① 抓包：鼠标右键打开“检查”工具（F12&#xf…
阅读更多...
卷积神经网络(一)

卷积神经网络(一)

目录 一.卷积神经网络的组成 二.卷积层 目的： 参数： 计算公式 卷积运算过程 三.padding-零填充 1.Valid and Same卷积 2.奇数维度的过滤器 四.stride步长 五.多通道卷积 1.多卷积核(多个Filter) 六.卷积总结 七.池化层(Pooling) 八.全连接层 都看到这里了，点个…
阅读更多...
Lanenet - 实时车道线检测系统

Lanenet - 实时车道线检测系统

基于深度学习的实时车道线检测，lanenet,tensorflow框架，有界面，可以检测图像和视频等。 项目名称：Lanenet - 实时车道线检测系统 项目概述 Lanenet 是一个利用深度学习技术进行实时车道线检测的系统。该系统旨在帮助驾驶员在行驶…
阅读更多...
分享7款实现社会实践报告AI生成论文网站

分享7款实现社会实践报告AI生成论文网站

在当今社会，AI技术的快速发展极大地改变了我们的生活方式和工作方式。特别是在学术研究和写作领域，AI工具的应用已经变得越来越普遍。本文将详细介绍7款实现社会实践报告AI生成的论文网站，并重点推荐千笔-AIPassPaper。 1. 千笔-AIPassPaper…
阅读更多...
【Pytorch】加载数据

【Pytorch】加载数据

数据集获取：链接: https://pan.baidu.com/s/1jZoTmoFzaTLWh4lKBHVbEA 密码: 5suq 本文基于P5. PyTorch加载数据初认识_哔哩哔哩_bilibili dataset：提供一种方式去获取数据及其label值，解释：Pytorch中的dataset类——创建适应任意…
阅读更多...
使用rsyslog转发自定义日志到指定服务器

使用rsyslog转发自定义日志到指定服务器

rsyslog简介 rsyslog 是一个高度可配置的、功能强大的系统日志守护进程，广泛用于 UNIX 和 Linux 系统中。它是 syslog 的一个扩展版本，提供了许多额外的功能和改进。能够收集、过滤、存储和转发日志数据。它的灵活性和扩展性使其成为现代 Linux 系统中日…
阅读更多...
剪辑视频，这四大工具助你一臂之力！

剪辑视频，这四大工具助你一臂之力！

在这个数字化的时代，视频已成为一种重要的表达手段。无论您是专业视频制作者还是只是偶尔想要编辑一些个人视频，一款优秀的视频剪辑软件都将是您不可或缺的好帮手。以下是几款值得推荐的视频剪辑软件。 福昕视频剪辑 直达链接：www.pdf365.c…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023