Ceph与Bacula运维实战：数据迁移与备份配置优化指南

news2025/4/3 3:42:12

#作者：猎人

文章目录

  • 1ceph数据迁移&&bacula配置调整
    • 1.1ceph数据迁移&&bacula配置调整
    • 1.2在备份服务器的ceph-client上mount cephfs文件系统
      • 1.2.1迁移数据
      • 1.2.2调整bacula-sd配置

1ceph数据迁移&&bacula配置调整

1.1ceph数据迁移&&bacula配置调整

为了规避因单个OSD利用率达90%而导致整个集群错误无法访问，ceph集群现已在原ceph块设备的基础上建立了cephfs文件系统用于存储数据，需要把原备份到块设备上的设备迁移到新建的cephfs上，迁移完毕后把ceph rbd回收，后续所有的备份数据直接写到cephfs。

  • rbd分配的指定空间满了之后需要新创建，cephpfs的空间可以横向扩容，也可以避免单个OSD引起集群故障

1.2在备份服务器的ceph-client上mount cephfs文件系统

  • T机房（1xx.xxx.xxx.x3）：ceph-fuse -m 1x.xxx.xx.x9:6789 -r /tt_bacula /cephfs/
  • Y机房（1x.xxx.xx.x1）：ceph-fuse -m 1x.xxx.xx.51:6789 /cephfs/

1.2.1迁移数据

  • T：/data1/backup_disk0*/下的数全部数据迁移到/cephfs/tt_bacula/backup_disk0*/
  • Y：/data1/backup_disk0*/下的数全部数据迁移到/cephfs/yz_bacula/backup_disk0*/
    特别注意：在做数据恢复的时候需要把数据还原到原/data1/backup_disk0*/下才能恢复数据

1.2.2调整bacula-sd配置

1.2.2.1T机房:
bacula-sd.conf中添加7个Device FileChgr8/9/10/11/12/13/14分别指向/cephfs/tt_bacula/下的7个目录
bacula-sd.conf新加配置如下：

Autochanger {
  Name = FileChgr8
  Device = FileChgr8-Dev1, FileChgr8-Dev2
  Changer Command = ""
  Changer Device = /dev/null
}
Device {
  Name = FileChgr8-Dev1
  Media Type = File8
  Archive Device = /cephfs/tt_bacula/backup_disk03/
  LabelMedia = yes;                   # lets Bacula label unlabeled media
  Random Access = Yes;
  AutomaticMount = yes;               # when device opened, read it
  RemovableMedia = no;
  AlwaysOpen = no;
  Maximum Concurrent Jobs = 10
}
Device {
  Name = FileChgr8-Dev2
  Media Type = File8
  Archive Device = /cephfs/tt_bacula/backup_disk03/
  LabelMedia = yes;                   # lets Bacula label unlabeled media
  Random Access = Yes;
  AutomaticMount = yes;               # when device opened, read it
  RemovableMedia = no;
  AlwaysOpen = no;
  Maximum Concurrent Jobs = 10
}

Autochanger {
  Name = FileChgr9
  Device = FileChgr9-Dev1, FileChgr9-Dev2
  Changer Command = ""
  Changer Device = /dev/null
}
Device {
  Name = FileChgr9-Dev1
  Media Type = File9
  Archive Device = /cephfs/tt_bacula/backup_disk01/
  LabelMedia = yes;                   # lets Bacula label unlabeled media
  Random Access = Yes;
  AutomaticMount = yes;               # when device opened, read it
  RemovableMedia = no;
  AlwaysOpen = no;
  Maximum Concurrent Jobs = 10
}
Device {
  Name = FileChgr9-Dev2
  Media Type = File9
  Archive Device = /cephfs/tt_bacula/backup_disk01/
  LabelMedia = yes;                   # lets Bacula label unlabeled media
  Random Access = Yes;
  AutomaticMount = yes;               # when device opened, read it
  RemovableMedia = no;
  AlwaysOpen = no;
  Maximum Concurrent Jobs = 10
}

Autochanger {
  Name = FileChgr10
  Device = FileChgr10-Dev1, FileChgr10-Dev2
  Changer Command = ""
  Changer Device = /dev/null
}
Device {
  Name = FileChgr10-Dev1
  Media Type = File10
  Archive Device = /cephfs/tt_bacula/backup_disk02/
  LabelMedia = yes;                   # lets Bacula label unlabeled media
  Random Access = Yes;
  AutomaticMount = yes;               # when device opened, read it
  RemovableMedia = no;
  AlwaysOpen = no;
  Maximum Concurrent Jobs = 10
}
Device {
  Name = FileChgr10-Dev2
  Media Type = File10
  Archive Device = /cephfs/tt_bacula/backup_disk02/
  LabelMedia = yes;                   # lets Bacula label unlabeled media
  Random Access = Yes;
  AutomaticMount = yes;               # when device opened, read it
  RemovableMedia = no;
  AlwaysOpen = no;
  Maximum Concurrent Jobs = 10
}

Autochanger {
  Name = FileChgr11
  Device = FileChgr11-Dev1, FileChgr11-Dev2
  Changer Command = ""
  Changer Device = /dev/null
}
Device {
  Name = FileChgr11-Dev1
  Media Type = File11
  Archive Device = /cephfs/tt_bacula/backup_disk04/
  LabelMedia = yes;                   # lets Bacula label unlabeled media
  Random Access = Yes;
  AutomaticMount = yes;               # when device opened, read it
  RemovableMedia = no;
  AlwaysOpen = no;
  Maximum Concurrent Jobs = 10
}
Device {
  Name = FileChgr11-Dev2
  Media Type = File11
  Archive Device = /cephfs/tt_bacula/backup_disk04/
  LabelMedia = yes;                   # lets Bacula label unlabeled media
  Random Access = Yes;
  AutomaticMount = yes;               # when device opened, read it
  RemovableMedia = no;
  AlwaysOpen = no;
  Maximum Concurrent Jobs = 10
}

Autochanger {
  Name = FileChgr12
  Device = FileChgr12-Dev1, FileChgr12-Dev2
  Changer Command = ""
  Changer Device = /dev/null
}
Device {
  Name = FileChgr12-Dev1
  Media Type = File12
  Archive Device = /cephfs/tt_bacula/backup_disk05/
  LabelMedia = yes;                   # lets Bacula label unlabeled media
  Random Access = Yes;
  AutomaticMount = yes;               # when device opened, read it
  RemovableMedia = no;
  AlwaysOpen = no;
  Maximum Concurrent Jobs = 10
}
Device {
  Name = FileChgr12-Dev2
  Media Type = File12
  Archive Device = /cephfs/tt_bacula/backup_disk05/
  LabelMedia = yes;                   # lets Bacula label unlabeled media
  Random Access = Yes;
  AutomaticMount = yes;               # when device opened, read it
  RemovableMedia = no;
  AlwaysOpen = no;
  Maximum Concurrent Jobs = 10
}

Autochanger {
  Name = FileChgr13
  Device = FileChgr13-Dev1, FileChgr13-Dev2
  Changer Command = ""
  Changer Device = /dev/null
}
Device {
  Name = FileChgr13-Dev1
  Media Type = File13
  Archive Device = /cephfs/tt_bacula/backup_disk06/
  LabelMedia = yes;                   # lets Bacula label unlabeled media
  Random Access = Yes;
  AutomaticMount = yes;               # when device opened, read it
  RemovableMedia = no;
  AlwaysOpen = no;
  Maximum Concurrent Jobs = 10
}
Device {
  Name = FileChgr13-Dev2
  Media Type = File13
  Archive Device = /cephfs/tt_bacula/backup_disk06/
  LabelMedia = yes;                   # lets Bacula label unlabeled media
  Random Access = Yes;
  AutomaticMount = yes;               # when device opened, read it
  RemovableMedia = no;
  AlwaysOpen = no;
  Maximum Concurrent Jobs = 10
}

Autochanger {
  Name = FileChgr14
  Device = FileChgr14-Dev1, FileChgr14-Dev2
  Changer Command = ""
  Changer Device = /dev/null
}
Device {
  Name = FileChgr14-Dev1
  Media Type = File14
  Archive Device = /cephfs/tt_bacula/backup_disk07/
  LabelMedia = yes;                   # lets Bacula label unlabeled media
  Random Access = Yes;
  AutomaticMount = yes;               # when device opened, read it
  RemovableMedia = no;
  AlwaysOpen = no;
  Maximum Concurrent Jobs = 10
}
Device {
  Name = FileChgr14-Dev2
  Media Type = File14
  Archive Device = /cephfs/tt_bacula/backup_disk07/
  LabelMedia = yes;                   # lets Bacula label unlabeled media
  Random Access = Yes;
  AutomaticMount = yes;               # when device opened, read it
  RemovableMedia = no;
  AlwaysOpen = no;
  Maximum Concurrent Jobs = 10
}
1.2.2.2Y机房:
bacula-sd.conf中添加1个Device FileChgr3分别指向/cephfs/yz_bacula/目录
bacula-sd.conf新加配置如下：
Autochanger {
  Name = FileChgr3
  Device = FileChgr3-Dev1, FileChgr3-Dev2
  Changer Command = ""
  Changer Device = /dev/null
}

Device {
  Name = FileChgr3-Dev1
  Media Type = File3
  Archive Device = /cephfs/yz_bacula
  LabelMedia = yes;                   # lets Bacula label unlabeled media
  Random Access = Yes;
  AutomaticMount = yes;               # when device opened, read it
  RemovableMedia = no;
  AlwaysOpen = no;
  Maximum Concurrent Jobs = 5
}

Device {
  Name = FileChgr3-Dev2
  Media Type = File3
  Archive Device = /cephfs/yz_bacula
  LabelMedia = yes;                   # lets Bacula label unlabeled media
  Random Access = Yes;
  AutomaticMount = yes;               # when device opened, read it
  RemovableMedia = no;
  AlwaysOpen = no;
  Maximum Concurrent Jobs = 5
}

1.2.2.3调整bacula-dir配置

  1. 把前面新添加的7个SD加到bacula-dir.conf中
  2. T机房：把原来Job中的 Storage 都换成对应新建的Storage，例如原Storage = tiantan-ceph-sd7（/data1/backup_disk07/）替换成现在Storage = tiantan-ceph-sd14（/cephfs/tt_bacula/backup_disk07/）
  3. Y机房：把原来Job中的 Storage 都换成对应新建的Storage = yizhuang-ceph-sd3（亦庄把yizhuang-ceph-sd1和yizhuang-ceph-sd2在此做一个合并，合并到yizhuang-ceph-sd3）
    bacula-dir.conf新加配置如下：
Storage {
  Maximum Concurrent Jobs = 10
  Name = tiantan-ceph-sd8
  SDPort = 9103
  Address = xxxxxxxx
  Device = FileChgr8
  Password = "TFDkggO6cIG/PL6P4mRYHjlBvAjckn2eOd7f5l5Zn32o"
  Media Type = File8
}
Storage {
  Maximum Concurrent Jobs = 10
  Name = tiantan-ceph-sd9
  SDPort = 9103
  Address = xxxxxxxx
  Device = FileChgr9
  Password = "TFDkggO6cIG/PL6P4mRYHjlBvAjckn2eOd7f5l5Zn32o"
  Media Type = File9
}
Storage {
  Maximum Concurrent Jobs = 10
  Name = tiantan-ceph-sd10
  SDPort = 9103
  Address = xxxxxxxx
  Device = FileChgr10
  Password = "TFDkggO6cIG/PL6P4mRYHjlBvAjckn2eOd7f5l5Zn32o"
  Media Type = File10
}
Storage {
  Maximum Concurrent Jobs = 10
  Name = tiantan-ceph-sd11
  SDPort = 9103
  Address = xxxxxxxx
  Device = FileChgr11
  Password = "TFDkggO6cIG/PL6P4mRYHjlBvAjckn2eOd7f5l5Zn32o"
  Media Type = File11
}
Storage {
  Maximum Concurrent Jobs = 10
  Name = tiantan-ceph-sd12
  SDPort = 9103
  Address = xxxxxxxx
  Device = FileChgr12
  Password = "TFDkggO6cIG/PL6P4mRYHjlBvAjckn2eOd7f5l5Zn32o"
  Media Type = File12
}
Storage {
  Maximum Concurrent Jobs = 10
  Name = tiantan-ceph-sd13
  SDPort = 9103
  Address = xxxxxxxx
  Device = FileChgr13
  Password = "TFDkggO6cIG/PL6P4mRYHjlBvAjckn2eOd7f5l5Zn32o"
  Media Type = File13
}
Storage {
  Maximum Concurrent Jobs = 10
  Name = tiantan-ceph-sd14
  SDPort = 9103
  Address = xxxxxxxx
  Device = FileChgr14
  Password = "TFDkggO6cIG/PL6P4mRYHjlBvAjckn2eOd7f5l5Zn32o"
  Media Type = File14
}
Storage {
  Maximum Concurrent Jobs = 10
  Name = yizhuang-ceph-sd3
  SDPort = 9103
  Address = xxx
  Device = FileChgr3
  Password = "TFDkggO6cIG/PL6P4mRYHjlBvAjckn2eOd7f5l5Zn32o"
  Media Type = File3
}

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2326254.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

SpringBoot整合LogStash，LogStash采集服务器日志

SpringBoot整合LogStash，LogStash采集服务器日志

LogStash 1. 下载 版本支持兼容表https://www.elastic.co/cn/support/matrix 版本: 7.16.x 的最后一个版本 https://www.elastic.co/downloads/past-releases/logstash-7-16-3 需要提前安装好jdk1.8和ES, 此处不在演示 2. 安装 tar -xvf logstash-7.16.3-linux-x86_64.tar.gz…
阅读更多...
目前市场上，好用的校招系统是哪个？

目前市场上，好用的校招系统是哪个？

在数字化浪潮的推动下，校园招聘已从传统的“海投简历线下宣讲”模式全面转向智能化、数据化。面对每年数百万应届生的激烈竞争，企业如何在短时间内精准筛选人才、优化招聘流程、降低人力成本？答案或许藏在AI驱动的校招管理系统中。而在这场技…
阅读更多...
SharpBrowser：用C#打造超快的个性化开源浏览器！

SharpBrowser：用C#打造超快的个性化开源浏览器！

推荐一个基于.Net 8 和 CefSharp开发的开源浏览器。 01 项目简介 SharpBrowser 是一个用 C# 和 CefSharp 开发的全功能网页浏览器。它声称是最快的开源 C# 网页浏览器，渲染网页的速度比谷歌浏览器还快，因为其使用轻量级的 CEF 渲染器。 经过比较所有可…
阅读更多...
【新模型速递】PAI一键云上零门槛部署DeepSeek-V3-0324、Qwen2.5-VL-32B

【新模型速递】PAI一键云上零门槛部署DeepSeek-V3-0324、Qwen2.5-VL-32B

DeepSeek近期推出了“DeepSeek-V3-0324”版本，据测试在数学推理和前端开发方面的表现已优于 Claude 3.5 和 Claude 3.7 Sonnet。 阿里也推出了多模态大模型Qwen2.5-VL的新版本--“Qwen2.5-VL-32B-Instruct”，32B参数量实现72B级性能，通杀图文…
阅读更多...
【Elasticsearch基础】基本核心概念介绍

【Elasticsearch基础】基本核心概念介绍

Elasticsearch作为当前最流行的分布式搜索和分析引擎，其强大的功能背后是一套精心设计的核心概念体系。本文将深入解析Elasticsearch的五大核心概念，帮助开发者构建坚实的技术基础，并为高效使用ES提供理论支撑。 1 索引（Index&…
阅读更多...
Github 热点项目 awesome-mcp-servers MCP 服务器合集，3分钟实现AI模型自由操控万物！

Github 热点项目 awesome-mcp-servers MCP 服务器合集，3分钟实现AI模型自由操控万物！

【今日推荐】超强AI工具库"awesome-mcp-servers"星数破万！ ① 百宝箱式服务模块：AI能直接操作浏览器、读文件、连数据库，比如让AI助手自动整理Excel表格，三分钟搞定全天报表； ② 跨领域实战利器：…
阅读更多...
SpringMVC 拦截器（Interceptor）

SpringMVC 拦截器（Interceptor）

一.拦截器 假设有这么一个场景，一个系统需要用户登录才能进入，在检验完用户的信息后对页面进行了跳转。但是如果我们直接输入跳转的url，可以绕过用户信息校验（用户登录），直接进入系统。 因此我们引入了使…
阅读更多...
03-SpringBoot3入门-配置文件（自定义配置及读取）

03-SpringBoot3入门-配置文件（自定义配置及读取）

1、自定义配置 # 自定义配置 zbj:user:username: rootpassword: 123456# 自定义集合gfs:- a- b- c2、读取 1）User类 package com.sgu.pojo;import lombok.Data; import org.springframework.boot.context.properties.ConfigurationProperties; import org.spring…
阅读更多...
【蓝桥杯每日一题】3.28

【蓝桥杯每日一题】3.28

🏝️专栏： 【蓝桥杯备篇】 🌅主页： f狐o狸x "今天熬的夜，会变成明天奖状的闪光点！" 目录 一、唯一的雪花 题目链接 题目描述 解题思路 解题代码 二、逛画展 题目链接 题目描述 解题思路 解题代…
阅读更多...
万字长文详解Text-to-SQL

万字长文详解Text-to-SQL

什么是Text-to-SQL 在各个企业数据量暴涨的现在，Text-to-SQL越来越重要了，所以今天就来聊聊Text-to-SQL。 Text-to-SQL是一种将自然语言查询转换为数据库查询的技术。它可以让用户通过自然语言来查询数据库，而不需要编写复杂的SQL语句。 T…
阅读更多...
【Linux】动静态库的制作与使用

【Linux】动静态库的制作与使用

一.对软硬链接的补充 1、无法对目录进行硬链接 为什么呢？ 首先，我们在访问文件时，每一个文件都会有自己的dentry结构，这些结构会在内存中维护一棵路径树，来快速进行路径查找。但是如果某个节点直接使用硬链接到了根节…
阅读更多...
ubuntu22.04 如何安装 ch341 驱动

ubuntu22.04 如何安装 ch341 驱动

前言 本篇是介绍ubuntu22.04如何安装 ch341 驱动，并对其中遇到的问题进行整理。 一、流程 1.1 查看CH340驱动 首先是查看ubuntu22.04系统自带的驱动，用以下命令即可 ls /lib/modules/$(uname -r)/kernel/drivers/usb/serial 然后会跳出以下界面&…
阅读更多...
个人博客网站从搭建到上线教程

个人博客网站从搭建到上线教程

步骤1：设计个人网站 设计个人博客网站的风格样式，可以在各个模板网站上多浏览浏览，以便有更多设计网站风格样式的经验。 设计个人博客网站的内容，你希望你的网站包含哪些内容如你的个人基本信息介绍、你想分享的项目、你想分享的技术文档等等。 步骤2：选择开发技术栈 因…
阅读更多...
mac m4 Homebrew安装MySQL 8.0

mac m4 Homebrew安装MySQL 8.0

1.使用Homebrew安装MySQL8 在终端中输入以下命令来安装MySQL8： brew install mysql8.0 安装完成后，您可以通过以下命令来验证MySQL是否已成功安装： 2.配置mysql环境变量 find / -name mysql 2>/dev/null #找到mysql的安装位置 cd /op…
阅读更多...
UE5学习笔记 FPS游戏制作26 UE中的UI

UE5学习笔记 FPS游戏制作26 UE中的UI

文章目录 几个概念创建一个UI蓝图添加UI获取UI的引用 切换设计器和UI蓝图将UI添加到游戏场景锚点轴点slotSizeToContent三种UI数据更新方式(Text、Image)函数绑定属性绑定事件绑定 九宫格分割图片按钮设置图片绑定按下事件 下拉框创建添加数据修改样式常用函数 滚动框创建添加数…
阅读更多...
Navicat导出mysql数据库表结构说明到excel、word，单表导出方式记录

Navicat导出mysql数据库表结构说明到excel、word，单表导出方式记录

目前只找到一张一张表导出的方式 使用information_schema传入表名查询 字段名根据需要自行删减，一般保留序号、字段名、类型、说明就行 SELECT COLUMNS.ORDINAL_POSITION AS 序号, COLUMNS.COLUMN_NAME AS 字段名, COLUMNS.COLUMN_TYPE AS 类型(长度), COLUMNS.N…
阅读更多...
Linux驱动开发 中断处理

Linux驱动开发 中断处理

目录 序言 1.中断的概念 2.如何使用中断 中断处理流程 中断上下文限制 屏蔽中断/使能 关键区别与选择 上半部中断 下半部中断 软中断（SoftIRQ） 小任务(Tasklet) 工作队列（Workqueue） 线程 IRQ（Threaded IRQ…
阅读更多...
Centos主机检查脚本

Centos主机检查脚本

使用方法： 将脚本保存为 CentOS_syscheck.sh 添加执行权限： chmod x CentOS_syscheck.sh 执行脚本： ./CentOS_syscheck.sh #!/bin/bash# 设置颜色变量 RED\033[0;31m GREEN\033[0;32m YELLOW\033[0;33m BLUE\033[0;34m NC\033[0m # 重置…
阅读更多...
python系统之综合案例：用python打造智能诗词生成助手

python系统之综合案例：用python打造智能诗词生成助手

不为失败找理由，只为成功找方法。所有的不甘，因为还心存梦想，所以在你放弃之前，好好拼一把，只怕心老，不怕路长。 python系列之综合案例 前言一、项目描述二、项目需求三、 项目实现1、开发准备2、代码实现 …
阅读更多...
23种设计模式-结构型模式-桥接器

23种设计模式-结构型模式-桥接器

文章目录 简介问题解决方案示例总结 简介 桥接器是一种结构型设计模式，可将一个大类或一系列紧密相关的类拆分为抽象和实现两个独立的层次结构，从而能在开发时分别使用。 问题 假如你有一个几何形状Shape类，它有两个子类：圆形C…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023