rsync远程同步实现异地备份

news2024/11/20 1:31:34

1.rsync 的概念

rsync（Remote Sync，远程同步） 是一个开源的快速备份工具，可以在不同主机之间镜像同步整个目录树，支持增量备份，并保持链接和权限，且采用优化的同步算法，传输前执行压缩，因此非常适用于异地备份、镜像服务器等应用。

  • rsync是一个快速和非常方便的文件复制工具。它能本地复制，远程复制，或者远程守护进程方式复制，它提供了大量的参数来控制其行为的各个方面，并且允许非常灵活的方式来实现文件的传输复制
  • 以其delta-transfer算法闻名。
  • rsync监听端口:873
  • rsync运行模式:C/S

2.  rsync同步方式

  • 完整备份：每次备份都是从备份源将所有的文件或目录备份到目的地。
  • 差量备份：备份上次完全备份以后有变化的数据(针对上次的完全备份，备份过程中不清除存档属性) 。
  • 增量备份：备份上次备份以后有变化的数据(不管是哪种类型的备份，有变化的数据就备份，且会清除存档属性)

3. rsync 特性

  • 可以镜像保存整个目录和文件系统
  • 可以很容易做到保持原文件的权限、时间、软硬连接等
  • 无须特殊权限即可安装

  • 快速，第一次同步时rsync会复制全部内容，但在下一次只传输修改过的文件
    rsync在传输数据的过程中可以实行压缩及解压缩操作，因此可以使用更少的宽带

    安全

  • 可以使用scp、ssh等方式来传输文件，也可通过直接socket连接，支持匿名传输，以方便进行网站镜像。

4. rsync同步源

在远程同步任务中，负责发起 rsync 同步操作的客户机称为客户端，而负责响应来自客户端的 rsync 同步操作的服务器称为备份源，也称之为同步源

在下行同步（下载）中，同步源负责提供文档的原始位置，发起端应对该位置有读取权限

在上行同步（上传）中，同步源负责提供文档的目标位置，发起端应对该位置具有写入权限

发起端：负责发起rsync 同步操作的客户机叫做发起端，通知服务器我要备份你的数据；

备份源：负责响应来自客户机rsync 同步操作的服务器叫做备份源，需要备份的服务器；

服务端：运行rsyncd服务，一般来说是需要备份的服务器；

客户端：存放备份数据。


5.rsync命令

格式：rsync [选项] 原始位置 目标位置

绝大多数的备份程序要求指定原始位置、目标位置，rsync 命令也一样。最简单的 rsync 用法类似于 cp 命令。
例如，可以将文件/etc/fstab、目录/etc/passwd 同步备份到/opt 目录下

常用选项    解释
-v，–verbose    详细模式输出
-q，–quiet    精简输出模式
-c，–checksum    打开校验开关，强制对文件传输进行校验
-a，–archive    归档模式，表示以递归方式传输文件，并保持所有文件树形
-z    在传输文件时进行压缩
-r，–recursive    对子目录以递归模式处理，包含目录及子目录中的所有文件
-H，–hard-links    保留硬链接
-l, --links    保留软链接
–delete    删除目标位置有而原始位置没有的文件（一致性）
–delete-after    传输结束以后再删除
-A    保留ACL属性信息

6. 配置rsync下行同步

主机操作系统IP 地址主要软件
源服务器CentOS7192.168.66.20rsync、httpd
发起端服务器CentOS7192.168.66.30rsync

配置rsync源服务器

做初始化操作，关闭防火墙等。

配置rsync源服务器

#建立/etc/rsyncd.conf 配置文件
vim /etc/rsyncd.conf				#添加以下配置项
uid = root
gid = root
use chroot = yes										#禁锢在源目录
address = 192.168.66.20									#监听地址
port = 873												#监听端口 tcp/udp 873，可通过cat /etc/services | grep rsync查看
log file = /var/log/rsyncd.log							#日志文件位置
pid file = /var/run/rsyncd.pid							#存放进程 ID 的文件位置
hosts allow = 192.168.66.0/24							#允许访问的客户机地址
dont compress = *.gz *.bz2 *.tgz *.zip *.rar *.z		#同步时不再压缩的文件类型

[wwwroot]												#共享模块名称
path = /var/www/html									#源目录的实际路径
comment = Document Root of www.kgc.com
read only = yes											#是否为只读
auth users = backuper									#授权账户，多个账号以空格分隔
secrets file = /etc/rsyncd_users.db						#存放账户信息的数据文件

#如采用匿名的方式，只要将其中的“auth users”和“secrets file”配置项去掉即可。
#为备份账户创建数据文件

编辑用户账号文件并赋权

配置发起端主机（192.168.66.30）

关闭防火墙，安装相应软件


systemctl stop firewalld
systemctl disable firewalld
setenforce 0
#关闭防火墙及安装机制
 
yum install -y rsync

查看同步

设置免交互

7.rsync实时同步（inotify工具）

定期同步的不足

  • 执行备份的时间固定，延迟明显、实时性差

  • 当同步源长期不变化时，密集的定期任务是不必要的

实时同步的优点

  • 一旦同步源出现变化，立即启动备份
  • 只要同步源无变化，则不执行备份

Linux内核的inotify机制

  • 从版本2.6.13开始提供
  • 可以监控文件系统的变动情况，并做出通知响应
  • 辅助软件：inotify-tools

inotify简介

（能监控文件系统的变动情况，并做出通知响应）

将 inotify 机制与 rsync 工具相结合，可以实现触发式备份（实时同步）——只要原始位 置的文档发生变化，则立即启动增量备份操作；否则处于静默等待状态，如下图所示。这样，就避免了按固定周期备份时存在的延迟性、周期过密等问题。

配置inotify（上行同步）+rsync 实时同步

主机操作系统IP 地址主要软件
rsync源服务器CentOS7192.168.66.20rsync
rsync客户机（发起端）CentOS7192.168.66.30rsync、inotify-tools

配置rsync源服务器主机（192.168.66.20）

优化rsync客户机（发起端）内核参数（192.168.66.30）

在Linux内核中，默认的inotify机制提供了三个调控参数：max_queue_events（监控事件队列，默认值为16384）、max_user_instances（最多监控实例数，默认值为128）、max_user_watches（每个实例最多监控文件数，默认值为8192）。当要监控的目录、文件数量较多或者变化较频繁时，建议加大这三个参数的值。

vim /etc/sysctl.conf
fs.inotify.max_queued_events = 16384
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576

sysctl -p

安装 inotify-tools

tar zxvf inotify-tools-3.14.tar.gz -C /opt/

cd /opt/inotify-tools-3.14
./configure
make && make install

#可以先执行“inotifywait”命令，然后另外再开启一个新终端向 /var/www/html 目录下添加文件、移动文件，在原来的终端中跟踪屏幕输出结果。
inotifywait -mrq -e modify,create,move,delete /var/www/html

#选项“-e”：用来指定要监控哪些事件
#选项“-m”：表示持续监控
#选项“-r”：表示递归整个目录
#选项“-q”：简化输出信息

客户机启动监听（192.168.79.220）

用 inotify 机制安装 inotify-tools，提供 inotifywait、inotifywatch 辅助工具程序。

inotifywait：可监控modify（修改）、create（创建）、move（移动）、delete（删除）、attrib（属性更改）等各种事件，一有变动立即输出结果
inotifywatch：可用来收集文件系统变动情况，并在运行结束后输出汇总的变化情况


4．在另外一个终端编写触发式同步脚本（注意，脚本名不可包含 rsync 字符串，否则脚本可能不生效）
vim /opt/inotify.sh
#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e modify,create,attrib,move,delete /var/www/html/"
RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /var/www/html/ backuper@192.168.66.20::wwwroot/"
#使用while、read持续获取监控结果，根据结果可以作进一步判断是否读取到输出的监控记录
$INOTIFY_CMD | while read DIRECTORY EVENT FILE
do
    if [ $(pgrep rsync | wc -l) -le 0 ] ; then
	#如果rsync未在执行，则立即启动
        $RSYNC_CMD
    fi
done



chmod +x /opt/inotify.sh
chmod 777 /var/www/html/
chmod +x /etc/rc.d/rc.local
echo '/opt/inotify.sh' >> /etc/rc.d/rc.local				#加入开机自动执行


上述脚本用来检测本机/var/www/html 目录的变动情况，一旦有更新触发 rsync 同步操作，上传备份至服务器 192.168.80.10 的 wwwroot 共享目录下。
触发式上行同步的验证过程如下：
（1）在本机运行 /opt/inotify.sh 脚本程序。
（2）切换到本机的 /var/www/html 目录，执行增加、删除、修改文件等操作。
（3）查看远端服务器中的 wwwroot 目录下的变化情况。


//使用rsync来实现快速删除大量文件。
假如要在linux下删除大量文件，比如100万、1000万，像/usr/local/nginx/proxy_temp的nginx缓存等，那么rm -rf * 可能就不好使了，因为要等待很长一段时间。在这种情况下我们可以使用rsync来巧妙处理。rsync实际用的是替换原理。

验证


#在客户端手动执行脚本
./inotify.sh
 
#再开启一个客户端终端/var/www/html/ 目录下创建文件test.txt
cd /var/www/html
echo 'this is a test' >> test.txt
#在源服务器查看是否实时同步
cd /var/www/html
ls
cat test.txt
 
#在客户端创建文件、赋予权限和删除文件测试
echo 'this is test2' >> test2.txt
chmod 777 test2.txt
rm -rf test.txt
 
#在源服务器查看是否实时同步
ls
cat test2.txt
ll

8.使用rsync来实现快速删除大量文件

我们可以使用rsync来巧妙处理。rsync实际用的是替换原理。

新建一个文件夹并创建1w个文件

新建一个空文件夹

使用rsync删除目标目录文件

验证：/usr/local/fw 文件夹已经为空

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1375444.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

CSS 选择器全攻略：从入门到精通（下）

CSS 选择器全攻略：从入门到精通（下）

🤍 前端开发工程师（主业）、技术博主（副业）、已过CET6 🍨 阿珊和她的猫_CSDN个人主页 🕠 牛客高级专题作者、在牛客打造高质量专栏《前端面试必备》 🍚 蓝桥云课签约作者、已在蓝桥云…
阅读更多...
数字化发展助力青少年阅读回归“慢节奏”

数字化发展助力青少年阅读回归“慢节奏”

近日，《2024年学前及中小学生寒假分年级阅读推荐书目》发布，正尝试引领青少年阅读在短视频时代回归“慢节奏”。该推荐书目针对每个学龄孩子的学习特点、认知特点、心理特点进行推荐，旨在培养孩子的深度思考能力。 在数字化时代，…
阅读更多...
深度解析Java中的ReadWriteLock：高效处理并发读写操作

深度解析Java中的ReadWriteLock：高效处理并发读写操作

第1章：引言 大家好，我是小黑，今天咱们聊聊读写锁。当多个线程同时对同一数据进行读写操作时，如果没有合理的管理，那数据就乱套了。就好比小黑在写日记，突然来了一帮朋友，大家都想往日记本上写点…
阅读更多...
居中面试问题

居中面试问题

前端常问居中面试问题 css文本居中 文本水平居中 <div class"father"><div class"child"><div> <div>子类元素为行内元素&#xff0c;则给父类元素定义text-align:center 如果子元素是块元素&#xff0c;则给子元素定义margin&…
阅读更多...
统计学-R语言-2.2

统计学-R语言-2.2

文章目录 前言导入.RData文件方式1方式2方式3 导入程序包总结 前言 本篇文章是将上篇得软件安装完&#xff0c;对其部分功能进行介绍。 导入.RData文件 在我们日常练习时会有.RData文件导入&#xff0c;并对其进行分析&#xff0c;下面是两种方导入.RData文件。 方式1 直接…
阅读更多...
Vue3 + TS + Element-Plus —— 项目系统中封装表格+搜索表单 十分钟写五个UI不在是问题

Vue3 + TS + Element-Plus —— 项目系统中封装表格+搜索表单 十分钟写五个UI不在是问题

前期回顾 纯前端 —— 200行JS代码、实现导出Excel、支持DIY样式&#xff0c;纵横合并-CSDN博客https://blog.csdn.net/m0_57904695/article/details/135537511?spm1001.2014.3001.5501 目录 一、&#x1f6e0;️ newTable.vue 封装Table 二、&#x1f6a9; newForm.vue …
阅读更多...
zabbix-proxy代理安装及其他监控方式

zabbix-proxy代理安装及其他监控方式

zabbix-proxy代理安装及其他监控方式 安装zabbix-proxyserver端配置zabbix-proxy配置被监控的agent安装中问题解决监控网络设备JMX和IPMI监控方式 zabbix-proxy的安装&#xff0c;至少需要准备三台机器&#xff0c;一台安装服务端&#xff0c;一台安装agent端&#xff0c;这里就…
阅读更多...
Java注释解析

Java注释解析

ava 中的注释有单行注释 //、多行注释 /* */ 和文档注释 /** */ 三种&#xff0c;其中文档注释可以通过 javadoc 命令生成 API 文档。以下是一个 Java 注解的示例代码&#xff1a; 上述代码中&#xff0c;interface 关键字用于定义注解&#xff0c;接着定义了一个名为 Descrip…
阅读更多...
git 的安装

git 的安装

git 的安装 在我们开始使用 Git 前&#xff0c;需要将它安装在我们的电脑上。即便已经安装&#xff0c;最好将它升级到最新的版本。 我们可以通过软件包或者其它安装程序来安装&#xff0c;或者下载源码编译安装。 本文只介绍通过在 windows 上安装软件包的方式&#xff0c;其…
阅读更多...
格雷希尔G65系列快速接头满足汽车减震器的气压、油压测试要求

格雷希尔G65系列快速接头满足汽车减震器的气压、油压测试要求

当汽车经过不平路面时&#xff0c;汽车减震器可以抑制弹簧吸震后因反弹带来的震荡和来自路面的冲击&#xff0c;为乘客带来平稳舒适的行车体验。减震器在出厂之前&#xff0c;需要模拟汽车的真实行驶环境&#xff0c;在模拟当中需要对它们进行气压和油压的轮番测试。 客户的测试…
阅读更多...
【案例】HOOPS平台帮助Proplanner为客户解决数十年的数据管理难题

【案例】HOOPS平台帮助Proplanner为客户解决数十年的数据管理难题

行业&#xff1a;制造业公司&#xff1a;Proplanner软件&#xff1a;Assembly Planner软件开发工具包&#xff1a;HOOPS Native Platform挑战&#xff1a; 为生产复杂组件的公司引入行业领先产品的新功能。帮助客户轻松导入可视化CAD模型&#xff0c;同时提取底层数据。在工艺…
阅读更多...
禁用code server docker容器中的工作区信任提示

禁用code server docker容器中的工作区信任提示

VSCode 添加受限模式&#xff0c;主要是防止自动运行代码的&#xff0c;比如在vscode配置的task和launch参数是可以运行自定义代码的。如果用VScode打开未知的工程文件就有可能直接运行恶意代码。 但是当我们的实验基础模板文件可控的情况下&#xff0c;要想禁用code server do…
阅读更多...
你为什么还在用Promise.all?

你为什么还在用Promise.all?

请停止在JavaScript中使用Promise.all() 什么是JavaScript中的Promise 如果您偶然发现这篇文章,那么您可能已经熟悉了promise。 但是,对于那些JavaScript新手来说,让我们来详细说明一下。 从本质上讲,Promise对象表示异步操作的最终完成或失败。 有趣的是,当创建promise时,其值…
阅读更多...
书生·浦语第三次作业

书生·浦语第三次作业

我最近在参加书生浦语大模型实战营&#xff0c;这是第三次作业打卡&#xff01; 如果你也想两周玩转大模型微调&#xff0c;部署与测评全链路。报名链接&#xff1a;invite 书生浦语大模型实战营报名 邀请码可以填026014 一、基础作业&#xff1a;复现课程知识库助手搭建过程…
阅读更多...
Vercel配置自定义域名

Vercel配置自定义域名

首先你需要有一个域名 1.点击部署的项目设置 2.找到Domains 3.输入自己的域名 点击添加之后按要求去域名服务商添加解析即可 4.显示下面内容就设置完成了&#xff0c;
阅读更多...
[NOIP2006 提高组] 作业调度方案(修改)

[NOIP2006 提高组] 作业调度方案(修改)

题目&#xff1a; 这里对于之前的题目进行修改记录。果然还是受不了等待&#xff0c;利用晚饭时间又看了这个题目。于是发现了问题。 之前的博客&#xff1a;https://blog.csdn.net/KLSZM/article/details/135522867?spm1001.2014.3001.5501 问题修改描述 上午书写的代码中是…
阅读更多...
Vue新手村（二）

Vue新手村（二）

目录 1、计算属性 2、事件修饰符 2.1、stop事件修饰符 2.2、prevent事件修饰符 2.3、self事件修饰符 2.4、once事件修饰符 3、按键修饰符 3.1、enter回车键 1、计算属性 计算属性&#xff1a; computed&#xff1a;vue官方提供一个计算属性作用&#xff1a;在完成某种业…
阅读更多...
【AI视野·今日NLP 自然语言处理论文速览 第七十三期】Tue, 9 Jan 2024

【AI视野·今日NLP 自然语言处理论文速览 第七十三期】Tue, 9 Jan 2024

AI视野今日CS.NLP 自然语言处理论文速览 Tue, 9 Jan 2024 Totally 80 papers &#x1f449;上期速览✈更多精彩请移步主页 Daily Computation and Language Papers FFSplit: Split Feed-Forward Network For Optimizing Accuracy-Efficiency Trade-off in Language Model Infe…
阅读更多...
浏览器输入一个域名的解析过程

浏览器输入一个域名的解析过程

目录 从输入一个域名的解析过程 以www.baidu.com为例子 本地缓存和hosts文件 mDNS和LLMNR NBT-NS 路由器广播 Root域名服务器 顶级域名服务器 目标域名服务器 DNS解析完成 操作系统发起TCP连接&#xff1a; TCP三次握手&#xff1a; TCP连接的建立采用经典的三次握手过程&#…
阅读更多...
129基于matlab的粒子群算法、遗传算法、鲸鱼算法、改进鲸鱼算法优化最小二乘支持向量机（lssvm）的gam正则化参数和sig2RBF函数的参数

129基于matlab的粒子群算法、遗传算法、鲸鱼算法、改进鲸鱼算法优化最小二乘支持向量机（lssvm）的gam正则化参数和sig2RBF函数的参数

基于matlab的粒子群算法、遗传算法、鲸鱼算法、改进鲸鱼算法优化最小二乘支持向量机&#xff08;lssvm&#xff09;的gam正则化参数和sig2RBF函数的参数。输出适应度曲线&#xff0c;测试机和训练集准确率。程序已调通&#xff0c;可直接运行。 129 matlabLSSVM优化算法 (xiaoh…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023