rsync 备份工具(附rsync+inotify 实时同步部署实例）

news2025/1/25 4:33:17

rsync 备份工具(附rsync+inotify 实时同步部署实例）

  • 1、rsync概述
    • 1.1关于rsync
    • 1.2rsync 的特点
    • 1.3工作原理
  • 2、rsync相关命令
    • 2.1基本格式和常用选项
    • 2.2启动和关闭rsync服务
    • 2.3下行同步基本格式
    • 2.4上行同步基本格式
    • 2.5免交互
      • 2.5.1指定密码文件
      • 2.5.2rsync-daemon方式
      • 2.5.3rsync-ssh方式
    • 2.6定期同步
  • 3、部署rsync定期同步
    • 3.1配置rsync源服务器（节点1）
    • 3.2发起端（节点2）
    • 3.3发起端配置 rsync+inotify
  • 4、使用rsync快速删除大量文件

1、rsync概述

1.1关于rsync

Rsync ( Remote sync)是一个远程数据同步工具，一款快速增量备份工具，使用于unix/Linux/windows等多种平台。

Rsync 使用所谓的“Rsync 演算法”来使本地和远程两个主机之间的文件达到同步，这个算法只传送两个文件的不同部分，而不是每次都整份传送，因此速度相当快。

运行 Rsync server 的机器也叫 backup server，一个 Rsync server 可同时备份多个 client 的数据；也可以多个Rsync server 备份一个 client 的数据。

Rsync 可以搭配 rsh 或 ssh 甚至使用 daemon 模式。

Rsync server 会打开一个873的服务通道（port），等待对方 Rsync 连接。
连接时，Rsync server 会检查口令是否相符，若通过口令查核，则可以开始进行文件传输。

第一次连通完成时，会把整份文件传输一次，下一次就只传送二个文件之间不同的部份。

官方网站: http://rsync.samba.org

1.2rsync 的特点

  • 可以镜像保存整个目录树和文件系统；
  • 可以很容易做到保持原来文件的权限、时间、软硬链接等；
  • 无须特殊权限即可安装；
  • 优化的流程，文件传输效率高；
  • 可以使用 rcp、ssh 等方式来传输文件，当然也可以通过直接的 socket 连接；
  • 支持匿名传输。

1.3工作原理

在这里插入图片描述
在远程同步任务中，负责发起rsync同步操作的客户机称为发起端，而负责响应来自客户机的rsync同步操作的服务器称为rsync同步源。

首先服务器B（发起源）向服务器A（同步源）进行数据备份，将自己的数据备份到服务器A中。

当服务器B中的数据遭到损失或者增量的时候，都会从服务器A中进行数据同步。

服务器B数据丢失则从服务器A中同步数据丢失的部分。

当服务器B数据增多了，就会再次向服务器A进行数据备份，但是备份的不是完整备份，而是增量备份，即备份同步源中没有的数据。

2、rsync相关命令

2.1基本格式和常用选项

#基本格式
rsync [选项] 原始位置 目标位置

在这里插入图片描述

2.2启动和关闭rsync服务

  • 启动服务
//启动 rsync 服务，以独立监听服务的方式（守护进程）运行 
rsync --daemon
  • 关闭服务
//关闭 rsync 服务
kill $(cat /var/run/rsyncd.pid)
rm -rf /var/run/rsyncd.pid

2.3下行同步基本格式

从源服务器拉数据

rsync [选项] 源服务器位置 本地位置

##举个例子#
#格式一
rsync -avz test@192.168.2.102::message /opt/					

#格式二
rsync -avz rsync://test@192.168.2.102/message /opt/

#test为配置文件中的授权账户
#IP地址为同步源地址
#message 为配置文件中定义的共享模块

2.4上行同步基本格式

推数据到源服务器

rsync [选项] 本地位置 源服务器位置

2.5免交互

2.5.1指定密码文件

echo "abc123" > /etc/server.pass
chmod 600 /etc/server.pass

2.5.2rsync-daemon方式

rsync -avz --delete --password-file=/opt/userlist yiliangchen@192.168.80.30::wwwky31  /opt/data/          #rsync-daemon方式

2.5.3rsync-ssh方式

rsync -avz --delete -e 'sshpass -p abc1234 ssh -p 22' /etc/yum.repos.d root@192.168.80.20:/opt/data       #rsync-ssh方式

2.6定期同步

结合crontab计划任务，可以实现定期同步。

#举个例子 
crontab -e
30 22 * * * /usr/bin/rsync -az --delete --password-file=/etc/server.pass backuper@192.168.80.10::wwwroot /opt/
#为了在同步过程中不用输入密码，需要创建一个密码文件，保存 backuper 用户的密码，如 /etc/server.pass。
#在执行 rsync 同步时使用选项 “--password-file=/etc/server.pass” 指定即可。

systemctl restart crond
systemctl enable crond

3、部署rsync定期同步

3.1配置rsync源服务器（节点1）

yum install -y rsync
//安装rsync服务

在这里插入图片描述

rpm -qc rsync		//查看rsync配置文件位置

#建立/etc/rsyncd.conf 配置文件
vim /etc/rsyncd.conf	//添加以下配置项

uid = root
gid = root
use chroot = yes		#禁锢在源目录
max connections = 4
address = 192.168.190.100	#监听地址
port = 873	#监听端口 tcp/udp 873，可通过cat /etc/services | grep rsync查看
log file = /var/log/rsyncd.log	#日志文件位置
pid file = /var/run/rsyncd.pid	#存放进程 ID 的文件位置
hosts allow = 192.168.190.0/24	#允许访问的客户机地址
dont compress = *.gz *.bz2 *.tgz *.zip *.rar *.z		#同步时不再压缩的文件类型

[wwwroot]			#共享模块名称
path = /var/www/html			   #源目录的实际路径
comment = document Root of www
read only = no		#是否为只读
auth users = fsj	#授权账户，多个账号以空格分隔
secrets file = /opt/rsyncd_userlist#存放账户信息的数据文件
#如采用匿名的方式，只要将其中的“auth users”和“secrets file”配置项去掉即可。
#为备份账户创建数据文件

在这里插入图片描述
在这里插入图片描述

vim /opt/rsyncd_userlist
fsj:abc123  #无须建立同名系统用户

在这里插入图片描述

chmod 600 /etc/rsyncd_users.db

在这里插入图片描述

mkdir -p /var/www/html  //创建文件夹

rsync --daemon		#启动 rsync 服务，以独立监听服务的方式（守护进程）运行

在这里插入图片描述

netstat -anpt | grep rsync

在这里插入图片描述

cd /var/www/html

cp /etc/fatab ./

在这里插入图片描述

3.2发起端（节点2）

yum install -y rsync
//安装rsync服务

在这里插入图片描述

启动 rsync 服务程序
rsync --daemon		
#启动 rsync 服务，以独立监听服务的方式（守护进程）运行 

netstat -anpt | grep rsync

在这里插入图片描述

cd /opt  //切换到opt目录
ls
mkdir data //在opt目录下创建data目录
cd data  //切换到data目录
ls

在这里插入图片描述

#将指定的资源下载到本地/opt 目录下进行备份。
格式一：
rsync -avz fsj@192.168.190.100::wwwky31 /opt/data	#密码abc123

在这里插入图片描述

格式二：
rsync -avz rsync://fsj@192.168.190.100/wwwky31 /opt/data

在这里插入图片描述

免交互格式配置：
echo "abc123" > /etc/server.pass
chmod 600 /etc/server.pass

在这里插入图片描述

rsync -avz --delete --password-file=/opt/rsync_passwd fsj@192.168.190.100::wwwky31 /opt/data

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3.3发起端配置 rsync+inotify

使用inotify通知接口，可以用来监控文件系统的各种变化情况，如文件存取、删除、移动、修改等。利用这一机制，可以非常方便地实现文件异动告警、增量备份，并针对目录或文件的变化及时作出响应。将inotify机制与rsync工具相结合，可以实现触发式备份（实时同步），即只要原始位置的文档发生变化，则立即启动增量备份操作；否则处于静默等待状态。这样，就避免了按固定周期备份时存在的延迟性、周期过密等问题。
因为 inotify 通知机制由 Linux 内核提供，因此主要做本机监控，在触发式备份中应用时更适合上行同步。

修改rsync源服务器配置文件
vim /etc/rsyncd.conf
......
read only = no											#关闭只读，上行同步需要可以写

kill $(cat /var/run/rsyncd.pid)
rm -rf /var/run/rsyncd.pid
rsync --daemon	
netstat -anpt | grep rsync

chmod 777 /var/www/html/

调整 inotify 内核参数
vim /etc/sysctl.conf
fs.inotify.max_queued_events = 16384
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576

在这里插入图片描述

安装 inotify-tools 用 inotify 机制还需要安装 inotify-tools，以便提供 inotifywait、inotifywatch 辅助工具程序，用来监控、汇总改动情况。
inotifywait：可监控modify（修改）、create（创建）、move（移动）、delete（删除）、attrib（属性更改）等各种事件，一有变动立即输出结果。
inotifywatch：可用来收集文件系统变动情况，并在运行结束后输出汇总的变化情况。

cd /opt
tar zxvf inotify-tools-3.14.tar.gz
cd /opt/inotify-tools-3.14
./configure
make && make install

在这里插入图片描述
在这里插入图片描述

然后另外再开启一个新终端向 /var/www/html 目录下添加文件、移动文件，在原来的终端中跟踪屏幕输出结果。
inotifywait -mrq -e modify,create,move,delete /var/www/html

在这里插入图片描述
在这里插入图片描述

在另外一个终端编写触发式同步脚本（注意，脚本名不可包含 rsync 字符串，否则脚本可能不生效）

yum install -y rsync
//安装rsync服务

在这里插入图片描述

cd /opt
tar zxvf inotify-tools-3.14.tar.gz 
cd /opt/inotify-tools-3.14
./configure
make && make install

在这里插入图片描述

vim inotify.sh
#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e modify,create,attrib,move,delete /var/www/html/"
RSYNC_CMD="rsync -azH --delete --password-file=/opt/rsync_passwd /vopt/data/fsj@192.168.190.100::wwwky31/"
#使用while、read持续获取监控结果，根据结果可以作进一步判断是否读取到输出的监控记录
$INOTIFY_CMD | while read DIRECTORY EVENT FILE
do
    if [ $(pgrep rsync | wc -l) -le 0 ] ; then
	#如果rsync未在执行，则立即启动
        $RSYNC_CMD
    fi
done

在这里插入图片描述

chmod +x inotify.sh

在这里插入图片描述

echo admin123 > /opt/rsync_passwd
chmod 600 /opt/rsync_passwd

在这里插入图片描述
在这里插入图片描述

4、使用rsync快速删除大量文件

使用rm -rf *删除大量文件时，效率较低。

此时，利用rsync的替换原理，结合–delete选项，可以实现快速删除大量文件，比如服务的缓存。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1094415.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

推荐《Blue prison》

推荐《Blue prison》

电视动画片《蓝色监狱》改编自金城宗幸原作、野村优介作画的同名漫画作品，于2021年7月31日宣布电视动画化的消息 [1]。该片由8Bit负责动画制作，于2022年10月9日起播出 [2]，全24集。 该作评为Anime Corner 2022年年度体育动画 [24]&#xff0…
阅读更多...
【MongoDB】MongoDB 的介绍和使用

【MongoDB】MongoDB 的介绍和使用

1. 关系型与非关系型数据库 关系型数据库（RDBMS）和非关系型数据库（NoSQL）是两种不同类型的数据库管理系统。 关系型数据库是基于关系模型的数据库。它使用表（关系）来保存数据，并且通过事先定义…
阅读更多...
雷电模拟器上使用第一个frida（一）之安装

雷电模拟器上使用第一个frida（一）之安装

环境：win10 64，雷电模拟器9.0.60(9)，Android 9，本机Python 3.10.4，路径： python3路径 cd C:\Users\LC\AppData\Local\Programs\Python\Python310pip3路径 cd C:\Users\LC\AppData\Local\Programs\Python\P…
阅读更多...
草莓病害图像数据集（YOLO使用，train为655张照片和val为487张照片）

草莓病害图像数据集（YOLO使用，train为655张照片和val为487张照片）

前言：所有图像和标签是一一对应，没有标签缺失 写了两个程序来分别检查train文件夹的图像和val文件夹图像是否有缺失标签，如果有，会直接打印出缺失标签的图像名字。也方便以后用户自己添加自己收集的图像数据后，核对图…
阅读更多...
NNDL:作业3：分别使用numpy和pytorch实现FNN例题

NNDL:作业3：分别使用numpy和pytorch实现FNN例题

对比【numpy】和【pytorch】程序，总结并陈述。 激活函数Sigmoid用PyTorch自带函数torch.sigmoid()，观察、总结并陈述。 激活函数Sigmoid改变为Relu，观察、总结并陈述。 损失函数MSE用PyTorch自带函数 t.nn.MSELoss()替代，观察、总…
阅读更多...
软件工程与计算总结（十二）详细设计的基础

软件工程与计算总结（十二）详细设计的基础

目录 一.详细设计概述 1.出发点 2.上下文 二.结构化设计 1.思想 2.过程 三.面向对象设计 1.思想 2.过程 3.通过职责建立静态模型 4.通过协作建立动态模型 四.为类间协作开发集成测试用例 五.详细设计文档描述 六.详细设计的评审 一.详细设计概述 1.出发点 详细…
阅读更多...
Java前后端交互实现班级管理（查询）

Java前后端交互实现班级管理（查询）

1，数据库创建存储专业信息的表 2，后端： 连接数据库工具类DBUtil.java： package com.ffyc.webserver.util;import java.sql.*;public class DButils {static {try {Class.forName("com.mysql.cj.jdbc.Driver");} catch…
阅读更多...
施耐德Unity通过Modbus控制变频器

施耐德Unity通过Modbus控制变频器

硬件设备 PLC: Unity Premium (CPU:TSX P57154) 通讯卡: TSX SCP 114 连接电缆: TSX SCP CM 4030 VSD: ATV 58 硬件连接 Unity Premium (CPU: TSX P57154)本身不带Modbus接口，因此，采用TSX SCP 114扩展一个Modbus接口。TSX SCP 114是一个RS-485接…
阅读更多...
java集合之Collection接口体系

java集合之Collection接口体系

一、集合概述 java集合框架标准化了程序处理对象组的方式，它是在J2SE 1.2版本时增加的。 在集合框架之前，Java提供了特定的类来存储和管理对象组，如Dictionary、Vector、Stack、Properties。尽管这些类很有用，但是缺少了集…
阅读更多...
甲醇燃料电池（DMFC） 系统

甲醇燃料电池（DMFC） 系统

甲醇燃料电池（DMFC） 系统框图 ~~
阅读更多...
宅在家里也能干的副业，每天挣60—300元，人人可做

宅在家里也能干的副业，每天挣60—300元，人人可做

想在家搞副业，每天挣60-300元，大家觉得难吗？我告诉你，一点也不难。找对路子，足不出户也能搞钱。今天我就给大家分享一下三个网上靠谱的副业，门槛低上手快，只需一部手机，每天利用碎片…
阅读更多...
【Java每日一题】— —第三十一题：银行账号管理程序设计（2023.10.15）

【Java每日一题】— —第三十一题：银行账号管理程序设计（2023.10.15）

🎃个人专栏： 🐬 算法设计与分析：算法设计与分析_IT闫的博客-CSDN博客 🐳Java基础：Java基础_IT闫的博客-CSDN博客 🐋c语言：c语言_IT闫的博客-CSDN博客 🐟MySQL&#xff1a…
阅读更多...
Elasticsearch系列组件：Kibana无缝集成的数据可视化和探索平台

Elasticsearch系列组件：Kibana无缝集成的数据可视化和探索平台

Elasticsearch 是一个开源的、基于 Lucene 的分布式搜索和分析引擎，设计用于云计算环境中，能够实现实时的、可扩展的搜索、分析和探索全文和结构化数据。它具有高度的可扩展性，可以在短时间内搜索和分析大量数据。 Elasticsearch 不仅仅是一个…
阅读更多...
Java课程设计——图书管理系统

Java课程设计——图书管理系统

文章目录 一、需求分析二、技术介绍2.1相关技术2.2开发环境 三、功能实现1、登录2、图书管理2.1图书列表2.2添加图书2.3修改图书信息2.4查询图书信息 3、用户管理3.1借阅图书3.2修改借阅信息3.3归还图书 4、退出系统 四、部分代码实现获取源码 文章最下方获取源码！&…
阅读更多...
【Retinex theory】【图像增强】-笔记

【Retinex theory】【图像增强】-笔记

1 前言 retinex 是常见的图像增强的方法，retinex 是由两个单词合成的：retina conrtex ，即视网膜皮层。 2 建立的基础 Land 的 retinex theory 建立在三个假设之下： 真实世界是无色的，我们所谓的颜色是光和物质相互…
阅读更多...
VARMA模型的原理与实现

VARMA模型的原理与实现

文章目录 1.多变量模型的基本思想2.VAR模型与VARMA模型3.VARMA模型的实现 1.多变量模型的基本思想 ​ 在现实和竞赛中，时序数据往往是多变量时间序列，我们往往需要借助除了时间之外的变量的帮助来完成预测。比如，如果我们需要预测居民消费支…
阅读更多...
数据结构与算法--其他算法

数据结构与算法--其他算法

数据结构与算法--其他算法 1 汉诺塔问题 2 字符串的全部子序列 3 字符串的全排列 4 纸牌问题 5 逆序栈问题 6 数字和字符串转换问题 7 背包问题 8 N皇后问题 暴力递归就是尝试 1，把问题转化为规模缩小了的同类问题的子问题 2，有明确的不需要继续…
阅读更多...
yolov5+车辆重识别【附代码】

yolov5+车辆重识别【附代码】

本篇文章主要是实现的yolov5和reid结合的车辆重识别项目。是在我之前实现的yolov5_reid行人重识别的代码上修改实现的baseline模型。 目录 相关参考资料 数据集说明 环境说明 项目使用说明 vehicle reid训练 yolov5车辆重识别 从视频中获取想要检测的车(待检测车辆) 车…
阅读更多...
Attention Is All You Need原理与代码详细解读

Attention Is All You Need原理与代码详细解读

文章目录 前言一、Transformer结构的原理1、Transform结构2、位置编码公式3、transformer公式4、FFN结构 二、Encode模块代码解读1、编码数据2、文本Embedding编码3、位置position编码4、Attention编码5、FFN编码 三、Decode模块代码解读1、编码数据2、文本Embedding与位置编码…
阅读更多...
centos6/7 SOCKS5 堆溢出漏洞修复（RPM方式）curl 8.4 CVE-2023-38545 CVE-2023-38546

centos6/7 SOCKS5 堆溢出漏洞修复（RPM方式）curl 8.4 CVE-2023-38545 CVE-2023-38546

引用 https://darkdark.top/update-curl.html centos6 rpm 升级包下载：https://download.csdn.net/download/sinat_24092079/88425840 yum update libcurl-8.4.0-1.el6.1.x86_64.rpm curl-8.4.0-1.el6.1.x86_64.rpmcentos7 rpm 升级包下载：https://down…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023