Rsync远程同步inotify监控

news2024/11/28 10:52:49

Rsync 简介

rsync(Remote Sync,远程同步) 是一个开源的快速备份工具,可以在不同主机之间镜像同步整个目录树,支持增量备份,并保持链接和权限

在远程同步任务中,负责发起rsync同步操作的客户机称为发起端,而负责响应来自客户机的rsync同步操作的服务器称为同步源。在同步过程中,同步源负责提供文件的原始位置,发起端应对该位置具有读取权限

Rsync 是 Linux 系统下的数据镜像备份工具,使用快速增量备份工具 Remote Sync 可以远程同步, 可以在不同主机之间进行同步,可实现全量备份与增量备份,保持链接和权限,且采用优化的同步算法, 传输前执行压缩,因此非常适合用于架构集中式备份或异地备份等应用。同时Rsync支持本地复制,或者与其他 SSH、Rsync 主机同步

Rsync 备份的方式

  1. 发起端:负责rsync  同步操作的客户机叫做发起端,通知服务器我要备份你的数据
  2. 备份源:负责响应来自客户机rsync   同步操作的服务器叫做备份源,需要备份的服务器
  3. 服务端:运行rsyncd服务,一般来说,需要备份的服务器
  4. 客户端:存放备份数据

Rsync 同步方式

  1. 完整备份:每次备份都是从备份源将所有的文件或目录备份到目的地。 
  2. 差量备份:备份上次完全备份以后有变化的数据(他针对的上次的完全备份,他备份过程中不清除存档属性)
  3. 增量备份:备份上次备份以后有变化的数据(他才不管是那种类型的备份,有变化的数据就备份,他会清除存档属性)

Rsync 同步源

rsync同步源:指的就是备份操作的远程服务器,也称备份源。

如:A服务器同步B服务器的数据,B服务器就是备份源 —— 下行同步

相反就是 —— 上行同步

Rsync 常用命令选项

选项功能
-a规章模式,递归并保留对象属性,等同于-rlptgoD
-v显示同步过程信息
-z在传输过程中进行压缩
-H保留硬链接文件
-A保留ACL属性信息
–delete删除目标位置有,而同步源中没有的文件
--checksum根据对象的校验和来决定是否跳过文件

配置源的两种表达方法

格式一

用户名@主机地址::共享模块名

rsync -avz backuper@192.168.10.22::wwwroot /opt/

格式二

rsync://用户名@主机地址/共享模块名

rsync -avz rsync://backuper@192.168.10.22/wwwroot /opt/

Rsync 实验

本地复制

配置服务端与客户端

安装 Rsync

systemctl stop firewall
systemctl disbale firewalld
setenforce 0
yum -y install rsync

建立/etc/rsyncd.conf 配置文件

uid = root
gid = root
use chroot = yes					#禁锢在源目录
address = 192.168.10.18				#监听地址
port 873					        
#监听端口 tcp/udp 873,可通过cat /etc/services | grep rsync查看

log file = /var/log/rsyncd.log		#日志文件位置
pid file = /var/run/rsyncd.pid		#存放进程 ID 的文件位置
hosts allow = 192.168.10.0/24		#允许访问的客户机地址
dont compress = *.gz *.bz2 *.tgz *.zip *.rar *.z		
#同步时不再压缩的文件类型

[wwwroot]				            #共享模块名称
path = /var/www/html				#源目录的实际路径
comment = Document Root of www.kgc.com
read only = yes					    #是否为只读
auth users = backuper				#授权账户,多个账号以空格分隔
secrets file = /etc/rsyncd_users.db	#存放账户信息的数据文件

为备份账户创建数据文件

保证所有用户对源目录/var/www/html 都有读取权限

普通同步完成

免密同步

中间加一段指定密码文件 进行免密登录
rsync -avz --password-file=/etc/server.passbackupera192.168,154.10: :wwwroot /opt

--delete选项的用法

rsync -avz -delete --password-file=/etc/server.pass ydq@20.0.0.55::wwwroot /abc

inotify简介

可以监控文件系统的变动情况,并作出通知响应

vim /etc/sysctl.conf(内核参数文件)
max_queue_events    	#监控事件队列大小
max_user_instances  	#最多监控实例数
max_user_watches    	#每个实例最多监控文件数  

#命令工具
inotifywait     #用于持续监控,时实输出结果
inotifywatch    #用于短期监控,任务完成后再输出结果

常用命令选项

选项功能
-m持续监控
-r递归监控所有子对象
-q简化输出信息
-e指定要监控哪些事件类型
modify修改
create创建
move移动
delete删除

rsync+inotify实现配置

Server 端配置

修改配置文件

vim /etc/rsyncd.conf
read only = no

kill (cat /var/run/rsyncd.pid)
rsync --daemon
netstat -natp |grep rsync

修改内核文件(一个优化操作)

 

Client 端配置

修改配置文件

编写触发同步脚本

vim /opt/inotify.sh

#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e create,delete,move,modify,attrib /abc"
RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /abc/ ydq@20.0.0.55::wwwroot"
 
$INOTIFY_CMD | while read DIRECTORY EVENT FILE
do
    if [ $(pgrep rsync | wc -l) -le 0 ] ; then
        $RSYNC_CMD
	fi
done

#脚本解释
先定义一个变量为监控这个目录中是否创建、删除、移动、修改、属性等信息的变化
再定义一个变量为rsync同步,将/abc中的目录中的信息同步到rsync服务器中的指定目录
再编写一个while循环,先执行监控变量,再执行while循环,
循环内容为,读取目录事件文件,如果rsync进程同步操作不存在,则执行同步操作的变量。

client 端验证

总结

优点

  • 可以时实

缺点

  • 带宽特别充裕的情况下,rsync同步的速率比scp要慢

  • 同步百万级数据,参数严格要按要求去写,不然可能导致同步失败

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1008473.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【Docker】Docker简介

Docker简介 📋导航 1. Docker简介1.1 什么是Docker?1.2 什么是容器?1.3 容器的优势?1.4 Docker的优势?1.5 虚拟技术与容器技术Docker的区别?1.6 为什么学习Docker? 2. 安装Docker3. Docker架构4. Docker命…

【算法训练-栈 一】【结构特性】有效的括号

废话不多说,喊一句号子鼓励自己:程序员永不失业,程序员走向架构!本篇Blog的主题是【栈的使用】,使用【栈】这个基本的数据结构来实现,这个高频题的站点是:CodeTop,筛选条件为&#x…

影刀RPA解决WPS不存在的问题

问题阐述 明明电脑上已经安装了WPS,但影刀程序还是提示没有安装的问题 解决办法 1.打开WPS并关闭所有其他网页 2. 配置与修复 3.开始修复 出现这个框,就要关闭WPS,否则无法执行,关闭WPS不影响其修复 4.等待修复完成即可

《打造高可用PostgreSQL:策略与工具》

🌷🍁 博主猫头虎(🐅🐾)带您 Go to New World✨🍁 🐅🐾猫头虎建议程序员必备技术栈一览表📖: 🛠️ 全栈技术 Full Stack: &#x1f4da…

性能测试、负载测试、压力测试、稳定性测试简单区分

是一个总称,可细分为性能测试、负载测试、压力测试、稳定性测试。 性能测试 以系统设计初期规划的性能指标为预期目标,对系统不断施加压力,验证系统在资源可接受范围内,是否能达到性能瓶颈。 关键词提取理解 有性能指标&#…

【SpringMVC】JSON数据传输与异常处理的使用

文章目录 一、Jackson1.1 Jackson是什么1.2 常用注解1.3 实例1.3.1导入依赖1.3.2 配置spring-mvc.xml1.3.3 JsonController.java 二、Spring MVC异常处理机制2.1 使用原因2.2 SpringMVC异常处理2.2.1 异常处理机制流程图2.2.2 异常处理的三种方式 一、Jackson 1.1 Jackson是什…

Spring Boot配置文件(YAML Properties)总结

文章目录 配置文件的作用YAML配置文件Properties配置文件配置文件的加载顺序激活不同的配置文件配置文件的占位符自定义配置属性加密敏感信息配置文件的最佳实践结论 🎉欢迎来到架构设计专栏~Spring Boot配置文件(YAML & Properties)总结…

解决Java应用程序中的SQLException:Access denied for user ‘root‘@‘localhost‘ 错误

目录 问题背景 解决方案 如何重置 MySQL root 密码: 问题背景 java.sql.SQLException: Access denied for user rootlocalhost (using password: YES) at com.mysql.cj.jdbc.exceptions.SQLError.createSQLException(SQLError.java:127) at com.mysql.cj.jdbc.ex…

树控件、下拉框、文本框常用测试用例

01 控件的测试外观操作 1)项目中的所有树是否风格一致 2)树结构的默认状态是怎样的。比如默认树是否是展开,是展开几级? 是否有默认的焦点?默认值是什么?展开的节点图标和颜色? 3&#xff09…

springboot整合actuator、admin对应用程序进行监控

Spring Boot Actuator 是 Spring Boot 的一个子项目,可以对 Spring Boot 应用程序进行监控和管理,并对外提供了大量的端点,可以选择使用 HTTP 端点或 JMX 来管理和监控应用程序。 这篇文章主要介绍我们的应用程序中怎么加入actuator来对应用进…

算法课程入门

1、算法这门课,主要讲这三件事: 状态空间 最优可行解问题。 确定与非确定。 状态空间的思维方式要掌握住,要能使用状态空间解决新问题。 2、课程安排: 前几本也要看,但是最后一本强烈推荐。 3、经验之谈: …

SpringMVC 的三种异常处理方式详解

目录 1. 什么是异常 2. 为什么要全局异常处理 3. SpringMVC异常分类 4. 异常处理思路 5. 三种异常处理方式示例 ① 配置 SimpleMappingExceptionResolver 处理器 ② 实现 HandlerExceptionResolver 接口 ③ 使用ControllerAdviceExceptionHandler实现全局异常 6. 响应…

TypeScript泛型和类型体操

🎬 岸边的风:个人主页 🔥 个人专栏 :《 VUE 》 《 javaScript 》 ⛺️ 生活的理想,就是为了理想的生活 ! 目录 泛型(Generics) 1. 泛型函数 2. 泛型接口 3. 泛型类 类型体操(Type Gymnast…

leetcode 232 用栈实现队列

请你仅使用两个栈实现先入先出队列。队列应当支持一般队列支持的所有操作(push、pop、peek、empty): 实现 MyQueue 类: void push(int x) 将元素 x 推到队列的末尾int pop() 从队列的开头移除并返回元素int peek() 返回队列开头…

Python实现天文计算

迷途小书童 读完需要 2分钟 速读仅需 1 分钟 1 简介 ephem 模块为 Python 提供了精确的天文计算能力,可以预测星球、卫星的轨道信息,计算日出日落、经星时间等数据,它的算法准确可靠。最初由 Brandon Craig Rhodes 在 20 世纪 90 年代开发&am…

数字IC验证23912--寄存器模型

文章目录 寄存器模型的集成总线UVC的实现总线UVC的示例Adapter的实现Adapter的集成 访问方式前门访问后门访问 寄存器模型的集成 总线UVC的实现 MCDF访问寄存器的总线接口时序较为简单。控制寄存器接口首先需要在每一个时钟解析cmd。当cmd为写指令时,即需要把数据c…

Linux安装mysql8.0.34(图文详细教程2023)

安装mysql数据库目录2023-09-13更新 1. 下载mysql数据库2. 安装3. mysql启动4. 进入数据库修改密码 以下是root用户操作, 非root用户,命令前请添加sudo 1. 下载mysql数据库 下载地址: https://dev.mysql.com/downloads/mysql/ 获取下载链接&…

OPENCV进行图像修复

API # -*- coding:utf-8 -*- """ 作者:794919561 日期:2023/9/14 """ import cv2 import numpy as npimg = cv2.imread("F:\\learnOpenCV\\openCVLearning\\pictures\\Lena.jpg") mask = cv2.imread

移动测试之语音识别功能如何测试?

移动测试之语音识别功能如何测试? 要知道语音识别功能如何测试,我们先了解智能产品语音交互流程: 所以,要进行测试的话,我们需要从以下几个维度来准备测试点: 基础功能测试: 1、声纹的录入&…

不定积分的概念和性质

目录 原函数 不定积分 不定积分的几何意义 原函数的存在定理 不定积分的性质 不定积分是微积分的一个关键部分,它涉及到一个函数的不定积分的计算。不定积分可以理解为求一个函数的原函数,也被称为反导数。原函数是一个函数,使得该函数的…