【rsync】远程同步，快速增量备份

news2024/11/27 4:34:56

rsync远程同步

  • 1.rsync远程同步
    • 1.1 rsync概述
    • 1.2 下行同步
    • 1.3 远程文件同步总结
  • 2. 搭建rsync远程文件同步
    • 2.1 搭建rsync远程下行同步
      • 2.1.1 配置rsync服务器端（同步源）
      • 2.1.2 配置rsync客户机（发起端）
    • 2.2 免交互配置
    • 2.3 rysnc认证方式
    • 2.4 搭建rsync远程上行同步
    • 2.5 rsync同步知识点总结
  • 3. 发起端配置rsync+inotify
    • 3.1 安装inotify-tools工具
    • 3.2 编写触发式备份脚本
  • 4.快速删除大量文件
    • 4.1 高频问题：使用rsync来实现快速删除大量文件
    • 4.2 删除大量文件总结

1.rsync远程同步

1.1 rsync概述

rsync（Remote Sync，远程同步）是一个开源的快速备份工具，可以在不同主机之间镜像同步整个目录树，支持增量备份，并保持链接和权限，且采用优化的同步算法，传输前执行压缩，因此非常适用于异地备份、镜像服务器等应用。

在这里插入图片描述

1.2 下行同步

在远程同步任务中，负责发起rsync同步操作的客户机称为发起端，而负责响应来自客户机的rsync同步操作的服务器称为同步源。在同步过程中，同步源负责提供文件的原始位置，发起端应对该位置具有读取权限。

在这里插入图片描述

1.3 远程文件同步总结

#远程文件同步
scp  rsync svn  git(github, gitlab, gitee)

2. 搭建rsync远程文件同步

在这里插入图片描述

2.1 搭建rsync远程下行同步

2.1.1 配置rsync服务器端（同步源）

###关闭和禁止防火墙开机自启功能
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
sed -i 's/enforcing/disabled/' /etc/selinux/config

（1）查看rsync软件包是否已经安装

rpm -q rsync							#一般系统已默认安装rsync
rpm -qc rsync
cat /etc/services | grep rsync

在这里插入图片描述

（2）建立/etc/rsyncd.conf 配置文件，添加共享模块

vim /etc/rsyncd.conf				#添加以下配置项
uid = root
gid = root
use chroot = yes										#禁锢在源目录
address = 192.168.80.10									#监听地址
port = 873												#监听端口 tcp/udp 873，可通过cat /etc/services | grep rsync查看
log file = /var/log/rsyncd.log							#日志文件位置
pid file = /var/run/rsyncd.pid							#存放进程 ID 的文件位置
hosts allow = 192.168.80.0/24							#允许访问的客户机地址
dont compress = *.gz *.bz2 *.tgz *.zip *.rar *.z		#同步时不再压缩的文件类型

[wwwroot]												#共享模块名称
path = /var/www/html									#源目录的实际路径
comment = Document Root of www.kgc.com
read only = yes											#是否为只读
auth users = backuper									#授权账户，多个账号以空格分隔
secrets file = /etc/rsyncd_users.db						#存放账户信息的数据文件

#如采用匿名的方式，只要将其中的“auth users”和“secrets file”配置项去掉即可。
#为备份账户创建数据文件
----------------------------------------------------------------------------------------------------------
vim /etc/rsyncd.conf
###添加并修改如下内容
uid = root
gid = root
use chroot = yes
address = 192.168.80.20
port = 873
max connections = 4
pid file = /var/run/rsyncd.pid
dont compress   = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2
hosts allow = 192.168.80.0/24

[gzy520]
path = /data
comment = gay rsync test dir
read only = yes
auth users = cli
secrets file = /opt/rsyncd_userlist

在这里插入图片描述
（3）设置存放账户信息的数据文件，并修改文件权限

vim /opt/rsyncd_userlist
###该授权用户名要与/etc/rsyncd.conf文件中的用户名相同
cli:123				#无须建立同名系统用户

chmod 600 /opt/rsyncd_userlist
#保证所有用户对源目录/data都有读取权限
mkdir /data
ls -ld /data

在这里插入图片描述
在这里插入图片描述
（4）重新启动rsync服务

#启动rsync服务程序
rsync --daemon				#启动rsync服务，以独立监听服务的方式（守护进程）运行 
netstat -anpt | grep rsync

在这里插入图片描述
(5) 在共享目录/data/下添加文件内容

cd /data/
cp -r /etc/passwd /etc/shadow /etc/hosts /etc/fstab /etc/yum.repos.d ./
echo a > a
echo b > b
echo c > c

在这里插入图片描述

2.1.2 配置rsync客户机（发起端）

基本格式：

rsync [选项] 原始位置 目标位置
常用选项功能作用
-r递归模式，包含目录及子目录中的所有文件
-l对于符号链接文件仍然复制为符号链接文件
-v显示同步过程的详细（verbose）信息
-z在传输文件时进行压缩（compress）
-a归档模式，保留文件的权限、属性等信息，等同于组合选项“-rlptgoD”
-p保留文件的权限标记
-t保留文件的时间标记
-g保留文件的属组标记（仅超级用户使用）
-o保留文件的属主标记（仅超级用户使用）
-H保留硬连接文件
-A保留ACL属性信息
-D保留设备文件及其他特殊文件
–delete删除目标位置有而原始位置没有的文件
–checksum根据校验和（而不是文件大小、修改时间）来决定是否跳过文件
###关闭和禁止防火墙开机自启功能
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
sed -i 's/enforcing/disabled/' /etc/selinux/config

将指定的资源下载到本地/opt/test目录下进行备份

mkdir /opt/test
cd /opt/test

###格式一
rsync -avz cli@192.168.80.20::gzy520 /opt/test

###格式二
rsync -avz --delete rsync://cli@192.168.80.20/gzy520 /opt/test/

在这里插入图片描述
在这里插入图片描述

2.2 免交互配置

免交互格式配置,将密码提前保存到数据文件中

echo 123 > /opt/rsync_pass
chmod 600 /opt/rsync_pass

###进行免交互格式将远程服务器端数据文件下载到本地
rsync -avz --delete --password-file=/opt/rsync_pass rsync://cli@192.168.80.20/gzy520 /opt/test/

###远程备份操作，加入到定时计划中
crontab -e 
30 22 * * * /usr/bin/rsync -az --delete --password-file=/opt/rsync_pass rsync://cli@192.168.80.20/gzy520 /opt/test/
#为了在同步过程中不用输入密码，需要创建一个密码文件，保存cli用户的密码，如/opt/rsync_pass。在执行rsync同步时使用选项 “--password-file=/opt/rsync_pass” 指定即可。

systemctl restart crond
systemctl enable crond

在这里插入图片描述

2.3 rysnc认证方式

rsync有两种常用的认证方式，一种为rsync-demon方式，另外一种则是ssh。在一些场合，使用rsync-demon方式会比较缺乏灵活性，ssh方式则成为首选。
-e ‘ssh -p 22’: rsync使用ssh指定端口，端口如果是22默认端口则不用指定该参数。

rsync -avz -e 'ssh -p 22' root@192.168.80.20:///etc/yum.repos.d/ /opt/test/

在这里插入图片描述

2.4 搭建rsync远程上行同步

在这里插入图片描述

上传本地数据文件到远程服务器
在这里插入图片描述

rsync -avz -e 'ssh -p 22' /opt/test/ root@192.168.80.20:/data/  # /opt/test/加最后面的/，代表推送目录里面的文件，不加/，代表推送目录

在这里插入图片描述
使用rsync-demon方式，进行上传（推送）数据

vim /etc/rsyncd.conf 
###设置只读为no
read only = no

###修改共享目录的权限
chmod 777 /data/

###关闭rsync服务，刷新后在重启rsync服务
kill $(cat /var/run/rsyncd.pid)
netstat -lntp | grep rsync
rsync --daemon
netstat -lntp | grep rsync

在这里插入图片描述
在这里插入图片描述

rsync -avz /opt/test cli@192.168.80.20::gzy520

在这里插入图片描述

2.5 rsync同步知识点总结

同步源服务器(服务器端)

yum install -y rsync
vim /etc/rsyncd.conf
...
[XXX]   #同步源目录模块名称
path= ...
read only = yes/no
auth users =
secrets file =
rsync --daemon  #873瑞口

发起端服务器（客户端）

拉取、下行同步

rsync -avz   原始位置（同步源）    目标位置(本地日录)
rsync -avz   用户@地址::同步源共享模块名   本地目录
rsync -avz   rsync://用户@地址/同步源共享模块名  本地目录
                --password-file=         --delete
rsync -avz -e 'ssh -p ssh目标端口'   同步源共享目录  本地目录

推送、上行同步

rsync -avz  原始位置(本地目录)   目标位置(同步源)
rsync -avz  本地目录   用户@地址::同步源共享模块名
rsync -avz  本地目录   rsync://用户@地址/同步源共享模块名
rsync -avz-e 'ssh -p ssh目标端口'  本地目录  同步源共享目录

3. 发起端配置rsync+inotify

在这里插入图片描述

使用inotify通知接口，可以用来监控文件系统的各种变化情况，如文件存取、删除、移动、修改等。利用这一机制，可以非常方便地实现文件异动告警、增量备份，并针对目录或文件的变化及时作出响应。
将inotify机制与rsync工具相结合，可以实现触发式备份（实时同步），即只要原始位置的文档发生变化，则立即启动增量备份操作；否则处于静默等待状态。这样，就避免了按固定周期备份时存在的延迟性、周期过密等问题。
因为inotify通知机制由Linux内核提供，因此主要做本机监控，在触发式备份中应用时更适合上行同步。

（1）修改rsync源服务器配置文件（服务器端配置文件）

vim /etc/rsyncd.conf
......
read only = no			#关闭只读，上行同步需要可以写

kill $(cat /var/run/rsyncd.pid)
rm -rf /var/run/rsyncd.pid
rsync --daemon	
netstat -anpt | grep rsync

chmod 777 /data/

（2）调整inotify内核参数

在Linux内核中，默认的inotify机制提供了三个调控参数：max_queue_events（监控事件队列，默认值为16384）、max_user_instances（最多监控实例数，默认值为128）、max_user_watches（每个实例最多监控文件数，默认值为8192）。当要监控的目录、文件数量较多或者变化较频繁时，建议加大这三个参数的值。

cat /proc/sys/fs/inotify/max_queued_events
cat /proc/sys/fs/inotify/max_user_instances
cat /proc/sys/fs/inotify/max_user_watches

vim /etc/sysctl.conf
fs.inotify.max_queued_events = 16384
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576

sysctl -p

在这里插入图片描述

3.1 安装inotify-tools工具

用inotify机制还需要安装inotify-tools，以便提供 inotifywait、inotifywatch辅助工具程序，用来监控、汇总改动情况。
inotifywait：可监控modify（修改）、create（创建）、move（移动）、delete（删除）、attrib（属性更改）等各种事件，一有变动立即输出结果。
inotifywatch：可用来收集文件系统变动情况，并在运行结束后输出汇总的变化情况。

cd /opt
rz -E
#inotify-tools-3.14.tar.gz
tar xf inotify-tools-3.14.tar.gz 

cd /opt/inotify-tools-3.14
./configure
make && make -j2 install

在这里插入图片描述

可以先执行“inotifywait”命令，然后另外再开启一个新终端向/opt/test/目录下添加文件、移动文件，在原来的终端中跟踪屏幕输出结果。

inotifywait -mrq -e modify,create,move,delete /opt/test/
#选项“-e”：用来指定要监控哪些事件
#选项“-m”：表示持续监控
#选项“-r”：表示递归整个目录
#选项“-q”：简化输出信息

在这里插入图片描述

在这里插入图片描述

3.2 编写触发式备份脚本

在另外一个终端编写触发式同步脚本（注意，脚本名不可包含rsync字符串，否则脚本可能不生效）

vim /opt/inotify.sh
#!/bin/bash

INOTIFY_CMD="inotifywait -mrq -e modify,create,attrib,move,delete /opt/test/"
RSYNC_CMD="rsync -az --delete --password-file=/opt/rsync_pass /opt/test/ cli@192.168.80.20::gzy520/"
#使用while、read持续获取监控结果，根据结果可以作进一步判断是否读取到输出的监控记录
$INOTIFY_CMD | while read DIRECTORY EVENT FILE
do
    COUNT=$(pgrep rsync | wc -l)
    if [ $COUNT  -le 0 ] ; then
        #如果rsync未在执行，则立即启动
        $RSYNC_CMD
    fi
done

bash /opt/inotify.sh
chmod +x /etc/rc.d/rc.local
echo '/opt/inotify.sh' >> /etc/rc.d/rc.local				#加入开机自动执行

在这里插入图片描述

上述脚本用来检测本机/opt/test/目录的变动情况，一旦有更新触发rsync同步操作，上传备份至服务器 192.168.80.20的data共享目录下。

触发式上行同步的验证过程如下：

（1）在本机运行/opt/inotify.sh脚本程序。
（2）切换到本机的/data/目录，执行增加、删除、修改文件等操作。
（3）查看远端服务器中的/data/目录下的变化情况。
在这里插入图片描述
补充信息： while read可以逐行读取文件内容；
在这里插入图片描述

4.快速删除大量文件

4.1 高频问题：使用rsync来实现快速删除大量文件

假如要在linux下删除大量文件，比如100万、1000万，像/usr/local/nginx/proxy_temp的nginx缓存等，那么rm -rf * 可能就不好使了，因为要等待很长一段时间。在这种情况下我们可以使用rsync来巧妙处理。rsync实际用的是替换原理。

建立一个空的文件夹/opt/kong,然后创建多个大量文件a1-a1000,利用rsync的替换原理删除大量文件a1-a1000；

mkdir /etc/kong
cd /opt
touch a{1..1000}

在这里插入图片描述

用rsync --delete命令删除大量文件；


rsync -a --delete /etc/kong/ /opt/

选项说明：

#用rsync删除目标目录
rsync --delete-before -a -H -v --progress --stats /home/blank/ /usr/local/nginx/proxy_temp/
--delete-before 接收者在传输进行删除操作
-a 归档模式，表示以递归方式传输文件，并保持所有文件属性
-H 保持硬连接的文件
-v 详细输出模式
--progress 在传输时显示传输过程
--stats 给出某些文件的传输状态

在这里插入图片描述

rm:文件数量太多，不可用
find with -exec   50万文件耗时43分钟
find with -delete 9分钟
Perl   16s
Python   9分钟
rsync with -delete  16s

结论： 删除大量小文件rsync最快，最方便。

4.2 删除大量文件总结

#快速清空本地目录
mkdir  空目录
rsync -a --delete  空目录/   要删除大量文件的目标目录/

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/720335.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

水电站运行数据3D可视化展示方便管理运维

水电站运行数据3D可视化展示方便管理运维

水电站是现代能源体系中的重要组成部分，对于保障国家能源安全和经济发展具有重要的意义。然而，由于水电站的建设和管理涉及到大量的技术和专业知识，许多人对水电站的运行和维护存在许多疑惑和困惑。为了解决这些问题，我们引入了全…
阅读更多...
OpenShift 4 - 可观测性之 OpenShift Logging - Loki（附视频）

OpenShift 4 - 可观测性之 OpenShift Logging - Loki（附视频）

《OpenShift / RHEL / DevSecOps 汇总目录》 说明：本文已经在支持 OpenShift 4.12 OpenShift Logging Operator 5.7.2 Loki Operator 5.7.2 的环境中验证 文章目录 OpenShift 基于 Loki 的日志架构安装配置基于 Loki 的日志环境安装 OpenShift Logging Operator 和…
阅读更多...
工地能耗监测系统

工地能耗监测系统

随着全球气候变化的影响日益严重，环保意识逐渐深入人心，绿色建筑和节能减排成为了建筑行业的热门话题。而在建筑工地中，能耗监测成为了一项不可或缺的任务。为了更好地实现能耗监测，工地能耗监测系统应运而生。本文将从以下几个方…
阅读更多...
每日一练 | 华为认证真题练习Day72

每日一练 | 华为认证真题练习Day72

1、Eth-Trunk两端的负载分担模式可以不一致。 A. 对 B. 错 2、如下图所示的网络，交换机使用机接口和路由器的子接口对，则以下哪个配置可以实现这种需求？ A. interface Vlanif10 ip address 10.0.12.1 255.255.255.0 # interface Gigabit…
阅读更多...
在Rust中使用torch------day1环境配置Yolov8推理

在Rust中使用torch------day1环境配置Yolov8推理

现在不管什么专业,貌似多多少少都得和深度学习扯上点关系才好写文章(水文章).其中最常用的深度学习框架应该是tensorflow,pytorch这些python的三方库,既然最近在学Rust那就来借机讲讲torch的Rust绑定—tch-rs 其实tch实际上是基于libtorch的封装,而不是pytorch.因此使用起来如…
阅读更多...
云原生——什么是云原生数据库？

云原生——什么是云原生数据库？

❄️作者介绍：奇妙的大歪❄️ 🎀个人名言：但行前路，不负韶华！🎀 🐽个人简介：云计算网络运维专业人员🐽 前言 突然间，云原生数据库就火了。根据IDC《2021年下半…
阅读更多...
WinForm中使用AnyCAD控件

WinForm中使用AnyCAD控件

一、添加DLL程序集 AnyCAD.Foundation.Net.dll AnyCAD.Presentation.Net.dll AnyCAD.Exchange.Net.dll 二、初始化控件 1.首先创建一个窗体 2.在窗体上放置一个Panel用来放置三维控件 3.初始化控件 完整代码如下： using AnyCAD.Presentation; using System; …
阅读更多...
Generalized Category Discovery(论文翻译)

Generalized Category Discovery(论文翻译)

Generalized Category Discovery 摘要1.导言2.相关工作3.广义类发现3.1 我们的方法 图1.我们提出一个新的设置：“广义类别发现”及其解决方法。我们的设置可以简洁地描述为：给定一个子集具有类标签的数据集，对数据集中所有未标记的图像进行分…
阅读更多...
【嵌入式Qt开发入门】如何使用Qt进行绘图——QPainter 绘图

【嵌入式Qt开发入门】如何使用Qt进行绘图——QPainter 绘图

绘图与图表在嵌入式里有的比较多，尤其是图表，我们常在股票里看到的“图表折线/曲线 图/饼状图等”都可以用 Qt 的图表来实现。绘图和图表的内容本章主要介绍绘图和图表的基本操作，以简单的例子呈现绘图与图表的用法，目的就是快速入…
阅读更多...
抖音怎么私信发名片

抖音怎么私信发名片

抖音怎么私信发名片，抖音私信卡片制作教程来了，视频版教程#新媒体运营工具#软件#抖音消息卡片 hello，大家，我是百收网SEO，今天给大家说一下个人号自动回复卡片，相比企业号自动回复卡片，它的优势…
阅读更多...
MATLAB | 终于找到了修改图例图标的方法(可以自己设计图例啦？)

MATLAB | 终于找到了修改图例图标的方法(可以自己设计图例啦？)

讲一点扒MATLAB底裤的事情叭，就是之前写的有一些绘图函数，比如阴影柱状图，想要把图例里的图标进行修改让其也带着阴影，我采取的是直接绘制一些会检测图例框移动的阴影图标来冒充图例的图标，那么有没有办法真正的自定义…
阅读更多...
如何轻松应对广泛存在开源“0Day”

如何轻松应对广泛存在开源“0Day”

跟不少安全人员讨论过一个很通俗的话题 作为网安从业者最讨厌的是什么？ 不同的人给了很多不同的答案 有的人说： 但更多的人都在说： “零日漏洞”(zero-day)又叫零时差攻击，是指被发现后立即被恶意利用的安全漏洞。通俗地讲&…
阅读更多...
QScintilla自制代码编辑器系列（1）编译库文件与运行测试例子

QScintilla自制代码编辑器系列（1）编译库文件与运行测试例子

1.下载工程源码 我本人机器上的QT是6.4 可以下载最新的代码 https://www.riverbankcomputing.com/static/Downloads/QScintilla/2.14.0/QScintilla_src-2.14.0.zip 2. 编译生成文件 无需改动可以顺利生成库文件 3. 运行例子 1）拷贝头文件 将整个Qsci文件夹拷…
阅读更多...
面试官：你的项目有什么亮点？我：解决了JS脚本加载失败的问题！

面试官：你的项目有什么亮点？我：解决了JS脚本加载失败的问题！

前后端面试题库 （面试必备） 推荐：★★★★★ 地址：前端面试题库 web前端面试题库 VS java后端面试题库大全 面试官：你的项目有什么亮点？解决了什么问题？ 你：嗯...... 面试官&#…
阅读更多...
7.3 【Linux】磁盘的分区、格式化、检验与挂载

7.3 【Linux】磁盘的分区、格式化、检验与挂载

想在系统中新增一颗磁盘时，需要做： 1.对磁盘进行分区，以创建可用的partition； 2.对该partition进行格式化（format),以创建系统可用的filesystem； 3.可对刚刚创建好的filesystem进行检验； 4.…
阅读更多...
Acrel-5000重点用能单位能耗在线监测系统在湖南三立集团的案例分析

Acrel-5000重点用能单位能耗在线监测系统在湖南三立集团的案例分析

安科瑞 崔丽洁 摘要：根据《重点用能节能办法》（国家发展改革委等第七部委2018年15号令）、《重点用能单位能耗在线监测系统推广建设工作方案》（发改环资[2017]1711号）和《关于加速推进重点用能单位能耗在线监测系统建设…
阅读更多...
介绍几种OPTIONS检测的方法

介绍几种OPTIONS检测的方法

概述 日常的VOIP开发中，OPTIONS检测是常用的网络状态检测工具。 OPTIONS原本是作为获取对方能力的消息，也可以检测当前服务状态。正常情况下，UAS收到OPTIONS心跳，直接回复200即可。 与ping不同的是，OPTIONS检测不仅…
阅读更多...
前后端分离开发

前后端分离开发

目录 前后合开发（不推荐） 前后端分离开发（主流） 项目开发的基本步骤 接口文档的管理平台--YApi 前后合开发（不推荐） 沟通成本高分工不明确不便于管理不便于扩展 前后端分离开发（主流&…
阅读更多...
让浮动元素在一行显示

让浮动元素在一行显示

&#x1f4dd;个人主页&#xff1a;爱吃炫迈 &#x1f48c;系列专栏&#xff1a;HTMLCSS &#x1f9d1;‍&#x1f4bb;座右铭&#xff1a;道阻且长&#xff0c;行则将至&#x1f497; <div class"wrap"><div class"item">1</div><di…
阅读更多...
ubuntu实现自动挂载u盘

ubuntu实现自动挂载u盘

ubuntu实现自动挂载u盘 但是&#xff0c;有些设施可以在没有图形工具的情况下进行复制&#xff0c;并且在系统上占用的空间非常小。 例如&#xff0c;在我的设置中&#xff0c;我已经实现了USB自动挂载服务&#xff0c;而无需使用任何外部工具/服务&#xff0c;只有udev和syst…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023