rsync增量备份工具

news2024/11/24 17:03:02

目录

一、概述

二、配置 rsync 源服务器

1.查看rsync配置文件位置

2.修改 /etc/rsync.conf 配置文件

 3.为备份账户创建数据文件

4.保证所有用户对源目录都有读取权限

5.启动 rsync 服务

 三、发起端

1.rsync命令

2.将指定的资源远程同步到本地/opt 目录下进行备份。

3.将本地指定文件同步到本地指定目录（类似cp）

4.免交互格式配置

5.定时同步数据

四、发起端配置 rsync+inotify

1. 修改rsync源服务器配置文件

2.发起端调整 inotify 内核参数

3.发起端安装 inotify-tools

 4.在发起端另外一个终端编写触发式同步脚本（注意，脚本名不可包含 rsync 字符串，否则脚本可能不生效）

5.验证 

五、rsync 实现快速删除大量文件

删除命令效率对比

 

一、概述

rsync 远程同步

rsync（Remote Sync，远程同步） 是一个开源的快速备份工具，可以在不同主机之间镜像同步整个目录树，支持增量备份，并保持链接和权限，且采用优化的同步算法，传输前执行压缩，因此非常适用于异地备份、镜像服务器等应用。

在远程同步任务中，负责发起rsync同步操作的客户机称为发起端，而负责响应来自客户机的rsync同步操作的服务器称为同步源。在同步过程中，同步源负责提供文件的原始位置，发起端应对该位置具有读取权限。

rsync支持本地复制，或者与其他SSH、rsync主机同步

官网：http://rsync.samba.org

二、配置 rsync 源服务器

 

备份源：192.168.88.80  源目录：/data
发起端：192.168.88.70  本地数据目录：/opt

1.查看rsync配置文件位置

rpm -qc rsync

2.修改 /etc/rsync.conf 配置文件

vim /etc/rsyncd.conf				#添加以下配置项
uid = root
gid = root
use chroot = yes										#禁锢在源目录
address = 192.168.88.80									#监听地址
port = 873												#监听端口 tcp/udp 873，可通过cat /etc/services | grep rsync查看
log file = /var/log/rsyncd.log							#日志文件位置
pid file = /var/run/rsyncd.pid							#存放进程 ID 的文件位置
hosts allow = 192.168.88.0/24							#允许访问的客户机地址
dont compress = *.gz *.bz2 *.tgz *.zip *.rar *.z		#同步时不再压缩的文件类型

[share]    												#共享模块名称
path = /data          									#源目录的实际路径
comment = Document Root of www.kgc.com
read only = yes											#是否为只读
auth users = abc    									#授权账户，多个账号以空格分隔
secrets file = /etc/rsyncd_users.db						#存放账户信息的数据文件

#如采用匿名的方式，只要将其中的“auth users”和“secrets file”配置项去掉即可。

 3.为备份账户创建数据文件

vim /etc/rsyncd_users.db
格式   用户名：密码
abc:123456				#无须建立同名系统用户

chmod 600 /etc/rsyncd_users.db

4.保证所有用户对源目录都有读取权限

chmod +r /data
ls -ld /data

5.启动 rsync 服务

#启动 rsync 服务程序
rsync --daemon				#启动 rsync 服务，以独立监听服务的方式（守护进程）运行 

netstat -anpt | grep rsync

#关闭 rsync 服务
kill $(cat /var/run/rsyncd.pid)
rm -rf /var/run/rsyncd.pid

 三、发起端

1.rsync命令

基本格式：rsync [选项] 原始位置 目标位置

常用选项：
-r：递归模式，包含目录及子目录中的所有文件。
-l：对于符号链接文件仍然复制为符号链接文件。
-v：显示同步过程的详细（verbose）信息。
-z：在传输文件时进行压缩（compress）。
-a：归档模式，保留文件的权限、属性等信息，等同于组合选项“-rlptgoD”。
-p：保留文件的权限标记。
-t：保留文件的时间标记。
-g：保留文件的属组标记（仅超级用户使用）。
-o：保留文件的属主标记（仅超级用户使用）。
-H：保留硬连接文件。
-A：保留 ACL 属性信息。
-D：保留设备文件及其他特殊文件。
--delete：删除目标位置有而原始位置没有的文件。
--checksum：根据校验和（而不是文件大小、修改时间）来决定是否跳过文件。

2.将指定的资源远程同步到本地/opt 目录下进行备份。

下行同步

格式一：
rsync -avz abc@192.168.88.80::share /opt/			#密码abc123

格式二：
rsync -avz rsync://abc@192.168.88.80/share /opt/

格式三：
rsync -avz -e 'ssh -p 22' root@192.168.88.80:/data/ /opt    
输入ssh的密码

 

3.将本地指定文件同步到本地指定目录（类似cp）

#将本地 /opt/passwd 文件同步到本地 /opt/data 目录下并改名为111，相当于 cp 命令
rsync -avz /opt/passwd /opt/data/111

4.免交互格式配置

#将密码指定存放文件 /etc/server.pass
echo "123456" > /etc/server.pass
#指定密码文件只允许root用户读写
chmod 600 /etc/server.pass

#实现免密登录
rsync -az --delete --password-file=/etc/server.pass abc@192.168.88.80::share /opt/
#--password-file：指定密码文件
#--delete：不加，只能进行增操作；加上后可以进行删操作

 

5.定时同步数据

crontab -e
30 22 * * * /usr/bin/rsync -az --delete --password-file=/etc/server.pass abc@192.168.88.80::share /opt/
#为了在同步过程中不用输入密码，需要创建一个密码文件，保存 abc 用户的密码，如 /etc/server.pass。在执行 rsync 同步时使用选项 “--password-file=/etc/server.pass” 指定即可。

systemctl restart crond
systemctl enable crond

四、发起端配置 rsync+inotify

 

备份源：192.168.88.80  源目录：/data
发起端：192.168.88.70  本地监控目录：/opt/test
  • 使用inotify通知接口，可以用来监控文件系统的各种变化情况，如文件存取、删除、移动、修改等。利用这一机制，可以非常方便地实现文件异动告警、增量备份，并针对目录或文件的变化及时作出响应。
  • 将inotify机制与rsync工具相结合，可以实现触发式备份（实时同步），即只要原始位置的文档发生变化，则立即启动增量备份操作；否则处于静默等待状态。这样，就避免了按固定周期备份时存在的延迟性、周期过密等问题。
  • 因为 inotify 通知机制由 Linux 内核提供，因此主要做本机监控，在触发式备份中应用时更适合上行同步。

1. 修改rsync源服务器配置文件

vim /etc/rsyncd.conf
......
read only = no						#关闭只读，上行同步需要可以写

kill $(cat /var/run/rsyncd.pid)
rm -rf /var/run/rsyncd.pid          #查看是否删除pid文件，没删除则执行删除命令            
rsync --daemon	
netstat -anpt | grep rsync

chmod 777 /data                     #给予源目录其他用户写入权限

2.发起端调整 inotify 内核参数

在Linux内核中，默认的inotify机制提供了三个调控参数：max_queue_events（监控事件队列，默认值为16384）、max_user_instances（最多监控实例数，默认值为128）、max_user_watches（每个实例最多监控文件数，默认值为8192）。当要监控的目录、文件数量较多或者变化较频繁时，建议加大这三个参数的值。

  • cat /proc/sys/fs/inotify/max_queued_events
  • cat /proc/sys/fs/inotify/max_user_instances
  • cat /proc/sys/fs/inotify/max_user_watches
vim /etc/sysctl.conf
fs.inotify.max_queued_events = 16384
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576

sysctl -p

3.发起端安装 inotify-tools

  1. 用 inotify 机制还需要安装 inotify-tools，以便提供 inotifywait、inotifywatch 辅助工具程序，用来监控、汇总改动情况。
  2. inotifywait：可监控modify（修改）、create（创建）、move（移动）、delete（删除）、attrib（属性更改）等各种事件，一有变动立即输出结果。
  3. inotifywatch：可用来收集文件系统变动情况，并在运行结束后输出汇总的变化情况。
     
tar zxvf inotify-tools-3.14.tar.gz -C /opt/

cd /opt/inotify-tools-3.14
./configure
make && make install


#可以先执行“inotifywait”命令，然后另外再开启一个新终端向 /data 目录下添加文件、移动文件，在原来的终端中跟踪屏幕输出结果。
inotifywait -mrq -e modify,create,move,delete /data

#选项“-e”：用来指定要监控哪些事件
#选项“-m”：表示持续监控
#选项“-r”：表示递归整个目录
#选项“-q”：简化输出信息

 4.在发起端另外一个终端编写触发式同步脚本（注意，脚本名不可包含 rsync 字符串，否则脚本可能不生效）

vim /opt/inotify.sh
#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e modify,create,attrib,move,delete /opt/test/"
RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /opt/test/ abc@192.168.88.80::share/"
#使用while、read持续获取监控结果，根据结果可以作进一步判断是否读取到输出的监控记录
$INOTIFY_CMD | while read DIRECTORY EVENT FILE
do
    # pgerp 查找进程号，进程数小于0，则服务没开启
    if [ $(pgrep rsync | wc -l) -le 0 ] ; then
	#如果rsync未在执行，则立即启动
        $RSYNC_CMD
    fi
done


chmod +x /opt/inotify.sh
chmod 777 /opt/test
#加入开机自动执行
chmod +x /etc/rc.d/rc.local
echo '/opt/inotify.sh' >> /etc/rc.d/rc.local

5.验证 

上述脚本用来检测本机/opt/test 目录的变动情况，一旦有更新触发 rsync 同步操作，上传备份至服务器 192.168.88.80 的 share 共享目录下。
触发式上行同步的验证过程如下：

  1. 在本机运行 /opt/inotify.sh 脚本程序。
  2. 切换到本机的 /opt/test 目录，执行增加、删除、修改文件等操作。
  3. 查看远端服务器中的 /data 目录下的变化情况。

  

五、rsync 实现快速删除大量文件

假如要在linux下删除大量文件，比如100万、1000万，像/usr/local/nginx/proxy_temp的nginx缓存等，那么rm -rf * 可能就不好使了，因为要等待很长一段时间。在这种情况下我们可以使用rsync来巧妙处理。rsync实际用的是替换原理。

先建立一个空的文件夹：
mkdir /home/blank

用rsync删除目标目录：
rsync --delete-before -a -H -v --progress --stats /home/blank/ /usr/local/nginx/proxy_temp/
这样目标目录很快就被清空了
选项说明：
--delete-before 接收者在传输进行删除操作
-a 归档模式，表示以递归方式传输文件，并保持所有文件属性
-H 保持硬连接的文件
-v 详细输出模式
--progress 在传输时显示传输过程
--stats 给出某些文件的传输状态

#创建一个新文件
mkdir /opt/kong
#在目录下创建10000个文件
cd /opt/test
touch file{1..10000}
#将空内容覆盖 /opt/test/目录下内容
rsync --delete -a /opt/kong/ /opt/test/

删除命令效率对比

#文件数量过多的话，不可用
rm -f *
# delete 比 rm 快
find ./ -type f -exec rm {} \;
find ./ -type f -delete
# rsync删除大量小文件最快，最方便
rsync -a --delete /opt/kong/ /opt/test

 

 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/721468.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

【Docker】docker安装nginx及端口映射相关配置

【Docker】docker安装nginx及端口映射相关配置

前言： 最近，在一台新服务器上准备运行一个前端vue项目，服务器上安装了docker，想要尝试试通过docker安装nginx的并运行项目，以下是操作步骤 操作步骤： 一、安装nginx 1、拉取镜像 从docker仓库里拉取最…
阅读更多...
unaipp打包app启动界面配置

unaipp打包app启动界面配置

1、配置代码 2、IOS端启动界面demo参考 iOS平台自定义storyboard启动界面 - DCloud问答
阅读更多...
面试官当面夸奖了我，反手却把我挂了，这是什么套路？

面试官当面夸奖了我，反手却把我挂了，这是什么套路？

最近几个朋友找我聊天，给我讲述了面试过程中遇到的一些不太理解的事情。我有个朋友作为一个技术面试官，今天来分享 10 个面试相关的套路。 1.自我介绍 自我介绍是一个重要的开始，好的开始是成功的一半。不需要太多花里胡哨的东西&#xff0…
阅读更多...
SpringBoot05：自动配置原理

SpringBoot05：自动配置原理

一、自动配置原理 SpringBoot官网 1、分析自动配置原理 以HttpEncodingAutoConfiguration（Http编码自动配置）为例解释自动配置原理 //表示这是一个配置类，和以前编写的配置文件一样，也可以给容器中添加组件 Configuration(prox…
阅读更多...
解决阿里qiankun微应用资源无法加载

解决阿里qiankun微应用资源无法加载

公司老项目多了，却想用新版本的框架，最好的解决办法就是用微前端。 本文说下我们在用阿里微前端框架qiankun，遇到的一些问题，以及一些巧妙的解决办法。 背景 因为接入微前端很长时间了，导致现在的微应用变成了实际意…
阅读更多...
Python接口自动化测试之UnitTest详解

Python接口自动化测试之UnitTest详解

基本概念 UnitTest单元测试框架是受到JUnit的启发，与其他语言中的主流单元测试框架有着相似的风格。其支持测试自动化，配置共享和关机代码测试。支持将测试样例聚合到测试集中，并将测试与报告框架独立。 它分为四个部分test fixture、TestC…
阅读更多...
【LeetCode】149. 直线上最多的点数

【LeetCode】149. 直线上最多的点数

149. 直线上最多的点数（困难） 枚举直线 哈希表统计 思路 遍历每两个点之间的连线，然后计算这条连线上有多少个点。 具体步骤如下： 初始化最大点数为 0。遍历每个点，用它和其他点计算斜率。如果两个点的x坐标相同&…
阅读更多...
7月大概率加息25bp！美股螺旋式下跌，加密市场“迎难而上”！

7月大概率加息25bp！美股螺旋式下跌，加密市场“迎难而上”！

今年6月，美股标普500指数走出了自1948年以来最长的熊市，进入新的牛市，美联储暂停加息给全球资本市场一个喘息的机会。尽管如此，美国目前经济基本面的情况仍不及预期，股市其上涨态势恐怕将会迎来一轮调整。 以Solita Ma…
阅读更多...
资深开发竟然不清楚int(1)和int(10)的区别

资深开发竟然不清楚int(1)和int(10)的区别

一、困惑 最近遇到个问题，有个表的要加个user_id字段，user_id字段可能很大，于是我提mysql工单alter table xxx ADD user_id int(1)。领导看到我的sql工单，于是说：这int(1)怕是不够用吧，接下来是一通解释。…
阅读更多...
做一个小程序需要多少钱

做一个小程序需要多少钱

做一个小程序要多少钱，这种分2种类型 定制版 定制版就是按着客户的需求来做了。首先是聊需求，然后画思维导图，做原型图，做完原型图，就是做UI设计，然后做前端，后端。这个费用下来大概几千元到几…
阅读更多...
ARM(串口通信)

ARM(串口通信)

1、 2、
阅读更多...
Rust 第五天—代码组织管理

Rust 第五天—代码组织管理

通过之前的内容介绍,对Rust或多或少有了一些了解.也许现在还不能写出“像样子”的项目,但是把大量代码堆积写在一个文件中依旧是不可取的.今天的内容相对轻松一些,聊聊Rust的包和模块 Rust的模块系统可以划分为Package,Crate,Module,具体可以总结如下: Package:整个项目Crate…
阅读更多...
【hadoop】Linux安装和配置

【hadoop】Linux安装和配置

安装 RedHat Linux 7.4 创建新的虚拟机 选择“自定义（高级）” 选择“下一步” 选择“稍后安装操作系统” 选择操作系统的类型 设置虚拟机名称和保存路径 下一步 下一步 设置网络类型，选择“使用仅主机模式网络” 下一步 下一步 下一步 设置硬…
阅读更多...
pytorch笔记：归一化

pytorch笔记：归一化

来自B站视频，API查阅，TORCH.NN layer normalization 是针对单个样本，训练和测试的时候行为一致LN 相对于 BN 更适合 RNN，可以降低训练时间LN 中不同样本有不同的归一化参数，以层计算 a 是输入，f 是每层具…
阅读更多...
【LeetCode周赛】2022上半年题目精选集——思维题

【LeetCode周赛】2022上半年题目精选集——思维题

文章目录 2211. 统计道路上的碰撞次数（栈 || 脑筋急转弯）解法1：自己想的——使用栈解法2——思维：去掉左右两边往左右开的车代码写法1——找左右端点代码写法2——正则表达式去除流处理api补充：replaceAll() 和 正则表…
阅读更多...
VS2022 And QtCreator10 调试 Qt 源码教程

VS2022 And QtCreator10 调试 Qt 源码教程

文章目录 背景IDE 调试 Qt 源码Visual Studio 2022Qt Creator 10.0.1 排查思路姊妹篇系列 简 述： 记录使用 Visual Studo 2022 和 QtCreator10 调试 Qt 5.15 源码和 加载 .pdb 的方法。 本文初发于 “偕臧的小站”，同步转载于此。 背景 源码：…
阅读更多...
8、动手学深度学习——现代卷积神经网络：AlexNet

8、动手学深度学习——现代卷积神经网络：AlexNet

1、学习表征 在2012年前，图像特征都是机械地计算出来的。事实上，设计一套新的特征函数、改进结果，并撰写论文是盛极一时的潮流 另一组研究人员，包括Yann LeCun、Geoff Hinton、Yoshua Bengio、Andrew Ng、Shun ichi Amari和Juer…
阅读更多...
Java阶段四Day11

Java阶段四Day11

Java阶段四Day11 文章目录 Java阶段四Day11Spring AOPElasticsearch1. 关于各种数据库的使用2. 关系型数据库中的索引3. 安装与启动elasticsearch4. 访问elasticsearch5. 使用elasticsearch分词6. elasticsearch文档的相关概念7. 使用elasticsearch添加数据7.1. 添加文档7.2. 查…
阅读更多...
Spring Boot 中的分布式追踪及使用

Spring Boot 中的分布式追踪及使用

Spring Boot 中的分布式追踪及使用 随着互联网应用程序的复杂性不断增加，分布式系统已经成为了许多企业级应用程序的标配。在分布式系统中，由于服务之间的调用关系错综复杂，很难追踪到一个请求在整个系统中的执行路径和时间，这就…
阅读更多...
Python如何提高工作效率，轻松实现读取分数，计算出最高/低分

Python如何提高工作效率，轻松实现读取分数，计算出最高/低分

前言 Python如何读取分数，计算最高/低分 与平均分？ 今天这篇文章就来带你学习学习如何实现这个功能~ 环境使用: Python 3.8 解释器 Pycharm 编辑器 涉及知识点 文件读写基础语法字符串处理循环遍历 代码展示 模块 import platform定义获取最高分、最…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023