Rsync 简介
rsync(Remote Sync,远程同步) 是一个开源的快速备份工具,可以在不同主机之间镜像同步整个目录树,支持增量备份,并保持链接和权限
在远程同步任务中,负责发起rsync同步操作的客户机称为发起端,而负责响应来自客户机的rsync同步操作的服务器称为同步源。在同步过程中,同步源负责提供文件的原始位置,发起端应对该位置具有读取权限
Rsync 是 Linux 系统下的数据镜像备份工具,使用快速增量备份工具 Remote Sync 可以远程同步, 可以在不同主机之间进行同步,可实现全量备份与增量备份,保持链接和权限,且采用优化的同步算法, 传输前执行压缩,因此非常适合用于架构集中式备份或异地备份等应用。同时Rsync支持本地复制,或者与其他 SSH、Rsync 主机同步
Rsync 备份的方式
- 发起端:负责rsync 同步操作的客户机叫做发起端,通知服务器我要备份你的数据
- 备份源:负责响应来自客户机rsync 同步操作的服务器叫做备份源,需要备份的服务器
- 服务端:运行rsyncd服务,一般来说,需要备份的服务器
- 客户端:存放备份数据
Rsync 同步方式
- 完整备份:每次备份都是从备份源将所有的文件或目录备份到目的地。
- 差量备份:备份上次完全备份以后有变化的数据(他针对的上次的完全备份,他备份过程中不清除存档属性)
- 增量备份:备份上次备份以后有变化的数据(他才不管是那种类型的备份,有变化的数据就备份,他会清除存档属性)
Rsync 同步源
rsync同步源:指的就是备份操作的远程服务器,也称备份源。
如:A服务器同步B服务器的数据,B服务器就是备份源 —— 下行同步
相反就是 —— 上行同步
Rsync 常用命令选项
选项 | 功能 |
---|---|
-a | 规章模式,递归并保留对象属性,等同于-rlptgoD |
-v | 显示同步过程信息 |
-z | 在传输过程中进行压缩 |
-H | 保留硬链接文件 |
-A | 保留ACL属性信息 |
–delete | 删除目标位置有,而同步源中没有的文件 |
--checksum | 根据对象的校验和来决定是否跳过文件 |
配置源的两种表达方法
格式一
用户名@主机地址::共享模块名
rsync -avz backuper@192.168.10.22::wwwroot /opt/
格式二
rsync://用户名@主机地址/共享模块名
rsync -avz rsync://backuper@192.168.10.22/wwwroot /opt/
Rsync 实验
本地复制
配置服务端与客户端
安装 Rsync
systemctl stop firewall
systemctl disbale firewalld
setenforce 0
yum -y install rsync
建立/etc/rsyncd.conf 配置文件
uid = root
gid = root
use chroot = yes #禁锢在源目录
address = 192.168.10.18 #监听地址
port 873
#监听端口 tcp/udp 873,可通过cat /etc/services | grep rsync查看
log file = /var/log/rsyncd.log #日志文件位置
pid file = /var/run/rsyncd.pid #存放进程 ID 的文件位置
hosts allow = 192.168.10.0/24 #允许访问的客户机地址
dont compress = *.gz *.bz2 *.tgz *.zip *.rar *.z
#同步时不再压缩的文件类型
[wwwroot] #共享模块名称
path = /var/www/html #源目录的实际路径
comment = Document Root of www.kgc.com
read only = yes #是否为只读
auth users = backuper #授权账户,多个账号以空格分隔
secrets file = /etc/rsyncd_users.db #存放账户信息的数据文件
为备份账户创建数据文件
保证所有用户对源目录/var/www/html 都有读取权限
普通同步完成
免密同步
中间加一段指定密码文件 进行免密登录
rsync -avz --password-file=/etc/server.passbackupera192.168,154.10: :wwwroot /opt
--delete选项的用法
rsync -avz -delete --password-file=/etc/server.pass ydq@20.0.0.55::wwwroot /abc
inotify简介
可以监控文件系统的变动情况,并作出通知响应
vim /etc/sysctl.conf(内核参数文件)
max_queue_events #监控事件队列大小
max_user_instances #最多监控实例数
max_user_watches #每个实例最多监控文件数
#命令工具
inotifywait #用于持续监控,时实输出结果
inotifywatch #用于短期监控,任务完成后再输出结果
常用命令选项
选项 | 功能 |
---|---|
-m | 持续监控 |
-r | 递归监控所有子对象 |
-q | 简化输出信息 |
-e | 指定要监控哪些事件类型 |
modify | 修改 |
create | 创建 |
move | 移动 |
delete | 删除 |
rsync+inotify实现配置
Server 端配置
修改配置文件
vim /etc/rsyncd.conf
read only = no
kill (cat /var/run/rsyncd.pid)
rsync --daemon
netstat -natp |grep rsync
修改内核文件(一个优化操作)
Client 端配置
修改配置文件
编写触发同步脚本
vim /opt/inotify.sh
#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e create,delete,move,modify,attrib /abc"
RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /abc/ ydq@20.0.0.55::wwwroot"
$INOTIFY_CMD | while read DIRECTORY EVENT FILE
do
if [ $(pgrep rsync | wc -l) -le 0 ] ; then
$RSYNC_CMD
fi
done
#脚本解释
先定义一个变量为监控这个目录中是否创建、删除、移动、修改、属性等信息的变化
再定义一个变量为rsync同步,将/abc中的目录中的信息同步到rsync服务器中的指定目录
再编写一个while循环,先执行监控变量,再执行while循环,
循环内容为,读取目录事件文件,如果rsync进程同步操作不存在,则执行同步操作的变量。
client 端验证
总结
优点
- 可以时实
缺点
带宽特别充裕的情况下,rsync同步的速率比scp要慢
同步百万级数据,参数严格要按要求去写,不然可能导致同步失败