目录
一、概述
1、关于rsync
2、rsync的特点：
3、备份方式：
4、同步方式：
二、rsync相关命令
1、rsync常用命令的选项：
2、启动和关闭rsync服务：
3、关闭 rsync 服务
三、 免交互：
1、免密同步：
2、定期同步：
四、inotify工具：
1、发送端安装inotify工具：
2、inotify 内核参数
3、设置监控实例和实例文件修改：
4、inotify命令：
五、实验：
1、下行同步：
2、上行同步：
3、使用rsync快速删除大量文件
一、概述
1、关于rsync
rsync远程同步：是开源的快速备份工具。可以在不同主机之间同步整个目录
在远程同步任务重，一个是源端，还有一个是发起端（客户端）
源端负责文件的原始位置，发起端和源端的文件同步
2、rsync的特点：
拷贝文件，链接文件，设备
可以保持源文件或者目录的权限不变（时间、软硬连接、所有者、所在组等均可以保持不变）
可以实现增量同步。只同步发生变化的数据，数据传输效率很高
支持匿名认证。
3、备份方式：
完整备份，第一次同步都是完整的备份
往后的同步，都是增量备份（差异备份）。只同步变化的数据
4、同步方式：
下行同步：
从源端同步到客户端
上行同步：
从客户端同步到源端
二、rsync相关命令
1、rsync常用命令的选项：
rsync -r：递归模式，目录包含子目录里面的所有文件
rsync -l：复制链接文件，软链接
rsync -v：显示同步过程中的详细信息
rsync -z：传输文件时进行压缩
rsync -a：归档模式，可以保留文件的权限、属性等等
rsync -p：保留文件的权限标记（所有者和所在组）
rsync -t：保留时间标记（时间戳）
rsync -g：保留文件的所在组（管理员）
rsync -o：保留文件的所有者（管理员）
rsync -H：保留硬链接
rsync -D：保留设备文件和其他特殊文件
rsync --delete：删除目标位置有，但是原始文件没有的文件（相同的数据不作操作）
2、启动和关闭rsync服务：
启动 rsync 服务，以独立监听服务的方式（守护进程）运行
rsync --daemon
3、关闭 rsync 服务
kill $(cat /var/run/rsyncd.pid)
rm -rf /var/run/rsyncd.pid
三、 免交互：
1、免密同步：
echo "123456" > /etc/server.pass
chmod 600 /etc/server.pass
rsync -avz --password-file=/etc/server.pass backuper@20.0.0.21::test /opt/
2、定期同步：
举个例子
crontab -e
30 22 * * * /usr/bin/rsync -az --delete --password-file=/etc/server.pass backuper@192.168.80.10::wwwroot /opt/
为了在同步过程中不用输入密码，需要创建一个密码文件，保存 backuper 用户的密码，如 /etc/server.pass。
#在执行 rsync 同步时使用选项 “--password-file=/etc/server.pass” 指定即可。
systemctl restart crond
systemctl enable crond
四、inotify工具：
1、发送端安装inotify工具：
tar zxvf inotify-tools-3.14.tar.gz -C /opt/
cd /opt/inotify-tools-3.14
./configure
make -j2 && make install
2、inotify 内核参数
在Linux内核中，默认的inotify机制提供了三个调控参数
1）max_queue_events（监控事件队列，默认值为16384）
2）max_user_instances（最多监控实例数，默认值为128）
3）max_user_watches（每个实例最多监控文件数，默认值为8192）
当要监控的目录、文件数量较多或者变化较频繁时，建议加大这三个参数的值。
cat /proc/sys/fs/inotify/max_queued_events
cat /proc/sys/fs/inotify/max_user_instances
cat /proc/sys/fs/inotify/max_user_watches
3、设置监控实例和实例文件修改：
vim /etc/sysctl.conf
fs.inotify.max_queued_events = 16384
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576
rsync同步速度很快，适合同步大文件，可以结合数据库同步使用
inotify：通知接口，可以用来监控文件系统的各种变化情况，文件存取，删除移动修改，都可以被监控
inotify机制和rsync配置在一块使用。既可以通知变化，也可以实现同步。
只监控，同步是rsync
4、inotify命令：
inotifywait -mrq -e modify,create,move,delete /opt/test/
-m：持续监控
-r：递归整个目录
-q：信息提示
-e：指定监控的事件，多个事件用逗号隔开
五、实验：
架构：
test1 源端 20.0.0.21
test2 发起端（客户端） 20.0.0.22
关防火墙安全机制
systemctl stop firewalld
setenforce 0
查看安装情况：
rpm -q rsync
rsync是linux自带的软件
rpm -qc rsync
1、下行同步：
下行同步的格式：
rsync [选项] 源服务器位置 本地位置
举个例子
格式一：
rsync -avz test@192.168.2.102::message /opt/
格式二：
rsync -avz rsync://test@192.168.2.102/message /opt/
test为配置文件中的授权账户
IP地址为同步源地址
message 为配置文件中定义的共享模块
配置源端rsync：
改配置文件：
vim /etc/rsyncd.conf #添加以下配置项
uid = root
gid = root
use chroot = yes #禁锢在源目录
address = 20.0.0.21 #监听地址
port = 873
#监听端口 tcp/udp 873，可通过cat /etc/services | grep rsync查看
log file = /var/log/rsyncd.log #日志文件位置
pid file = /var/run/rsyncd.pid #存放进程 ID 的文件位置
hosts allow = 20.0.0.0/24 #允许访问的客户机地址
dont compress = *.gz *.bz2 *.tgz *.zip *.rar *.z #同步时不再压缩的文件类型
[test] #共享模块名称
path = /opt/test #源目录的实际路径
comment = test
write only = yes #是否为只读
auth users = backuper #授权账户，多个账号以空格分隔
secrets file = /etc/rsyncd_users.db #存放账户信息的数据文件
#如采用匿名的方式，只要将其中的“auth users”和“secrets file”配置项去掉即可。
#为备份账户创建数据文件
给授权账户添加密码
vim /etc/rsyncd_users.db
backuper:123456 #无须建立同名系统用户
设置只有文件的所有者可以读取和修改密码文件
chmod 600 /etc/rsyncd_users.db
保证所有用户对源目录/data都有读取权限
mkdir /opt/test
chmod 777 /opt/test
启动 rsync 服务，以独立监听服务的方式（守护进程）运行
rsync --daemon
观察是否启动成功
ss -napt | grep rsync
服务端同步数据到客户端:
rsync -avz backuper@20.0.0.21::test /opt
-avz：保留文件权限 v显示详细过程 z同步过程中对文件进行压缩
20.0.0.21::test
往后的同步都是增量同步，只有新增的才会同步
rsync -avz backuper@20.0.0.21::test /opt
2、上行同步：
将发起端（客户端）修改，更新到源端
还是在客户端执行命令：
rsync -azH --delete --password-file=/etc/server.pass /opt/data backuper@20.0.0.21::test/
将监控和同步一起执行
脚本：
vim inotify.sh
#!/bin/bash
CMD="inotifywait -mrq -e modify,create,move,delete /opt/data"
rsync_cmd="rsync -azH --delete --password-file=/etc/server.pass /opt/data backuper@20.0.0.21::test/"
$CMD | while read DIRECTORY EVENT FILE
do
if [ $(pgrep rsync | wc -l) -gt 0 ]
then
$reync_cmd
fi
done
也可以设置定时任务
3、使用rsync快速删除大量文件
在文件数量较多的情况下，比如百万和千万级别的文件，rm -rf *速度很慢
rsync 可以实现大量删除
此时，利用rsync的替换原理，结合--delete选项，可以实现快速删除大量文件，比如服务的缓存
现在主机模拟生成大量垃圾文件：
mkdir test1
cd test1/
touch {1..9999}.txt
touch demo.txt
#demo.txt用作测试
再创建一个空文件
mkdir test2
cd test2
touch demo.txt
进行同步删除
rsync --delete-before -avH --progress --stats /opt/test2/ /opt/test1
--delete-before：在传输的过程中进行删除
-a：归档模式
-H：硬链接
-v：输出信息
--progress：显示传输的过程
--stats：给出文件的传输状态
