什么是数据同步服务RSYNC？

news2024/11/6 9:40:59

大家好呀！这里是码农后端。今天来介绍一下数据同步服务RSYNC，作为Linux/Unix系统中远程或本地复制同步（复制）文件和目录最常用的命令，相比于scp命令，其具有增量备份、数据同步时保持文件的原有属性等优点。

一、RSYNC概述

1、几种方式

  • sync 同步：刷新文件系统缓存，强制将修改过的数据块写入磁盘，并且更新超级块。

  • async 异步：将数据先放到缓冲区，再周期性（一般是30s）的去同步到磁盘。

  • rsync 远程同步：remote  synchronous

数据同步过程

以保存文件为目标，sync数据同步会强制把缓存中的数据写入磁盘（立即保存），适合实时性要求比较高的场景。而asyn数据异步则是先将数据先放到缓冲区，再周期性（一般是30s）的去同步到磁盘，适合批量数据同步的场景。

同步(Synchronous)，异步(Asynchronous)，远程同步（Remote Synchronous）

2、rsync特点

1）可以镜像保存整个目录树和文件系统

2）可以保留原有的权限(permission,mode)，owner,group,时间(修改时间,modify time)，软硬链接，文件acl，文件属性(attributes)信息等

3）传输效率高，使用同步算法，只比较变化的（增量备份）

如把A服务器中的file1.txt、file2.txt、 file3.txt传输到B服务器，使用rsync实现数据同步，会先比较，假设B服务器中存在file1.txt、file2.txt，则只会同步file3.txt。

4）支持匿名传输，方便网站镜像；也可以做验证，加强安全

3、rsync与scp的区别

两者都可以实现远程同步，但rsync相对更强一些。体现如下： 

1）支持增量备份

2）数据同步时保持文件的原有属性

二、RSYNC的使用

1、基本语法

1）使用man命令查看帮助手册

man rsync

85a056f62597485d8d24b411a398ac7c.png

2）选项说明

OPTION选项说明（一般使用 -av）
-v    	详细模式输出
-a    	归档模式，递归的方式传输文件，并保持文件的属性，equals -rlptgoD

-r    	递归拷贝目录
-l		保留软链接
-p    	保留原有权限
-t     	保留原有时间（修改）
-g    	保留属组权限
-o     	保留属主权限
-D    	等于--devices  --specials    表示支持b,c,s,p类型的文件

-R	    保留相对路径
-H    	保留硬链接
-A    	保留ACL策略
-e     	指定要执行的远程shell命令，ssh更改端口常用选项
-E     	保留可执行权限
-X     	保留扩展属性信息  a属性

PUSH：推，即上传；PULL：拉，即下载

2、本地文件同步

本地文件同步可以理解为：把文件从一个位置（同步=>拷贝）到另一个位置（类似cp）

eg1：/dir1、/dir2与/dir3，/dir1中创建三个文件file1、file2、file3，使用rsync本地同步

# 创建目录
mkdir /dir1
mkdir /dir2
mkdir /dir3
# /dir1中创建三个文件file1、file2、file3
touch /dir1/file{1..3}

rsync -av /dir1/ /dir2		=>   把/dir1目录中的所有文件拷贝到/dir2目录中
rsync -av /dir1 /dir3			=>   把/dir1目录整体同步到/dir3目录中

a1d246a095f1941bc689c542e6eb0e1d.png

eg2：rsync -R选项的应用（保留相对路径）

rsync -avR /dir1/ /dir2

eg3：rsync --delete（删除目标目录里多余的文件）

/dir1（file1、file2） 

/dir2（file1、file2、file3）

rsync --delete同步后，会自动删除file3文件。（让dir1与dir2目录中的文件高度一致）

rsync -av --delete /dir1/ /dir2

3、rsync作为系统服务

默认情况下，rsync只是作为一个命令来进行使用的（ps在查询进程时，找不到对应的服务），但是rsync提供了一种作为系统服务的实现方式。

Linux系统服务的思路：

对外提供服务——>端口监听——>启动服务——>启动脚本——>配置文件

1）启动rsyncd服务（CentOS6中没有，CentOS7中有这个服务）

systemctl start rsyncd

如果企业中使用到操作系统为CentOS6版本，则没有启动脚本。则需要查看帮助手册：

man rsync
rsync --help
rsync --daemon --help

# CentOS6：rsync作为系统服务
# 1、先创建文件
touch /etc/rsyncd.conf
# 2、启动服务，作为后台运行
rsync --daemon

# 查看服务进程
ps -ef|grep rsync
# 查看服务端口号
netstat -tunlp |grep rsync	=>  -t tcp , -u udp

注：如果rsync作为系统服务单独运行，则其底层就不需要SSH服务了

2）rsyncd服务的配置文件/etc/rsyncd.conf

man 5 rsyncd.conf

21749869ae98fed51e93b94de4680305.jpeg

三、任务解决方案(重点)

1、环境准备

用到的服务器及对应IP配置如下：

ecc8752d2c99969966bdf055a29ef961.jpeg

编号IP地址主机名称角色
110.1.1.10code.itweb.cnCode（MIS）
210.1.1.100backup.itweb.cnBackup（Backup）

1）关闭防火墙与SELinux

# 关闭防火墙
systemctl stop firewalld
# 禁止开机启动
systemctl disable firewalld
# 获取SELinux的状态
setenforce 0

vim /etc/selinux/config
SELINUX=disabled

2）更改主机名称

hostnamectl set-hostname code.itweb.cn
hostnamectl set-hostname backup.itweb.cn
# 切换生效
su

3）更改IP地址（静态IP）

# 服务器Code
vim /etc/sysconfig/network-scripts/ifcfg-ens33

TYPE="Ethernet"
BOOTPROTO="none"
IPADDR=10.1.1.10
NETMASK=255.255.255.0
GATEWAY=10.1.1.2 # 网关，连接外网
DNS1=8.8.8.8
DNS2=114.114.114.114
NAME="ens33"
UUID="a5bb176c-c05c-4bdb-8975-a4aafa2fc90u"		=> 更改UUID的后3位
DEVICE="ens33"
ONBOOT="yes"

# 服务器Backup
vim /etc/sysconfig/network-scripts/ifcfg-ens33

TYPE="Ethernet"
BOOTPROTO="none"
IPADDR=10.1.1.100
NETMASK=255.255.255.0
GATEWAY=10.1.1.2 # 网关，连接外网
DNS1=8.8.8.8
DNS2=114.114.114.114
NAME="ens33"
UUID="a5bb176c-c05c-4bdb-8975-a4aafa2fc56y"		=>更改UUID的后3位
DEVICE="ens33"
ONBOOT="yes"
# 重启网络
systemctl restart network

关于上述一些常见的参数的说明，如下图

99beaef6cf16bcca4f2463e3b2cb1b4e.png

4）关闭NetworkManager

systemctl stop NetworkManager
systemctl disable NetworkManager

5）配置YUM源

可以使用官方默认的YUM，如有需要可自行配置。

6）时间同步

ntpdate cn.ntp.org.cn

2、远程文件同步

1）Push：上传文件到远程服务器端

rsync -av 本地文件或目录 远程用户名@远程服务器的IP地址:目标路径

eg1：把linux.txt文档传输到远程服务器端（10.1.1.100）的root目录下

rsync -av linux.txt root@10.1.1.100:/root

eg2：把shop文件夹传输到远程服务器端（10.1.1.100）的root目录下

rsync -av shop root@10.1.1.100:/root

2）Pull：下载文件到本地服务器端

rsync -av 远程用户名@远程服务器的IP:目标文件或目录 本地存储位置

eg1：把远程服务器（10.1.1.100）的/etc/hosts文件下载到本地

rsync -av root@10.1.1.100:/etc/hosts ./

eg2：把远程服务器（10.1.1.100）的/shop文件夹下载到本地

rsync -av root@10.1.1.100:/shop ./

扩展：

问题1：rsync远程同步数据时，默认情况下为什么需要密码？如果不想要密码同步怎么实现？

rsync在远程同步时，之所以要输入密码是因为其底层还是基于SSH服务的。SSH有两种认证方式，如果没有配置免密则默认使用用户名+密码的认证方式。

如果不想要密码同步，可以考虑使用SSH免密操作。

Code => Backup

Code：

# 生成公钥和私钥
ssh-keygen -t rsa -P ""
# 将公钥发送给10.1.1.100服务器
ssh-copy-id root@10.1.1.100

问题2：如果Backup服务器端更改了SSH的默认端口（如更改为10086），又该如何同步？

# 使用 -e选项
rsync -e "ssh -p 10086" -av rsync.txt root@10.1.1.100:/root

3、给RSYNC服务添加密码（扩展）

Code服务器：

1）打开/etc/rsyncd.conf配置文件

vim /etc/rsyncd.conf

[app]
path=/app/java_project
log file=/var/log/rsync.log
# 添加
auth users = user1,user2				=>   用户名
secrets file = /etc/rsyncd.secrets		=>   密码文件

2）在/etc目录下创建rsyncd.secrets文件

vim /etc/rsyncd.secrets

user1:123							 	=>   设置密码，用户名:密码
user2:123

3）更改密码文件权限为600

chmod 600 /etc/rsyncd.secrets

4）重启rsyncd服务

systemctl restart rsyncd

5）Backup备份服务器：

rsync -av user1@10.1.1.10::app ./
Password:123

好了，以上就是今天这篇文章的全部内容了。如果你想及时看到我的文章，只需做这几个动作：点星标、点在看（包括赞）、评论、分享，我就会经常出现在您的常读列表，后面更新都会提醒。感谢大家的关注和支持，祝大家生活美满，学业有成，事业蒸蒸日上！

最后，星标设置如下：

d3cdae46a269d0401846738c4f7a8203.png

如下即设置成功！

b69889df8f4db3f09267fa729c257af1.png

往期精彩文章推荐（点击下方蓝字即可阅读！）

往期推荐

SSH服务搭建及免密登录实现

SSH服务搭建之YUM源配置与静态IP配置

SSH基于用户名密码的认证原理

一文带你快速了解VMware的三种网络模式

什么是yum源？如何对其进行配置？

Linux有哪些常用的高级扩展命令？

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1912962.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

[激光原理与应用-102]：南京科耐激光-激光焊接-焊中检测-智能制程监测系统IPM介绍 - 6 - 激光焊接系统的组成

[激光原理与应用-102]：南京科耐激光-激光焊接-焊中检测-智能制程监测系统IPM介绍 - 6 - 激光焊接系统的组成

目录 一、激光焊接系统的组成概述 1.1、核心部件 1.2、焊接执行部件 1.3、辅助系统 1.4、控制系统 1.5、其他辅助设备 二、激光器 2.1 按出光类型分 1. 脉冲激光器 2. 连续激光器 3. 准连续激光器（QCW） 4. 其他常见激光器 5. 应用领域 2.2…
阅读更多...
CentOS6禁止锁屏

CentOS6禁止锁屏

在电源中设置后还是会锁屏, 原因是有屏幕保护程序 电源管理都 “从不” 一些AI的回答 在CentOS 6系统中，如果你想要禁用锁屏功能，可以编辑/etc/kbd/config文件。这个文件通常包含了键盘相关的设置，包括密码策略和屏幕锁定选项。 首先打开终…
阅读更多...
昇思14天

昇思14天

ResNet50图像分类 1. ResNet50图像分类概述 ResNet50是一种用于图像分类的深度卷积神经网络。图像分类是计算机视觉的基本应用，属于有监督学习范畴。ResNet50通过引入残差结构，解决了深层网络中的退化问题，使得可以训练非常深的网络。 2. …
阅读更多...
List、Map、Set 接口在Java中的存取元素特点

List、Map、Set 接口在Java中的存取元素特点

List、Map、Set 接口在Java中的存取元素特点 1、List 接口2、Map 接口3、Set 接口4、总结 💖The Begin💖点点关注，收藏不迷路💖 在Java中，List、Map和Set是三个最常用的集合接口。它们各自有不同的特点和用途&#xff…
阅读更多...
实践致知第12享：如何新建一个Word并设置格式

实践致知第12享：如何新建一个Word并设置格式

一、背景需求 小姑电话说：要新建一个Word文档，并将每段的首行设置空2格。 二、解决方案 1、在电脑桌面上空白地方，点击鼠标右键，在下拉的功能框中选择“DOC文档”或“DOCX文档”都可以，如下图所示。 之后&#xff0…
阅读更多...
【密码学】分组密码概述

【密码学】分组密码概述

一、分组密码的定义 分组密码和流密码都是对称密码体制。 流密码：是将明文视为连续的比特流，对每个比特或字节进行实时加密，而不将其分割成固定的块。流密码适用于加密实时数据流，如网络通信。分组密码：是将明文数据…
阅读更多...
D2D用户的功率优化算法研究

D2D用户的功率优化算法研究

D2D通信技术是指两个对等的用户节点之间直接进行通信的一种通信方式。在由D2D通信用户组成的分布式网络中，每个用户节点都能发送和接收信号，并具有自动路由(转发消息)的功能。网络的参与者共享它们所拥有的一部分硬件资源，包括信息处理、存储…
阅读更多...
【深度学习】第5章——卷积神经网络（CNN）

【深度学习】第5章——卷积神经网络（CNN）

一、卷积神经网络 1.定义 卷积神经网络（Convolutional Neural Network, CNN）是一种专门用于处理具有网格状拓扑结构数据的深度学习模型，特别适用于图像和视频处理。CNN 通过局部连接和权重共享机制，有效地减少了参数数量&#x…
阅读更多...
Prometheus 二进制文件与操作系统或架构不兼容

Prometheus 二进制文件与操作系统或架构不兼容

目录 检查架构 下载正确的二进制文件 验证文件类型 权限问题 文件损坏 “可执行文件格式错误”表明你试图执行的二进制文件与操作系统或架构不兼容。 检查架构 确保你下载的二进制文件与系统的架构相匹配（例如，x86_64, arm64 等）。 可…
阅读更多...
LabVIEW光谱测试系统

LabVIEW光谱测试系统

在现代光通信系统中，光谱分析是不可或缺的工具。开发了一种基于LabVIEW的高分辨率光谱测试系统，通过对可调谐激光器、可编程光滤波器和数据采集系统的控制，实现了高效、高精度的光谱测量。 项目背景 随着光通信技术的迅速发展，对…
阅读更多...
20240710 每日AI必读资讯

20240710 每日AI必读资讯

🤖微软：不会像 OpenAI 一样阻止中国访问 AI 模型 - OpenAI 将于周二（7 月 9 日）开始阻止中国用户访问其 API。 - 微软发言人表示：Azure OpenAI API服务在中国的提供方式没有变化。 - 公司仍然通过部署在中国以外地区…
阅读更多...
Mysql练习题目【7月10日更新】

Mysql练习题目【7月10日更新】

七、Mysql练习题目 https://zhuanlan.zhihu.com/p/38354000 1. 创建表 创建学生表 mysql> create table if not exists student(-> student_id varchar(255) not null,-> student_name varchar(255) not null,-> birthday date not null,-> gender varchar(…
阅读更多...
思考：Java内存模型和硬件内存模型

思考：Java内存模型和硬件内存模型

前言 前一阵在看volatile的原理，看到内存屏障和缓存一致性，发现再往底层挖就挖到了硬件和Java内存模型。这一块是自己似懂非懂的知识区，我一般称之为知识混沌区。因此整理这一篇文章。 什么是内存模型（Memory Model）…
阅读更多...
46、lvs集群- 博客

46、lvs集群- 博客

1、lvs集群： lvs：linux virtual server----章文嵩发起的开源项目，阿里。linux的内核层面实现负载均衡的软件。 主要作用：将多个后端服务器组成一个高可用，高性能的服务器集群，通过负载均衡的算法将客户端的…
阅读更多...
前端javascript中的排序算法之插入排序

前端javascript中的排序算法之插入排序

插入排序（Selection Sort）基本思想： 插入排序每次排一个数组项，以此方式构建最后的排序数组。假定第一项已经排序了，接着， 它和第二项进行比较，第二项是应该待在原位还是插到第一项之前呢&#…
阅读更多...
查看oracle ojdbc所支持的JDBC驱动版本

查看oracle ojdbc所支持的JDBC驱动版本

oracle jcbc驱动的下载地址参考：JDBC and UCP Downloads page 其实上文中对ojdbc所支持的JDBC驱动版本已经有说明了，不过，因为oracle的驱动包很多时间，都是在公司内部私服里上传维护的，上传的时候，可能又没…
阅读更多...
第4章 课程发布：模块需求分析，课程预览（模板引擎 静态页面），课程审核，课程发布（分布式事务，页面静态化：熔断降级），课程搜索（es索引）

第4章 课程发布：模块需求分析，课程预览（模板引擎 静态页面），课程审核，课程发布（分布式事务，页面静态化：熔断降级），课程搜索（es索引）

1 模块需求分析 1.1 模块介绍 课程信息编辑完毕即可发布课程，发布课程相当于一个确认操作，课程发布后学习者在网站可以搜索到课程，然后查看课程的详细信息，进一步选课、支付、在线学习。 下边是课程编辑与发布的整体流程&#…
阅读更多...
Java中的 this 关键字是什么意思? this() 又是什么?

Java中的 this 关键字是什么意思? this() 又是什么?

目录 问题问题一：什么是this关键字?问题二：什么是this()？ 问题 问题一：什么是this关键字? 定义：this 代表当前对象。这个定义比较抽象，举例来回答。 思考一个问题：如果没有 this 会怎样&…
阅读更多...
uniapp+vue3嵌入Markdown格式

uniapp+vue3嵌入Markdown格式

使用的库是towxml 第一步：下载源文件，那么可以git clone，也可以直接下载压缩包 git clone https://github.com/sbfkcel/towxml.git 第二步：设置文件夹内的config.js，可以选择自己需要的格式 第三步：安装…
阅读更多...
【国潮】软件本土化探索

【国潮】软件本土化探索

文章目录 一、国产-操作系统银河麒麟（Kylin）操作系统华为鸿蒙系统（HarmonyOS）统信UOS深度Deepin 二、国产-服务器华为鲲鹏：飞腾：海光：兆芯：龙芯：申威： 三、国…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023