linux下的实时同步服务简介与实验(sersync+nfs+rsync)

news2024/9/21 2:32:13

目录

  • 实时同步是什么
    • 定时同步的缺陷
    • 实时同步简介
  • Sersync简介
    • rsync+inotify-tools与rsync+sersync架构的区别?
  • SerSync工作流程
  • SerSync同步架构
  • Sersync配置详解
    • 执行文件
    • 配置文件
  • NFS+Sersync+Rsync实时同步服务实验
    • 0. 实验简介
    • 1. 实验架构
    • 2. 实验环境
    • 3. 实验步骤
      • front主机
        • 1. 安装nfs-utils
        • 2. 挂载目录
      • storage主机
        • 0. 测试rsync服务是否正常
        • 1. 安装sersync服务
        • 2. 安装nfs-utils和rpc-bind
        • 3. 修改sersync配置文件
        • 4. 启动sersync
      • backup主机
        • 1. 安装rsync服务
        • 2. 创建并修改rsync配置文件
        • 3. 创建密码文件
        • 4. 创建备份目录并设置权限
        • 5. 启动rsync服务
    • 4. 实验测试

实时同步是什么

定时同步的缺陷

之前的文章我有写过远程同步Rsync——Linux下的Rsync简介,也做过Rsync的实验——Linux(openEuler22.03) 定时备份任务 解决方案。
尤其是实验文章,用到的实际是Rsync + Crontab的定时备份方式。

备份涉及到一个RPO和RTO的相关概念,简单来说,前者指的是灾难发生后能恢复到的数据点,后者指的是灾难发生后恢复服务的时间
既然是定时备份,那么对于RPO,就有可能出现距离下一次备份前出现了灾难,但未备份导致的数据丢失。

实时同步可以很好的解决上面的问题。

实时同步简介

当然,备份是一个很复杂的工程,本文介绍的实时同步只是最简单的一种。

实时同步需要两部分:一是实时检测文件变化;二是变化发生后进行同步

常见的实时同步方式有:

  1. notify-tools: inotify 是 Linux 内核提供的一种机制,用于监视文件系统事件。inotify-tools 是一个用户空间的工具集,它利用 inotify 来监视文件系统的变化,并可以触发自定义的脚本或命令。
  2. lsyncd: lsyncd(Live Syncing Daemon)是一个轻量级的同步守护进程,它使用 inotify 来监视文件系统的变化,并将这些变化实时同步到远程服务器。
  3. Sersync:这是一个和lsync类似的服务,基于inotify开发的,类似于inotify-tools的工具。

本文采用的是实时同步是SerSync服务。

Sersync简介

Sersync是一个国人开发的同步工具,以二进制包的方式提供服务。
sersync是基于inotify开发的,类似于inotify-tools的工具。(但并不是inotify+rsync的解决方案
sersync可以记录下被监听目录中发生变化的(包括增加、删除、修改)具体某一个文件或者某一个目录的名字,然后使用rsync同步的时候,只同步发生变化的文件或者目录。

Sersync是利用inotify和rsync两种软件技术来实现数据实时同步功能的。

  • inotify是用于监听sersync所在服务器上的文件变化
  • rsync软件来进行数据同步,将数据实时同步给客户端服务器

rsync+inotify-tools与rsync+sersync架构的区别?

  1. rsync+inotify-tools
    inotify只能记录下被监听的目录发生了变化(增,删,改)并没有把具体是哪个文件或者哪个目录发生了变化记录下来;
    rsync在同步的时候,并不知道具体是哪个文件或目录发生了变化每次都是对整个目录进行同步,当数据量很大时,整个目录同步非常耗时(rsync要对整个目录遍历查找对比文件),因此效率很低

  2. rsync+sersync
    sersync可以记录被监听目录中发生变化的(增,删,改)具体某个文件或目录的名字;
    rsync在同步时,只同步发生变化的文件或目录(每次发生变化的数据相对整个同步目录数据来说很小,rsync在遍历查找对比文件时,速度很快),因此效率很高。

SerSync工作流程

  1. 通过inotify监控目录
  2. 通过rsync把变化文件同步
  3. 同步到rsync服务端

SerSync同步架构

在被监控目录的主机上安装Sersync服务

在这里插入图片描述

Sersync配置详解

https://github.com/wsgzao/sersync

执行文件

可以直接通过命令 -h查看命令的选项

/opt/sersync/bin/sersync2 -h
set the system param
execute:echo 50000000 > /proc/sys/fs/inotify/max_user_watches
execute:echo 327679 > /proc/sys/fs/inotify/max_queued_events
parse the command param
_______________________________________________________
参数-d:启用守护进程模式
参数-r:在监控前,将监控目录与远程主机用rsync命令推送一遍
c参数-n: 指定开启守护线程的数量,默认为10个
参数-o:指定配置文件,默认使用confxml.xml文件
参数-m:单独启用其他模块,使用 -m refreshCDN 开启刷新CDN模块
参数-m:单独启用其他模块,使用 -m socket 开启socket模块
参数-m:单独启用其他模块,使用 -m http 开启http模块
不加-m参数,则默认执行同步程序
________________________________________________________________

一般来说,常用的参数为rdo,要注意o放在最后面用于指定配置文件

配置文件

一般来说只要修改其中五条。
1.

<?xml version="1.0" encoding="ISO-8859-1"?>
<head version="2.5">
 <host hostip="localhost" port="8008"></host>
 <debug start="true"/>
 <fileSystem xfs="false"/>
 <filter start="false">
 <exclude expression="(.*)\.php"></exclude>
 <exclude expression="^data/*"></exclude>
 </filter>
 <inotify>
 <delete start="true"/>
 <createFolder start="true"/>
 <createFile start="false"/>
 <closeWrite start="true"/>
 <moveFrom start="true"/>
 <moveTo start="true"/>
 <attrib start="false"/>
 <modify start="false"/>
 </inotify>
 
 <sersync>
 <!-- 这里填写服务器A要同步的文件夹路径-->
 <localpath watch="/home/"> 
 <!-- 这里填写服务器B的IP地址和模块名-->
 <remote ip="8.8.8.8" name="rsync"/> 
 <!--<remote ip="192.168.28.39" name="tongbu"/>-->
 <!--<remote ip="192.168.28.40" name="tongbu"/>-->
 </localpath>
 <rsync>
 <!-- rsync选项 这里填写rsync命令使用的选项,一般az即可-->
 <commonParams params="-artuz"/>
 <!-- rsync+密码文件 这里填写服务器B的认证信息-->
 <auth start="true" users="rsync" passwordfile="/app/local/sersync/user.pass"/>
 <userDefinedPort start="false" port="874"/><!-- port=874 -->
 <timeout start="false" time="100"/><!-- timeout=100 -->
 <ssh start="false"/>
 </rsync>
 <!-- 修改失败日志记录(可选)-->
 <failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->
 <crontab start="false" schedule="600"><!--600mins-->
 <crontabfilter start="false">
 <exclude expression="*.php"></exclude>
 <exclude expression="info/*"></exclude>
 </crontabfilter>
 </crontab>
 <plugin start="false" name="command"/>
 </sersync>
 
 <!-- 下面这些有关于插件你可以忽略了 -->
 <plugin name="command">
 <param prefix="/bin/sh" suffix="" ignoreError="true"/> <!--prefix /opt/tongbu/mmm.sh suffix-->
 <filter start="false">
 <include expression="(.*)\.php"/>
 <include expression="(.*)\.sh"/>
 </filter>
 </plugin>
 
 <plugin name="socket">
 <localpath watch="/home/demo">
 <deshost ip="210.36.158.xxx" port="8009"/>
 </localpath>
 </plugin>
 <plugin name="refreshCDN">
 <localpath watch="/data0/htdocs/cdn.markdream.com/site/">
 <cdninfo domainname="cdn.chinacache.com" port="80" username="xxxx" passwd="xxxx"/>
 <sendurl base="http://cdn.markdream.com/cms"/>
 <regexurl regex="false" match="cdn.markdream.com/site([/a-zA-Z0-9]*).cdn.markdream.com/images"/>
 </localpath>
 </plugin>
</head>

具体的配置文件解释可以看:
https://www.cnblogs.com/bill2014/p/7417077.html

NFS+Sersync+Rsync实时同步服务实验

0. 实验简介

本实验是模拟front主机挂载nfs共享目录,在storage主机上通过sersync监控与实时同步nfs共享目录,同步目的地为backup主机。

1. 实验架构

在这里插入图片描述

2. 实验环境

宿主机: Win11
Server1-front:CentOS8
Server2-storage:CentOS8
Server3-backup:CentOS8
均一张网卡,同一网段

3. 实验步骤

配置顺序:backup主机->storage主机->front主机

front主机

1. 安装nfs-utils
#安装nfs-utils
yum install -y nfs-utils
2. 挂载目录
mkdir -p /upload

#测试
mount -t nfs 192.168.100.150:/nfsupload /upload

storage主机

0. 测试rsync服务是否正常
#rsync客户端密码文件配置,可以不配置
echo "backupuser" > /etc/rsyncpwd
chmod 600 rsyncpwd

#安装rsync,若没有需要安装
yum install -y rsync

#测试
rsync -avz /etc/hostname  backupuser@192.168.100.149::nfsuploadbak --password-file=rsyncpwd
	sending incremental file list
	hostname
	
	sent 99 bytes  received 35 bytes  268.00 bytes/sec
	total size is 8  speedup is 0.06
1. 安装sersync服务
# 这是一个国人开发的服务,以二进制包的方式提供服务
wget --no-check-certificate https://raw.githubusercontent.com/orangle/sersync/master/release/sersync2.5.4_64bit_binary_stable_final.tar.gz

tar -zxvf sersync2.5.4_64bit_binary_stable_final.tar.gz

cp -r /root/GNU-Linux-x86/ /opt/sersync/

#最终设计后的目录位置,bin放执行文件,conf放配置文件
tree
/opt/sersync
├── bin
│   └── sersync2
└── conf
    └── confxml.xml


原连接:https://code.google.com/archive/p/sersync/
github镜像:https://github.com/orangle/sersync

2. 安装nfs-utils和rpc-bind
#安装
yum install -y nfs-utils rpc-bind

#启动rpc服务
 systemctl enable rpcbind --now

#创建目录
mkdir -p /nfsupload
chown -R nobody.nobody /nfsupload/

#编写/etc/exports并启动服务
echo "/nfsupload 192.168.100.0/24(rw)" >> /etc/exports
systemctl start nfs-server #centos8 启动nfs服务端命令

3. 修改sersync配置文件
vim conf/conf.xml
#修改为本机(storage主机)需要监控的目录
 24         <localpath watch="/nfsupload">
#修改为rsync服务端(backup主机)的ip和对应的备份目录名
 25             <remote ip="192.168.100.149" name="nfsuploadbak"/>
#修改需要的rsync参数
 30             <commonParams params="-az"/>
# 修改认证方式为true,user为服务端设置的,密码文件目录对应修改
 31             <auth start="true" users="backupuser" passwordfile="/etc/rsyncpwd"/>
# 修改错误日志存放位置
 36         <failLog path="/var/log/rsync_fail.log" timeToExecute="60"/><!--default every 60min    s execute once-->

在这里插入图片描述

4. 启动sersync
#启动服务
/opt/sersync/bin/sersync2 -rdo /opt/sersync/conf/confxml.xml

#查看进程号
ps -ef | grep sersync
root       13907       1  0 23:47 ?        00:00:00 /opt/sersync/bin/sersync2 -rdo /opt/sersync/conf/confxml.xml

backup主机

1. 安装rsync服务
yum install -y rsync
2. 创建并修改rsync配置文件
vim /etc/rsyncd.conf
# 全局配置
fake super = yes
uid = rsync
gid = rsync
use chroot = no
max connections = 4
ignore errors
log file = /var/log/rsyncd.log
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsyncd.lock

# 模块配置
[nfsuploadbak]
    path = /nfsuploadbak
    comment = NFS Backup Directory
    read only = no
    list = yes
    auth users = backupuser
    secrets file = /etc/rsyncd.secrets
3. 创建密码文件
echo "backupuser:backupuser" >> /etc/rsyncd.secrets
4. 创建备份目录并设置权限
useradd -s /sbin/nologin -M rsync

mkdir -p /nfsuploadbak
chown rsync.rsync /nfsuploadbak/

chmod 600 /etc/rsyncd.secrets
5. 启动rsync服务
systemctl enable rsyncd --now
systemctl restart rsyncd

Centos8 yum安装rsync没有rsyncd服务解决方案:
https://blog.csdn.net/Tassel_YUE/article/details/139131074

4. 实验测试

在front主机上创建文件,在storage和backup主机上使用watch持续查看命令查看目录变化情况

# front
[root@front ~]# ll /upload/
total 0
[root@front ~]# touch /upload/hello{1..10}.txt
[root@front ~]# ll /upload/
total 0
-rw-r--r--. 1 nobody nobody 0 May 22 23:54 hello10.txt
-rw-r--r--. 1 nobody nobody 0 May 22 23:54 hello1.txt
-rw-r--r--. 1 nobody nobody 0 May 22 23:54 hello2.txt
-rw-r--r--. 1 nobody nobody 0 May 22 23:54 hello3.txt
-rw-r--r--. 1 nobody nobody 0 May 22 23:54 hello4.txt
-rw-r--r--. 1 nobody nobody 0 May 22 23:54 hello5.txt
-rw-r--r--. 1 nobody nobody 0 May 22 23:54 hello6.txt
-rw-r--r--. 1 nobody nobody 0 May 22 23:54 hello7.txt
-rw-r--r--. 1 nobody nobody 0 May 22 23:54 hello8.txt
-rw-r--r--. 1 nobody nobody 0 May 22 23:54 hello9.txt

# storage
[root@storage sersync]# watch ls -l /nfsupload/
Every 2.0s: ls -l /nfsupload/                                 storage: Wed May 22 23:55:36 2024
total 0
-rw-r--r--. 1 nobody nobody 0 May 22 23:54 hello10.txt
-rw-r--r--. 1 nobody nobody 0 May 22 23:54 hello1.txt
-rw-r--r--. 1 nobody nobody 0 May 22 23:54 hello2.txt
-rw-r--r--. 1 nobody nobody 0 May 22 23:54 hello3.txt
-rw-r--r--. 1 nobody nobody 0 May 22 23:54 hello4.txt
-rw-r--r--. 1 nobody nobody 0 May 22 23:54 hello5.txt
-rw-r--r--. 1 nobody nobody 0 May 22 23:54 hello6.txt
-rw-r--r--. 1 nobody nobody 0 May 22 23:54 hello7.txt
-rw-r--r--. 1 nobody nobody 0 May 22 23:54 hello8.txt
-rw-r--r--. 1 nobody nobody 0 May 22 23:54 hello9.txt


# backup
[root@backup ~]# watch ls -l /nfsuploadbak/
Every 2.0s: ls -l /nfsuploadbak/                               backup: Wed May 22 23:57:37 2024
total 0
-rw-r--r--. 1 rsync rsync 0 May 22 23:54 hello10.txt
-rw-r--r--. 1 rsync rsync 0 May 22 23:54 hello1.txt
-rw-r--r--. 1 rsync rsync 0 May 22 23:54 hello2.txt
-rw-r--r--. 1 rsync rsync 0 May 22 23:54 hello3.txt
-rw-r--r--. 1 rsync rsync 0 May 22 23:54 hello4.txt
-rw-r--r--. 1 rsync rsync 0 May 22 23:54 hello5.txt
-rw-r--r--. 1 rsync rsync 0 May 22 23:54 hello6.txt
-rw-r--r--. 1 rsync rsync 0 May 22 23:54 hello7.txt
-rw-r--r--. 1 rsync rsync 0 May 22 23:54 hello8.txt
-rw-r--r--. 1 rsync rsync 0 May 22 23:54 hello9.txt

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1696941.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【调试笔记-20240521-Linux-编译 QEMU/x86_64 可运行的 OpenWrt 固件】

调试笔记-系列文章目录 调试笔记-20240521-Linux-编译 QEMU/x86_64 可运行的 OpenWrt 固件 文章目录 调试笔记-系列文章目录调试笔记-20240521-Linux-编译 QEMU/x86_64 可运行的 OpenWrt 固件 前言一、调试环境操作系统&#xff1a;Ubuntu 22.04.4 LTS编译环境调试目标 二、调…

etcd基础知识总结

文章目录 核心概念什么是etcd为什么需要etcd分布式中CAP理论etcd中常用的术语etcd的特性etcd的应用场景etcd的核心架构小结 etcd搭建小结 Etcdctl小结 etcd网关和grpc-GetwayEtcd 网关模式grpc-Geteway小结 etcd读请求执行流程Etcd 写请求执行流程写请求之QuotaKVServer模块写请…

晶圆厂的PE转客户工程师前景怎么样?

知识星球&#xff08;星球名&#xff1a; 芯片制造与封测技术社区&#xff0c;星球号&#xff1a; 63559049&#xff09;里的学员问&#xff1a; 目前在晶圆厂做PE&#xff0c;倒班oncall压力太大把身体搞坏了&#xff0c;现在有一个design house的CE客户工程师的offer&…

绘唐科技绘唐ai工具邀请码

绘唐科技绘唐ai工具邀请码 绘唐AI工具 https://qvfbz6lhqnd.feishu.cn/wiki/QBr4wOAz2ilF4NknrqbcoKRhn2c TensorFlow是一个开源的机器学习框架,由Google开发并维护。它提供了一个灵活且高效的接口,用于构建和训练各种机器学习模型。 TensorFlow的基本概念包括: 1. 张量(…

Qt Creator(1)【概述篇】

阅读导航 引言一、Qt概述1. 什么是Qt2. Qt的发展史3. Qt支持的平台4. Qt的优点5. Qt的应用场景 二、Qt下载安装 引言 在探索编程和软件开发的旅程中&#xff0c;我们已经奠定了坚实的基础&#xff0c;通过学习C语言和C&#xff0c;我们不仅掌握了结构化编程和面向对象编程的核…

[数组查找]2.图解二分查找及其代码实现

二分查找 二分查找也是一种在数组中查找数据的算法。和线性查找不同&#xff0c;它只能查找已经排好序的数据。二分查找通过比较数组中间的数据与目标数据的大小&#xff0c;可以得知目标数据是在数组的左边还是右边。因此&#xff0c;比较一次就可以把查找范围缩小一半。重复执…

天工 AI 3.0,彻底爆了!

作为一名 AI 博主&#xff0c;深知一个优秀的AI工具能大大提高我们日常学习、工作效率&#xff0c;比如我之前学习一些AI方向的算法知识&#xff0c;需要搜索大量博客、付费购买专业课程等。光在找到有用的资料就耗费不少时间了&#xff0c;更何况需要阅读全文去整理汇总&#…

1.2 程序员职业发展

目录 1 程序员职业发展方向 2 计算机研究生为何青睐AI赛道 1 程序员职业发展方向 2 计算机研究生为何青睐AI赛道 计算机类研究生&#xff0c;大部分以人工智能作为主赛道&#xff0c;原因如下&#xff1a; 广阔的就业前景&#xff1a;人工智能是当今科技发展的前沿领域&…

专业渗透测试 Phpsploit-Framework(PSF)框架软件小白入门教程(十二)

本系列课程&#xff0c;将重点讲解Phpsploit-Framework框架软件的基础使用&#xff01; 本文章仅提供学习&#xff0c;切勿将其用于不法手段&#xff01; 接上一篇文章内容&#xff0c;讲述如何进行Phpsploit-Framework软件的基础使用和二次开发。 我们&#xff0c;继续讲一…

SVM兵王问题

1.流程 前面六个就是棋子的位置&#xff0c;draw就是逼和&#xff0c;后面的数字six就代表&#xff0c;白棋最少用六步就能将死对方。然后呢&#xff0c;可以看一下最后一个有几种情况&#xff1a; 2.交叉测试 leave one out&#xff1a; 留一个样本作测试集&#xff0c;其余…

VUE3.0学习-模版语法

安装Node.js的过程相对直接&#xff0c;以下是详细的步骤指导&#xff0c;适用于大多数操作系统&#xff1a; ### 1. 访问Node.js官方网站 首先&#xff0c;打开浏览器&#xff0c;访问 [Node.js 官方网站](https://nodejs.org/)。 ### 2. 选择合适的版本下载 在Node.js官网上…

精品PPT | 精益生产管理中MES系统的实现与应用(免费下载)

【1】关注本公众号&#xff0c;转发当前文章到微信朋友圈 【2】私信发送 MES系统的实现与应用 【3】获取本方案PDF下载链接&#xff0c;直接下载即可。 如需下载本方案PPT/WORD原格式&#xff0c;请加入微信扫描以下方案驿站知识星球&#xff0c;获取上万份PPT/WORD解决方案&…

将已克隆的Git仓库推送到内网服务器

一、需求背景 我们公司用gitea搭建了一个git服务器&#xff0c;其中支持win7的最高版本是v1.20.6。 我们公司的电脑在任何时候都不能连接外网&#xff0c;但是希望将一些开源的仓库移植到内网的服务器来&#xff0c;一是有相关代码的使用需求&#xff0c;二是建设一个内网可以…

DI-engine强化学习入门(三)DI-ZOO强化学习环境搭建与示例运行——Atari

Atari是一家知名的电子游戏公司&#xff0c;成立于1972年&#xff0c;是早期电子游戏产业的先驱之一。在强化学习领域&#xff0c;提到Atari通常指的是Atari 2600游戏的一系列环境&#xff0c;这些环境是用于开发和测试强化学习算法的标准平台。 Atari 2600 强化学习环境概述 …

手写tomcat(Ⅲ)——tomcat动态资源的获取

仿写tomcat的Servlet接口体系 之前写过一篇博客&#xff0c;Tomcat的Servlet-GenericServlet-HttpServlet体系的具体结构&#xff0c;以及Servlet的生命周期 Servlet讲解 想要模仿tomcat获取动态资源&#xff0c;就需要我们自己仿写一个Servlet接口体系 主要包括&#xff1a…

第15篇:JTAG UART IP应用<二>

Q&#xff1a;如何通过C库函数访问JTAG UART&#xff1f; A&#xff1a;创建Quartus硬件工程以及Platform Designer系统&#xff0c;这与我们之前创建的第一个Nios II工程--Hello_World的Quartus硬件工程一样&#xff0c;IP组件有Clock Source、Nios II Professor、On-Chip Me…

机器重启oracle数据库自动启动异常

业务连接报ora-01033&#xff1a; 检查服务器&#xff0c;发现有重启记录&#xff0c;oracle进程存在&#xff0c;数据库状态处于mount状态&#xff0c;检查日志&#xff0c;发现在数据库启动时没有正常open&#xff1a; 连入数据库&#xff1a;Select * from v$backup 发现数…

SpringBoot集成Logback将日志写入文件夹

一、logback简介&#xff1a; 目前比较常用的ava日志框架:Logback、log4j、log4j2、JUL等等。 Logback是在log4j的基础上重新开发的一套日志框架&#xff0c;是完全实现SLF4J接口API(也叫日志门面)。 Logback 的架构非常通用&#xff0c;可以应用于不同的环境。目前logback分为…

数据分析项目有哪些实施流程?揭示从数据准备到解决方案全过程

在当今数据驱动的商业环境中&#xff0c;数据分析项目的成功实施对于企业洞察市场趋势、优化产品服务、提升用户体验以及增强竞争力具有至关重要的作用。特别是对于直播类应用软件这样的快速增长领域&#xff0c;如何通过数据分析来扩大付费用户基础、提高用户留存率&#xff0…

OceanBase的存储架构与传统LSM-Tree架构的异同|OceanBase数据转储合并技术解读(二)

前篇博文将OceanBase的存储架构巧妙地与自然界中的“水生态”进行了类比&#xff0c;今日我们转变视角&#xff0c;聚焦在与拥有相同LSM-Tree架构的其他产品的比较&#xff0c;深入探讨OceanBase相较于它们所展现出的独特性能。 众所周知&#xff0c;OceanBase数据库的存储引擎…