Linux当中的Sersync实时同步服务及其实战举例

news2025/3/1 9:14:38

目录

一、实时同步

1.定义

2.原理

3.实时同步场景

4.实时同步工具

（1）sersync

（2）Lysncd

二、实时同步实例

1.环境规划

2.配置思路

NFS存储服务如下：

（1）安装NFS

（2）配置NFS

（3）根据配置创建用户、目录以及授权

（4）启动NFS

4.配置Web服务

web服务器操作如下

（1）安装httpd、php

（2）配置httpd进程运行的身份（最好是和NFS的匿名用户保持一致）

（3）客户端挂载

（4）上传程序代码

（5）启动

（6）修改上传大小并重启服务（扩展项）

5.配置备份服务

备份服务器操作如下：

（1）安装Rsync

（2）配置rsync

（3）根据配置准备对应的用户、目录、权限

（4）重启Rsync

6.配置实时同步

NFS服务器操作如下

（1）安装sersync

（2）配置sersync

7.启动sersync，若需要同步多个目录，那么需要编写多个配置文件并启动

8.启动serync后一定要提取同步命令，手动运行一次，检查是否存在错误

9.停止sersync

10.使用lsyncd工具进行实时同步

（1）安装sersync、lsyncd

         （2）配置lsyncd、监控本地目录、触发则立即同步

（3）创建密码文件

11.平滑迁移场景

（1）NFS和backup两台服务器应该保持一致（NFS权限，共享目录）

         （2）启动NFS服务

         （3）修改Rsync的权限进程的用户、然后重新授权目录并重启rsync

（4）进行一次数据推送，然后模拟NFS故障（挂起虚拟机）

 

一、实时同步

1.定义

只要当前目录发生变化则会触发一个时间，事件触发后将变化的目录同步至远程服务器。

2.原理

需要借助Inotify通知接口，用来监控本地目录的变化，若监控本地的目录发生变更，则触发动作，这个动作可以是进行同步操作，或其他操作

3.实时同步场景

（1）解决NFS单点故障，保证同步的数据连续性。NFS——Backup

（2）本地无缝迁移云端

4.实时同步工具

（1）sersync

是国人基于rsync+inotify基础之上开发的工具，强化了实时监控，文件过滤，简化配置等功能，帮助用户挺高运行效率，节省时间和网络资源。

（2）Lysncd

是一款开源的数据实时同步工具，基于inotify和rsync基础之上开发的，主要用于的网站备份，网站搬家等等

二、实时同步实例

1.环境规划

角色

外网

内网

工具

web01

eth:10.0.07

eth1:172.16.1.7

httpd,php

nfs-sever

eth0:10.0.0.32

eth1:172.16.1.32

nsf,sersyn

backup

eth0:10.0.0.31

eth1:172.16.1.31

rsync-server

2.配置思路

1.模拟用户通过程序上传视频至web，实际是写入至nfs服务器中

2.在备份服务器上新增data 模块，便于nfs的数据实时同步至备份服务器的 data 模块

3.配置sersync实时同步，将nfs的数据实时的同步到备份服务器/data目录

3.配置NFS存储

NFS存储服务如下：

（1）安装NFS

yum install nfs-utils -y

（2）配置NFS

[root@nfs ~] cat /etc/exports /data 
172.16.1.0/24(rw,sync,all_squash,anonuid=66 6,anongid=666)

（3）根据配置创建用户、目录以及授权

[root@nfs ~] groupadd -g666 www [root@nfs ~]# useradd -u666 -g666 www 
[root@nfs ~] mkdir /data [root@nfs ~]# chown -R www.www /data

（4）启动NFS

[root@nfs ~] systemctl restart nfs-server

[root@nfs ~] sysytemctl enable nfs-server

4.配置Web服务

web服务器操作如下

（1）安装httpd、php

[root@web01 ~] yum install httpd php -y

（2）配置httpd进程运行的身份（最好是和NFS的匿名用户保持一致）

[root@web01 html] sed -i '/^User/c User www' /etc/httpd/conf/httpd.conf

[root@web01 htm1] sed -i '/^Group/c Group www' /etc/httpd/conf/httpd.conf

（3）客户端挂载

[root@web01 ~] mount -t nfs 172.16.1.32: /data /var/www/html

（4）上传程序代码

[root@web01 ~] cd/var/www/html/

[root@web01 html] wget http://cdn.xuliangwei.com/kaoshi.zip

[root@web01 htm7]  unzip kaoshi.zip

（5）启动

[root@web01 ~] systemctl start httpd

（6）修改上传大小并重启服务（扩展项）

[root@web01 ~] vim /etc/php.ini 
upload_max_filesize = 200M;
post_max_size = 200M; 

[root@web01 ~] systemctl restart httpd

5.配置备份服务

备份服务器操作如下：

（1）安装Rsync

yum install rsync -y

（2）配置rsync

[root@backup ~] cat /etc/rsyncd.conf

uid = www

gid = www

port = 873

fake super = yes

use chroot = no

max connections = 200

timeout = 600

read only = false

list = true

auth users = rsync_backup

secrets file = /etc/rsync.passwd

log file = /var/log/rsyncd.log

#####################################

[backup]

path /backup

[data]

path = /data

（3）根据配置准备对应的用户、目录、权限
 

[root@backup ~] groupadd -g666 www
[root@backup ~] useradd -u666 -g666 www
[root@backup ~] cat /etc/rsync.passwd rsync_backup:123456
[root@backup ~] chmod 600 /etc/rsync.passwd
[root@backup ~] mkdir -p /data /backup
[root@backup ~] chown -R www.www /data/ /backup/

（4）重启Rsync

systemctl restart rsync

6.配置实时同步

NFS服务器操作如下

（1）安装sersync

yum install rsync inotify-tools -y
[root@nfs ~] wget https://raw.githubusercontent.com/wsgzao/se rsync/master/sersync2.5.4_64bit_binary_stab le_final.tar.gz 
[root@nfs ~] tar xf sersync2.5.4_64bit_binary_stable_final.tar. gz 
[root@nfs ~] mv GNU-Linux-x86/ /usr/local/sersync

（2）配置sersync

[root@nfs01 tools] cd /usr/local/sersync/
[root@nfs01 sersync] cp confxml.xml confxml.bak 
[root@nfs01 sersync] vim confxml.xml

[root@nfs01 sersync] vim confxml.xml 
5 <filesystem xfs="true"/> <!-- 文件 系统-->
 6 <filter start="false"> <!--排除不想 同步的文件--> 
7 <exclude expression=' (.*)\.svn"></exclude> 
8 <exclude expression="(.*)\.gz"> </exclude>
9.<exclude expression="^info/*"> </exclude> 
10 <exclude expression="^static/*"></exclude> 
11 </filter> 
12 <inotify> <!-- 监控的事件类型--> 
13 <delete start="true"/> 
14 <createFolder start="true"/> 
15 <createFile start="true"/> 
16 <closewrite start="true"/> 
17 <moveFrom start="true"/> 
18 <moveTo start="true"/> 
19 <attrib start="false"/> 
20 <modify start="true"/> 
21 </inotify>

23 <sersync> 
24 <localpath watch="/data"> <!-- 监控的目录--> 
25 <remote ip="172.16.1.41" name="data"/> <!--backup的IP以及模块-->
28 </localpath> 29 <rsync> <!--rsync的选项 --> 
30 <commonParams params="- az"/> 
31 <auth start="true" users="rsync_backup" passwordfile="/etc/rsync.pass"/> 
32 <userDefinedPort start="false" port="874"/><!-- port=874--> 
33 <timeout start="true" time="100"/><!-- timeout=100 34 <ssh start="false"/> 
35 </rsync> <!--每60分钟执行一次同步--> 
36 <failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/> <!--def ault every 60mins execute once-->

7.启动sersync，若需要同步多个目录，那么需要编写多个配置文件并启动

[root@nfs ~] /usr/local/sersync/sersync2 dro /usr/local/sersync/confxml.xml

8.启动serync后一定要提取同步命令，手动运行一次，检查是否存在错误

[root@nfs ~] cd /data && rsync -az -R delete ./ --timeout=100 rsync_backup@172.16.1.31::data --password- file=/etc/rsync.pass

9.停止sersync

[root@nfs data] pkill sersync

10.使用lsyncd工具进行实时同步

（1）安装sersync、lsyncd

yum install rsync inotify-tools lsyncd -y

（2）配置lsyncd、监控本地目录、触发则立即同步

[root@nfs ~] cat /etc/1syncd.conf 
settings 
 { logfile = "/var/log/1syncd/1syncd.log", 
   statusFile = "/var/log/1syncd/1syncd.status",
   inotifyMode = "CloseWrite", maxProcesses = 8, 
} 
sync 
{
  default.rsync, source = "/data", 
  target = "rsync_backup@172.16.1.31::data", 
  delete= true, 
  delay = 1 -同步事件时间1s 
  rsync= { binary = "/usr/bin/rsync", 
          archive = true, 
         compress = true, 
          verbose = true, 
    password_file = "/etc/rsync.pass" _extra = {"--bwlimit=200"} } 
} 


[root@nfs ~] echo "123">/etc/rsync.pass

（3）创建密码文件

[root@nfs ~] chmod 600 /etc/rsync.pass 
[root@nfs ~] systemctl start lsyncd.service

11.平滑迁移场景

当NFS出现故障时，如何进行快速切换，尽量不影响服务

（1）NFS和backup两台服务器应该保持一致（NFS权限，共享目录）

[root@backup ~] yum install nfs-utils -y 
[root@backup ~] rsync -avz root@172.16.1.32:/etc/exports /etc/ 
[root@backup ~] groupadd -g 666 www 
[root@backup ~] useradd -u666 -g666 www

（2）启动NFS服务

[root@backup ~] systemctl start nfs-server

（3）修改Rsync的权限进程的用户、然后重新授权目录并重启rsync

[root@backup ~] vim /etc/rsyncd.conf uid=www gid = www 
[root@backup ~] chown -R www.www /data/ backup/

（4）进行一次数据推送，然后模拟NFS故障（挂起虚拟机）

在Web上实现平滑迁移，卸载NFS的/data目录，重新挂载bcakup服务的/data目录

[root@web01 ~] umount -1f /var/www/html/ && mount -t nfs 172.16.1.31: /data /var/www/html/

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/117894.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

40. 使用块的网络（VGG）

40. 使用块的网络（VGG）

虽然AlexNet证明深层神经网络卓有成效&#xff0c;但它没有提供一个通用的模板来指导后续的研究人员设计新的网络。 在下面的几个章节中&#xff0c;我们将介绍一些常用于设计深层神经网络的启发式概念。 与芯片设计中工程师从放置晶体管到逻辑元件再到逻辑块的过程类似&#x…
阅读更多...
Node.js--》三大常见模块的使用讲解

Node.js--》三大常见模块的使用讲解

目录 fs文件系统模块 fs.readFile()方法 fs.writeFile()方法 readFile与writeFile的使用 fs模块路径动态拼接问题 path路径模块 path.join()方法 path.basename() path.extname() path.parse() http模块 req请求对象 res响应对象 解决中文乱码问题 响应不同内容…
阅读更多...
Python实现猎人猎物优化算法(HPO)优化支持向量机回归模型(SVR算法)项目实战

Python实现猎人猎物优化算法(HPO)优化支持向量机回归模型(SVR算法)项目实战

说明&#xff1a;这是一个机器学习实战项目&#xff08;附带数据代码文档视频讲解&#xff09;&#xff0c;如需数据代码文档视频讲解可以直接到文章最后获取。 1.项目背景 猎人猎物优化搜索算法(Hunter–prey optimizer, HPO)是由Naruei& Keynia于2022年提出的一种最新的优…
阅读更多...
计算机系统基础实验 - 同符号浮点数加法运算/无符号定点数乘法运算的机器级表示

计算机系统基础实验 - 同符号浮点数加法运算/无符号定点数乘法运算的机器级表示

实验3 同符号浮点数加法运算/无符号定点数乘法运算的机器级表示 实验序号&#xff1a;3 实验名称&#xff1a;同符号浮点数加法运算/无符号定点数乘法运算的机器级表示 适用专业&#xff1a;软件工程 学 时 数&#xff1a;2学时 一、实验目的 1.掌握定点数乘法溢出的判定方法…
阅读更多...
Kafka触发Rebalance的场景分析

Kafka触发Rebalance的场景分析

文章目录前言触发Rebalance的原因1. 消费者成员发生变化2. 分区数发生变化3. 订阅Topic发生变化Rebalance全流程介绍场景一&#xff1a;新成员入组场景二&#xff1a;成员主动离组场景三&#xff1a;成员崩溃离组场景四&#xff1a;组成员提交位移前言 所谓Rebalance就是让Con…
阅读更多...
Python小工具-复制嵌套目录下的多个word文档到指定目录

Python小工具-复制嵌套目录下的多个word文档到指定目录

文章目录Python小工具-复制嵌套目录下的多个word文档到指定目录需求原始数据工具实现思路代码实现1-6 配置项目7 定义file_type_to_reduce_dir函数完成文件复制或移动8 定义list_dir_by_level函数完成遍历调用函数并执行待改进地方完整代码自我反省Python小工具-复制嵌套目录下…
阅读更多...
全志 Linux 系统启动优化 启动优化速度方式 优化启动流程 优化uboot 优化kernel等

全志 Linux 系统启动优化 启动优化速度方式 优化启动流程 优化uboot 优化kernel等

文章目录1 概述2 启动速度优化简介2.1 启动流程2.2 测量方法2.2.1 printk time2.2.2 initcall_debug2.2.3 bootgraph.2.2.4 bootchart2.2.5 gpio 示波器.2.2.6 grabserial.2.3 优化方法2.3.1 boot0启动优化2.3.1.1 非安全启动.2.3.1.2 安全启动2.3.2 uboot启动优化2.3.2.1 完全…
阅读更多...
07、SpringCloud 系列：Alibaba - 介绍

07、SpringCloud 系列：Alibaba - 介绍

SpringCloud 系列列表&#xff1a; 文章名文章地址01、Eureka - 集群、服务发现https://blog.csdn.net/qq_46023503/article/details/12831902302、Ribbon - 负载均衡https://blog.csdn.net/qq_46023503/article/details/12833228803、OpenFeign - 远程调用https://blog.csdn.…
阅读更多...
一套ASP.NET优惠券领取微信小程序源码（前台+后台）

一套ASP.NET优惠券领取微信小程序源码（前台+后台）

ASP.NET优惠券领取微信小程序源码&#xff08;前台后台&#xff09; 源码免费分享&#xff01;需要源码学习可私信我。 一、源码特点 1、这是一个微信小程序对接淘宝的淘宝客api自助搜索优惠券领取程序&#xff0c;简单易学。 2、后台采用asp.netMvc框架开发、实现了调用阿里妈…
阅读更多...
Java I/O（五）NIO应用之Netty

Java I/O（五）NIO应用之Netty

Netty 目录Netty1 Netty概览2 Netty核心组件2.1 Bootstrap和ServerBootStrap&#xff08;启动引导类&#xff09;2.2 Channel&#xff08;网络操作抽象类&#xff09;2.3 EventLoop&#xff08;事件循环&#xff09;2.4 EventLoopGroup&#xff08;事件循环组&#xff09;2.7 C…
阅读更多...
【Vue】创建 Vue 实例与对象配置、容器与实例的关系、插值延伸和 Vue 开发工具的初步使用

【Vue】创建 Vue 实例与对象配置、容器与实例的关系、插值延伸和 Vue 开发工具的初步使用

创建 Vue 实例 引入 Vue 注意在 Head 中 <script type"text/javascript" src"./vue.js"></script>另一个 javascript 中创建 Vue 实例&#xff0c;注意在 Body 尾部 <script type"text/javascript">const x new Vue() <…
阅读更多...
12. 目前常用的四种信道复用方式：（）、（）、（）和（） ---- 计算机网络

12. 目前常用的四种信道复用方式：（）、（）、（）和（） ---- 计算机网络

目前常用的四种信道服用方式&#xff1a;&#xff08;频分复用&#xff09;、&#xff08;时分复用&#xff09;、&#xff08;码分复用&#xff09;和&#xff08;波分复用&#xff09; 知识点 复用&#xff08;multiplexing&#xff09;&#xff1a;就是在一个信道上传输多路…
阅读更多...
java SE阶段面试题

java SE阶段面试题

目录 1、Java 的数据类型有哪些&#xff1f; 2、变量的三要素是什么&#xff1f;变量使用有什么要求&#xff1f; 3、基本数据类型变量和引用数据类型变量有什么区别&#xff1f; 4、Java 的运算符有几种意思&#xff1f; 5、Java 的自增、自减运算符在自增变量前后有什么区…
阅读更多...
《计算机网络》——第三章知识点

《计算机网络》——第三章知识点

第三章思维导图 链路层的信道类型 一对一:点对点信道 —对多:广播信道 链路层要解决的问题 封装成帧 透明传输 差错检测密封&#xff0c;透气性差 封装成帧就是在一段数据的前后部分添加首部和尾部&#xff0c;这样就构成了一个帧。接收端在收到物理层上交的比特流后&#xff…
阅读更多...
Pandas.to_csv()函数及全部参数使用方法一文详解+实例代码

Pandas.to_csv()函数及全部参数使用方法一文详解+实例代码

目录 前言 一、基础语法与功能 二、参数说明和代码演示 1.path_or_buf 选择文件/文件路径写入 2.sep 指定分隔符 3.na_rep 指定缺少数据表示 4.float_format 指定浮点型字符串输出格式 5. columns 指定要写入的列 6.header 是否需要写入列名 7.index 是否写入行名称&am…
阅读更多...
【实时数仓】Sugar拉取数据展示、品牌销售排行接口、品类销售占比接口和热门商品SPU排名接口的实现

【实时数仓】Sugar拉取数据展示、品牌销售排行接口、品类销售占比接口和热门商品SPU排名接口的实现

文章目录一 Sugar拉取数据展示1 内网穿透&#xff08;1&#xff09;作用&#xff08;2&#xff09;工具&#xff08;3&#xff09;本机ip地址&#xff08;4&#xff09;花生壳配置2 配置组件二 品牌销售排行接口1 Sugar配置&#xff08;1&#xff09;图表配置&#xff08;2&…
阅读更多...
2022《粤语好声音-乐队风暴》全国总决赛圆满收官！

2022《粤语好声音-乐队风暴》全国总决赛圆满收官！

2022年12月17日&#xff0c;由广东珠江、盛娱星汇海选联合主办的2022《粤语好声音-乐队风暴》全国总决赛在广州增城1978电影小镇正式拉开帷幕。从海选到全国总决赛&#xff0c;2022《粤语好声音-乐队风暴》在21座城市中&#xff0c;通过线上线下双模式开展&#xff0c;历时6个月…
阅读更多...
OpManager 虚拟化管理

OpManager 虚拟化管理

什么是虚拟化 虚拟化是创建计算资源的虚拟形式&#xff0c;如计算机、服务器或其他硬件组件&#xff0c;或基于软件的资源&#xff08;如操作系统&#xff09;。虚拟化最常见的示例是在操作系统安装期间对硬盘进行分区&#xff0c;其中物理硬盘驱动器被拆分为多个逻辑磁盘以提…
阅读更多...
重点 |中级软件设计师易混淆知识点 （1）

重点 |中级软件设计师易混淆知识点 （1）

本文章总结了软件设计师考试易混淆知识点&#xff01;&#xff01;&#xff01; 帮助大家更好的复习&#xff0c;希望能对大家有所帮助 比较长&#xff0c;放了部分&#xff0c;需要可私信&#xff01;&#xff01; 易混淆点1&#xff1a;原、反、补码的运算 1、原码&#x…
阅读更多...
Технокубок 2021 - Финал C. Basic Diplomacy

Технокубок 2021 - Финал C. Basic Diplomacy

翻译&#xff1a; Aleksey有&#x1d45b;个朋友。他现在也在度假&#xff0c;所以他有&#x1d45a;天来玩这款新的病毒式合作游戏!但由于它是合作的&#xff0c;阿列克谢将需要一个队友在每个&#x1d45a;天。 在这些日子里&#xff0c;每天都有一些朋友可以玩&#xff0c…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023