Day44-sersync企业实时复制实战

news2025/1/9 2:09:58

Day44-sersync企业实时复制实战

  • 1. sersync实时复制工具介绍
    • 1.1 sersync工具简介
    • 1.2 sersync特点
    • 1.3 sersync图解原理
    • 1.4 sersync+rsync实时复制方案项目实践
      • 1.4.1 图解项目方案架构及实现原理
      • 1.4.2 确保远程数据传输服务部署完成
      • 1.4.3 检查当前系统nfs01是否支持inotify实时监控
      • 1.4.4 在nfs01安装配置sersync
      • 1.4.5 解压配置
      • 1.4.6 配置文件讲解及修改配置
      • 1.4.7 启动sersync
      • 1.4.8 配置:systemctl start sersync启动方案
  • 2. 企业案例
    • 2.1 问题一
    • 2.2 大型企业级高并发文件实时复制方案
    • 2.3 企业级解决 NFS 存储实时复制案例
    • 2.4 更多网站后端存储解决方案
  • 3. rsync多实例

1. sersync实时复制工具介绍

1.1 sersync工具简介

Sersync项目利用inotify与rsync技术实现对服务器数据实时复制的解决方案,其中inotify用于监控sersync所在服务器上文件系统的事件变化,当事件发生变化时就调用rsync命令将变化的数据复制到远端服务器上。

1.2 sersync特点

sersync项目特点是:

  • 使用c++编写,支持对监控的事件过滤功能。
  • sersync采用xml配置文件,然后由守护进程启动,配置起来比inotify-tools更简单。
  • 使用多线程进行复制,即可以并发复制多个不同文件。
  • sersync自带出错处理机制,通过失败队列对出错的文件重新复制。
  • sersync自带crontab功能,可实现对失败队列中的文件定时整体复制。
  • sersync自带socket与http的协议扩展,可以满足有特殊需求的公司二次开发。

1.3 sersync图解原理

在这里插入图片描述

如上图所示:
1、inotify监控指定目录对应事件的变化,当有事件变化时进入事件过滤队列。

2、过滤队列负责过滤不需要复制的数据,也可以过滤短时间内产生的重复inotify事件信息,过滤过的事件触发rsync对变化数据执行复制。

3、图中线程组线程是等待线程队列的守护线程,当事件队列中有事件产生的时候,线程组守护线程就会逐个唤醒复制线程,当队列中inotify事件较多的时候,复制线程就会被全部唤醒一起工作提升复制的效率。

4、除了线程组线程外,还有sersync服务线程,负责处理复制失败的文件,将他们再次复制,对于再次复制失败的文件(命令)记录到rsync_fail_log.sh 脚本,然后定期在执行脚本,同时利用自带的cron功能,实现每隔一定时间,将所有未复制的数据在进行整体复制。

1.4 sersync+rsync实时复制方案项目实践

1.4.1 图解项目方案架构及实现原理

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

1.4.2 确保远程数据传输服务部署完成

大前提rsyncdaemon服务配置成功,可以在rsync客户端推送拉取数据,然后才能配置inotify服务。

确保已经配置好rsync服务,并且能在客户端推送和拉取数据信息:

rsync -avz  /data  rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password

1.4.3 检查当前系统nfs01是否支持inotify实时监控

通过检查/proc/sys/fs/inotify目中是否存在以下三个文件,可以确认系统是否支持实时监控程序。

[root@nfs01 ~]# uname -r
3.10.0-957.1.3.el7.x86_64  #<==内核是3.10,支持inotify机制。
[root@nfs01 ~]# ls -l /proc/sys/fs/inotify/
total 0
-rw-r--r--. 1 root root 0 Apr 14 18:54 max_queued_events
-rw-r--r--. 1 root root 0 Apr 14 18:54 max_user_instances
-rw-r--r--. 1 root root 0 Apr 14 18:54 max_user_watches

1.4.4 在nfs01安装配置sersync

mkdir /server/tools
cd /server/tools
wget https://github.com/wsgzao/sersync/blob/master/sersync2.5.4_64bit_binary_stable_final.tar.gz

1.4.5 解压配置

[root@nfs01 tools]# tar xf sersync_oldboy_64bit_20160928.tar.gz 
sersync_oldboy_64bit_20160928.tar.gz
[root@nfs01 tools]# tree application/
application/
└── sersync
    ├── bin
    │   └── sersync
    ├── conf
    │   ├── confxml.xml
    │   └── confxml.xml.ori
    ├── logs
    │   └── rsync_fail_log.sh
    └── readme.txt
[root@nfs01 tools]# mv application /
[root@nfs01 tools]# tree /application/
/application/
└── sersync
    ├── bin
    │   └── sersync
    ├── conf
    │   ├── confxml.xml
    │   └── confxml.xml.ori
    ├── logs
    │   └── rsync_fail_log.sh
    └── readme.txt
    4 directories, 5 files

1.4.6 配置文件讲解及修改配置

请对比新老配置查看修改的内容

sersync配置文件:干两件事:
1)完成监控配置:

inotifywait -mrq -e createFolder,close_write,delete,moveFrom,moveTo /data

2)完整命令拼接:

rsync -avz  /data  rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password

1.4.7 启动sersync

[root@nfs01 /application/sersync/conf]# ../bin/sersync -h
set the system param
execute:echo 50000000 > /proc/sys/fs/inotify/max_user_watches
execute:echo 327679 > /proc/sys/fs/inotify/max_queued_events
parse the command param

_______________________________________________________
参数-d:启用守护进程模式
参数-r:在监控前,将监控目录与远程主机用rsync命令推送一遍
c参数-n: 指定开启守护线程的数量,默认为10个
参数-o:指定配置文件,默认使用confxml.xml文件
参数-m:单独启用其他模块,使用 -m refreshCDN 开启刷新CDN模块
参数-m:单独启用其他模块,使用 -m socket 开启socket模块
参数-m:单独启用其他模块,使用 -m http 开启http模块
不加-m参数,则默认执行同步程序
________________________________________________________________

[root@nfs01 conf]# echo 50000000 > /proc/sys/fs/inotify/max_user_watches
[root@nfs01 conf]# echo 327679 > /proc/sys/fs/inotify/max_queued_events

[root@nfs01 conf]# /application/sersync/bin/sersync -r -o /application/sersync/conf/confxml.xml -d

cd /data && rsync -artuz -R --delete ./  --timeout=100 rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password >/dev/null 2>&1 

[root@nfs01 ~]# pstree -a -p 1918
sersync,1918 -r -o /application/sersync/conf/confxml.xml -d
  ├─{sersync},1924
  ├─{sersync},1925
  ├─{sersync},1926
  ├─{sersync},1927
  ├─{sersync},1928
  ├─{sersync},1929
  ├─{sersync},1930
  ├─{sersync},1931
  ├─{sersync},1932
  ├─{sersync},1933
  └─{sersync},1934

#同步过程
rsync -artuz -R --timeout=100 ./548.txt rsync_backup@172.16.1.41::oldboy --password-file=/etc/sync.password
root       5764   5760  0 11:00 ?        00:00:00 rsync -artuz -R --timeout=100 ./548.txt rsync_backup@172.16.1.41::backup --password-file=/etc/sync.password
root       5765   1918  0 11:00 ?        00:00:00 sh -c cd /data && rsync -artuz -R  --timeout=100 "./549.txt" rsync_backup@172.16.1.41::oldboy --password-file=/etc/rsync.password >/dev/null 2>&1 
root       5766   1918  0 11:00 ?        00:00:00 sh -c cd /data && rsync -artuz -R  --timeout=100 "./549.txt" rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password >/dev/null 2>&1 
root       5767   5765  0 11:00 ?        00:00:00 rsync -artuz -R --timeout=100 ./549.txt rsync_backup@172.16.1.41::oldboy --password-file=/etc/sync.password
root       5768   5766  0 11:00 ?        00:00:00 rsync -artuz -R --timeout=100 ./549.txt rsync_backup@172.16.1.41::backup --password-file=/etc/sync.password
root       5771   1918  0 11:00 ?        00:00:00 sh -c cd /data && rsync -artuz -R  --timeout=100 "./550.txt" rsync_backup@172.16.1.41::oldboy --password-file=/etc/rsync.password >/dev/null 2>&1 
root       5772   1918  0 11:00 ?        00:00:00 sh -c cd /data && rsync -artuz -R  --timeout=100 "./550.txt" rsync_backup@172.16.1.41::backup --password-file=/etc/rsync.password >/dev/null 2>&1 
root       5773   5771  0 11:00 ?        00:00:00 rsync -artuz -R --timeout=100 ./550.txt rsync_backup@172.16.1.41::oldboy --password-file=/etc/sync.password
root       5774   5772  0 11:00 ?        00:00:00 rsync -artuz -R --timeout=100 ./550.txt rsync_backup@172.16.1.41::backup --password-file=/etc/sync.password
root       5778   2254  0 11:00 pts/0    00:00:00 grep --color=auto sync
root       5779   1918  0 11:00 ?        00:00:00 sh -c cd /data && rsync -artuz -R  --timeout=1

最终

/application/sersync/bin/sersync -d
pkill sersync

二进制程序,不是yum安装的,所以不能systemctl start sersync

1.4.8 配置:systemctl start sersync启动方案

https://blog.51cto.com/oldboy/2155931

[root@nfs01 /data]# tail -1 /etc/rc.local
/application/sersync/bin/sersync -d

配置:systemctl start sersync启动方案
https://blog.51cto.com/oldboy/2155931

[root@nfs01 /data]# cat /etc/rc.d/init.d/sersync
#!/bin/bash
# chkconf
# ig: 2345 21 81
# description: rsync service start and stop scripts
# Author: oldboy
# Organization: www.oldboyedu.com

start(){
    /application/sersync/bin/sersync -d -o /application/sersync/conf/confxml.xml &>/dev/null
}
stop(){
    killall sersync 2>/dev/null
}
case "$1" in
    start)
        start
        ;;
    stop)
        stop
        ;;
    restart)
        stop
        sleep 2
        start
        ;;
    *)
        echo $"Usage:$0 {start|stop|restart}"
        exit 1
esac

练习脚本启动:

chmod +x /etc/rc.d/init.d/sersync

/etc/init.d/sersync stop
ps -ef|grep sync

/etc/init.d/sersync start
ps -ef|grep sync

写一个启动脚本:使用service sersyc start/stop启动停止。
解答:

/etc/init.d/sersync start
/etc/init.d/sersync stop

[root@nfs01 /data]# cat /etc/rc.d/init.d/sersync
#!/bin/bash
# chkconfig: 2345 21 81   ###实现开机启动顺序以及在哪些级别上开机启动。
# description: rsync service start and stop scripts

service sersync stop/start

C7:

[root@nfs01 /data]# cat /usr/lib/systemd/system/sersync.service
[Unit]
Description=sersyncd service
After=network.target

[Service]
Type=forking           
ExecStart=/etc/rc.d/init.d/sersync start   
ExecReload=/etc/rc.d/init.d/sersync restart
ExecStop=/etc/rc.d/init.d/sersync stop     
PrivateTmp=true

[Install]
WantedBy=multi-user.target

chmod +x /usr/lib/systemd/system/sersync.service

[root@nfs01 /data]# systemctl enable sersync.service
Created symlink from /etc/systemd/system/multi-user.target.wants/sersync.service to /usr/lib/systemd/system/sersync.service.

[root@nfs01 /data]# systemctl status sersync.service
● sersync.service - sersyncd service
   Loaded: loaded (/usr/lib/systemd/system/sersync.service; enabled; vendor preset: disabled)
   Active: inactive (dead)

[root@nfs01 /data]# systemctl stop sersync
[root@nfs01 /data]# ps -ef|grep sersync|grep -v grep
[root@nfs01 /data]# systemctl start sersync

2. 企业案例

2.1 问题一

挂载的盘有将近24t,里面有200G数据,都是tomcat用到的数据,nfs服务器磁盘容量是24t,tomcat服务器里面跑着4个tomcat服务,他们昨天通过jenkins部署代码,控制台输出信息是超时,在排查时,发现tomcat服务器虽然现实挂载nfs服务器的24t硬盘,但是往里面无法写数据,ls就是夯住没反应,后来是重新挂载才解决的,但是有时候就是莫名其妙的夯住。

分析:

  1. 数据是太大。
  2. 挂载参数有问题。
  3. 网络连接不稳定,
  4. 服务器压力大
  5. 架构错误(站点目录挂载NFS上了),这样不行。

解决办法:

  1. 还用NFS,但要调整架构,例如动静分离、读写分离。
  2. 更换分布式文件系统
  3. 注意CDN的使用,看看命中率,想法提高命中。
  4. 还可以弃用NFS,读取本地方案,

2.2 大型企业级高并发文件实时复制方案

除了本文讲解的数据实时复制方案外,其实,企业运维工作中还有很多的方案,例如:

  1. inotify(sersync)+rsync复制方案是文件级别的复制,优点:简单、易用,缺点:速度不快。
  2. drbd复制方案是文件系统级别复制,基于block块进行复制,优点:速度快,缺点:主节点工作时,备节点数据处于不可使用状态。
  3. 借用第三方软件的复制功能复制文件:例如:mysql复制(主从复制),oracle,mongodb自身的复制工具。
  4. 在业务上开发程序双写不同的服务器,即直接写两台服务器。
  5. 应用服务器写一台,在写日志(消息队列),利用异步方式复制。

对于复制延迟的问题,可以利用产品业务逻辑解决(例如:读写分离,备读不到读主)。

2.3 企业级解决 NFS 存储实时复制案例

  1. 有些网友觉得NFS性能不高,其实在共享存储时,可以使用读写分离的方案,即用户上传时把文件传到NFS上,这部分写的并发要比读小很多,可能写读比只有 1:20。
  2. 然后借用 inotify(sersync)+rsync方案把NFS上数据实时复制到Web服务器本地(静态服务器)
  3. Web 服务直接读本地的目录实时复制过来的文件,如果本地没有,再去NFS共享上读文件,缓解延迟带来的问题。
  4. 经过实测,inotify(sersync)+rsync方案单进程多线程可以处理并发200个100K左右的文件,而不会延迟,当然还可以开多进程,拆分监控不同的二级目录。

2.4 更多网站后端存储解决方案

  1. 使用CDN加速以及内网搭建文件缓存服务(squid,nginx,varnish)减轻存储压力。
  2. 把多个文件目录分配到不同的NFS服务器上,相当于把NFS服务器拆分多台。
  3. 弃用NFS方案
  4. 使用分布式文件系统(例如:FastDFS、Mfs)

3. rsync多实例

rsync --config=/etc/rsyncd01.conf --daemon  #用于nfs实时复制
rsync --config=/etc/rsyncd02.conf --daemon  #用于定时备份

通过指定配置文件参数

--config=FILE           specify alternate rsyncd.conf file

建议:不推荐
最佳方法:把www uid和rsync一样。

[root@backup ~]# cat /etc/rsyncd.conf
#rsync_config_______________start
#created by oldboy
#site: http://www.oldboyedu.com
uid = rsync
gid = rsync
use chroot = no
fake  super  = yes
max connections = 200
timeout = 600 
pid file = /var/run/rsyncd.pid
lock file = /var/run/rsync.lock
log file = /var/log/rsyncd.log
ignore errors
read only = false
list = true
hosts allow = 172.16.1.0/24
hosts deny = 0.0.0.0/32
auth users = rsync_backup
secrets file = /etc/rsync.password
[backup]
comment = 所有服务器定时任务备份
path = /backup/

[data]
uid = www
gid = www
comment = 存储NFS实时复制数据
path = /data/

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1520490.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

智慧城市:提升城市治理能力的关键

目录 一、智慧城市的概念及特点 二、智慧城市在提升城市治理能力中的应用实践 1、智慧交通&#xff1a;提高交通治理效率 2、智慧政务&#xff1a;提升政府服务水平 3、智慧环保&#xff1a;加强环境监测与治理 4、智慧安防&#xff1a;提高城市安全水平 三、智慧城市在…

基于springboot的七彩云南文化旅游网站的设计与实现(论文+源码)_kaic

摘 要 传统办法管理信息首先需要花费的时间比较多&#xff0c;其次数据出错率比较高&#xff0c;而且对错误的数据进行更改也比较困难&#xff0c;最后&#xff0c;检索数据费事费力。因此&#xff0c;在计算机上安装七彩云南文化旅游网站软件来发挥其高效地信息处理的作用&am…

sqllab第二十三关通关笔记

知识点&#xff1a; mysqli_query() 返回值为资源型或布尔型如果内容为查询语句则返回资源型数据&#xff1b;如果内容为插入、更新、删除等语句则返回布尔类型结果mysql_fetch_array() 从结果集中取出一行作为关联数组或数字数组输入内容为指定查询的结果集单引号闭合绕过联…

【测试开发学习历程】Docker入门

前言&#xff1a; Linux命令到上一篇博文就可以告一个段落了哦 ~ ~ 今天初步学习在测试中很重要的东西&#xff1a;Docker 目录 1 Docker概述 1.1 Docker产生的背景&#xff1f; 1.2 Docker的理念&#xff1f; 1.3 Docker的优势 1.3.1 传统的虚拟机 1.3.2 容器化虚拟技…

异次元发卡源码系统/荔枝发卡V3.0二次元风格发卡网全开源源码

– 支付系统&#xff0c;已经接入易支付及Z支付免签接口。 – 云更新&#xff0c;如果系统升级新版本&#xff0c;你无需进行繁琐操作&#xff0c;只需要在你的店铺后台就可以无缝完成升级。 – 商品销售&#xff0c;支持商品配图、会员价、游客价、邮件通知、卡密预选&#…

数据库 | MYSQL这个复杂系统如何上手?

当你不知道从何入手研究或解决一个复杂系统的问题时&#xff0c;通常意味着你没有找到合适的切入点或者缺乏对系统整体和细节之间联系的理解。在这种情况下&#xff0c;一个有用的策略是寻找系统的基本原理或构成要素。 小时候&#xff0c;你可能也玩过玩具四驱车。有的四驱车…

Github 2024-03-16 Rust开源项目日报 Top10

根据Github Trendings的统计,今日(2024-03-16统计)共有10个项目上榜。根据开发语言中项目的数量,汇总情况如下: 开发语言项目数量Rust项目10TypeScript项目2Go项目1RustDesk: 用Rust编写的开源远程桌面软件 创建周期:1218 天开发语言:Rust, Dart协议类型:GNU Affero Gene…

OCP NVME SSD规范解读-12.Telemetry日志要求

以NVME SSD为例&#xff0c;通常大家想到的是观察SMAR-log定位异常&#xff0c;但是这个信息在多数情况下无法只能支撑完整的定位链路。 定位能力的缺失和低效是数据中心问题解决最大的障碍。 为了解决这个问题&#xff0c;Meta的做法是推进OCP组织加入延迟记录页面。同时NVME协…

经典机器学习模型(一)感知机模型

经典机器学习模型(一)感知机模型 感知机可以说是一个相当重要的机器学习基础模型&#xff0c;是神经网络和支持向量机的基础。 感知机是一个二分类的线性分类模型&#xff0c;之所以说是线性&#xff0c;是因为它的模型是线性形式的。 从《统计学习方法》中&#xff0c;我们…

如何搭建“Docker Registry私有仓库,在CentOS7”?

1、下载镜像Docker Registry docker pull registry:2.7.1 2、运行私有库Registry docker run -d -p 5000:5000 -v ${PWD}/registry:/var/lib/registry --restartalways --name registry registry:2.7.1 3、拉取镜像 docker pull busybox 4、打标签&#xff0c;修改IP&#x…

基于直方图均衡化的图像去雾算法,Matlab实现

博主简介&#xff1a; 专注、专一于Matlab图像处理学习、交流&#xff0c;matlab图像代码/项目合作可以联系&#xff08;QQ:3249726188&#xff09; 个人主页&#xff1a;Matlab_ImagePro-CSDN博客 原则&#xff1a;代码均由本人编写完成&#xff0c;非中介&#xff0c;提供有偿…

Spring-1

目录 概念 优点 Autowired和Resource关键字 相同点 不同点 依赖注入的三种方式 概念 Spring 是个java企业级应用的开源开发框架。Spring主要用来开发Java应用&#xff0c;但是有些扩展是针对构建J2EE&#xff08;Java平台企业版&#xff09;平台的web应用。Spring 框架目…

熔断降级的方案实现

熔断降级的方案实现 Spring Cloud Netflix Hystrix 提供线程隔离、服务降级、请求缓存、请求合并等功能可与Spring Cloud其他组件无缝集成官方已宣布停止维护&#xff0c;推荐使用Resilience4j代替 Spring Cloud Resilience4j 轻量级服务熔断库 提供类似于Hystrix的功能 具有更…

鸿蒙-自定义组件的生命周期

目录 自定义组件的生命周期 1.aboutToAppear 2.aboutToDisappear 3.onPageShow 4.onPageHide 5.onBackPress 日志输出 1.显示页面 2.页面点击返回按钮 3.页面跳转 4.页面返回 自定义组件的生命周期 先来一段列子 import router from ohos.router Entry Component…

鸿蒙Harmony应用开发—ArkTS声明式开发(容器组件:Badge)

可以附加在单个组件上用于信息标记的容器组件。 说明&#xff1a; 该组件从API Version 7开始支持。后续版本如有新增内容&#xff0c;则采用上角标单独标记该内容的起始版本。 子组件 支持单个子组件。 说明&#xff1a; 子组件类型&#xff1a;系统组件和自定义组件&#xf…

移动云行动:5.5G技术引领数字化转型

刚刚结束的全国两会上&#xff0c;有人大代表建议应尽快发挥5G-A&#xff08;5.5G&#xff09;优势&#xff0c;加快试点城市布局。此前&#xff0c;中国移动已宣布将在300多个城市启动5.5G商用部署。在通信技术的历史长河中&#xff0c;4G改变了我们的生活方式&#xff0c;而5…

【UE5】持枪状态站立移动的动画混合空间

项目资源文末百度网盘自取 创建角色在持枪状态站立移动的动画混合空间 在BlendSpace文件夹中单击右键选择动画(Animation)中的混合空间(Blend Space) 选择SK_Female_Skeleton 命名为BS_RifleStand 打开 水平轴表示角色的方向&#xff0c;命名为Direction&#xff0c;方…

springboot+poi-tl根据模板导出word(含动态表格和图片),并将导出的文档压缩zip导出

springbootpoi-tl根据模板导出word&#xff08;含动态表格和图片&#xff09; 官网&#xff1a;http://deepoove.com/poi-tl/ 参考网站&#xff1a;https://blog.csdn.net/M625387195/article/details/124855854 pom导入的maven依赖 <dependency><groupId>com.dee…

Autosar教程-Mcal教程-Lin配置教程

3.7LIN配置、生成 3.7.1 配置通用设置 3.7.2 配置Dem参数 3.7.3 配置Lin通道 3.7.4配置生成命令 参照Dio生成命令方法&#xff0c;创建Lin生成命令&#xff0c;创建完成后按下面提供的信息配置生成命令。 实际上MCAL代码并不能单独生成&#xff0c;它需要和BSW的配置文件一…

内存操作函数(C语言)

目录 memcpy使用和模拟实现 memcpy函数的模拟实现 memmove的使用和模拟实现 memmove的模拟实现 memset函数的使用 memcmp函数的使用 memcpy使用和模拟实现 mem--memory--记忆--内存 函数memcpy从source的位置开始向后复制num个字节的数据到destination指向的内存位置这…