Linux企业实时同步服务---3688字

news2024/11/28 16:42:40

实时同步服务

在这里插入图片描述
正常的互联网公司架构：

内容：每天服务器及服务器上的应用程序等正常使用（每天查看）比如：邮件，短信，等信息；巡检内容是否正常使用。
互联网公司就是底层服务+开发、代码运行网站/软件来挣钱，主要负责服务器是否使用（类似于虚拟机能否正常使用，能否互相连通，有没有报错，每天巡检服务器的负载情况，cpu使用率等，大部分公司他们的cpu负载使用率基本在20%以下，超过云服务器等会使前端业务进行堵塞）
架构：lnmp，linux，php（程序运行），mysql（数据），nginx 80，haproxy（将http域名改为https，进行内网的登录解析）
开发环境需要与运维协同工作，开发向运维提出需求（运维职责之内的）提供简便方式！刚入职前1两个月熟悉公司的架构环境，部署，ip等布置信息，职能，公司会对你进行分配任务（部分东西进行容器化，自动化等
每个公司的运维体系不相同，定期完善优化脚本、扩展业务；
有专门的idc测试环境（非常严谨）多次测试完成，然后将其部署，否则一旦没有测试好部署上去，公司业务（网站，软件否则全部崩掉），求稳除非公司业务进行交接
正常架构都会有前后端分离，为（2-3台左右）具体就要看公司的访问量nginx 3 4cpu 16g
php api接口服务器（前端只进行接收请求，后端为数据）一般公司后面都会有后台任务服务器crontab（定时定量处理执行）

1.1说明

前面通过rsync+定时任务+NFS实现备份同步存储
NFS需要进行实时同步（频繁）

选择：

分布式存储
实时同步服务+NFS
选择公有云对象存储OSS，七牛存储，腾讯存储COS（不用关注高可用，厂商直接在后面进行做好）

选择：nfs（单点）+实时同步工具

inotify（bug需要书写脚本，不推荐）：是个命令监控指定目录是否发生变化
sersync（国产开源，内置inotify+rsync命令，一个命令+一个配置文件）
lsyncd（部分公司在进行使用）

sersync原理
在这里插入图片描述

部署

在这里插入图片描述

目录规划：
/app/tools/sersync/
/app/tools/sersync/bin/
/app/tools/sersync/conf
修改之前
GNU-Linux-x86/
GNU-Linux-x86/sersync2
GNU-linux-X86/confxml.xml

在这里插入图片描述
修改后的样子

cat /app/tools/sersync/conf/confxml.xml
<?xml version="1.0" encoding="ISO-8859-1"?>
<head version="2.5">
    <host hostip="localhost" port="8008"></host>
    <debug start="false"/>
    <fileSystem xfs="false"/>
    <filter start="false">
	<exclude expression="(.*)\.svn"></exclude>
	<exclude expression="(.*)\.gz"></exclude>
	<exclude expression="^info/*"></exclude>
	<exclude expression="^static/*"></exclude>
    </filter>
    
    <inotify>
	<delete start="true"/> 监控是否有删除
	<createFolder start="true"/> 监控是否有创建目录
	<createFile start="false"/>监控是否创建文件
	<closeWrite start="true"/>是否有closewrite事件 修改后的退出 （文件被修改）
	<moveFrom start="true"/> 移动改名
	<moveTo start="true"/> 移动改名
	<attrib start="false"/>文件属性变化
	<modify start="false"/>文件内容修改
    </inotify>

    <sersync>   
	<localpath watch="/opt/tongbu">监控那些目录一般为存储共享的目录
	    <remote ip="127.0.0.1" name="tongbu1"/> rsync服务端ip地址和rsync服务端的模块名称
	    <!--<remote ip="192.168.8.39" name="tongbu"/>--> xml中的注释
	    <!--<remote ip="192.168.8.40" name="tongbu"/>-->
	</localpath>
	<rsync>  
	    <commonParams params="-artuz"/>rsync命令行选项 az delete
	    <auth start="false" users="root" passwordfile="/etc/rsync.pas"/> authstart 是否开启免密码模式true users=rsync虚拟用户
	    <userDefinedPort start="false" port="874"/><!-- port=874 --> rsync服务端端口，默认是873
	    <timeout start="false" time="100"/><!-- timeout=100-->超时时间
	    <ssh start="false"/>
	</rsync>
	<failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/><!--default every 60mins execute once-->
	<crontab start="false" schedule="600"><!--600mins-->
	    <crontabfilter start="false">
		<exclude expression="*.php"></exclude>
		<exclude expression="info/*"></exclude>
	    </crontabfilter>
	</crontab>
	<plugin start="false" name="command"/>
    </sersync>

    <plugin name="command">
	<param prefix="/bin/sh" suffix="" ignoreError="true"/>	<!--prefix /opt/tongbu/mmm.sh suffix-->
	<filter start="false">
	    <include expression="(.*)\.php"/>
	    <include expression="(.*)\.sh"/>
	</filter>
    </plugin>

    <plugin name="socket">
	<localpath watch="/opt/tongbu">
	    <deshost ip="192.168.138.20" port="8009"/>
	</localpath>
    </plugin>
    <plugin name="refreshCDN">
	<localpath watch="/data0/htdocs/cms.xoyo.com/site/">
	    <cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/>
	    <sendurl base="http://pic.xoyo.com/cms"/>
	    <regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/>
	</localpath>
    </plugin>
</head>