目录
0.为什么要定时同步
1.程序安装
2.文件夹设置rsync使用
3.使用cron进行定时任务
0.为什么要定时同步
作为科研党,实验室有多个服务器,但是都是分批买的没有上磁盘整列,所以一个服务器上跑的东西并不能同步,有时候挂任务要分着两个服务器来挂,存储也是要两个服务器分开看结果。
数据集的话,如果可以同步,就可以在多个服务器上公用。非常方便。在这里因为同步监控开销大,建议每10分钟同步一次,选择自己合适的频率进行同步。
本文介绍的方法比其他方法更为简单实用,测试已经通过。
1.程序安装
这里需要用到Rsync和Crontab,以linux为例,首先进行安装,如果已经安装请跳过
sudo apt install rsync
sudo apt install cron
需要将rsyncd.conf更改权限。将rsyncd.conf这个密码文件的文件属性设为root拥有, 且权限要设为600, 否则无法备份成功! 一般都设置好了每个用户都可以使用。
2.文件夹设置rsync使用
这里建议常用的常登录的服务器作为主服务器,具有跳板机的权限,比如我的主服务器是50002,其他的服务器是3090,A6000,我已经设置了50002作为跳板机,其他服务器作为目标机。
参考博文:VS Code 跳板机登录服务器(手打密码+秘钥登录)-CSDN博客
local->50002--->3090
|->4090
|->A6000
在本机上设置需要备份的文件:建议在~/下设置一个数据集文件夹和一个算法文件夹用于储存共享的算法,这样可以提高同步效率。
命令参考:rsync(一):基本命令和用法-CSDN博客
这里使用的命令如下
#从192.168.5.37主机的~/share文件夹同步至本服务器(主服务器)
rsync -avP --link-dest=~/share zhf@192.168.5.37:~/share/ share/
#从本服务器同步~/share到192.168.5.37目标服务器下的~/share文件夹
rsync -avP --link-dest=~/share share/ zhf@192.168.5.37:~/share/
当主服务器作为密钥登陆跳板机以后就可以直接同步,无需输入密码。
加了-avP是为了对比同步,当文件有修改时才会同步该文件,其他文件参考之前的备份,这个一定要加,保证同步的效率
3.使用cron进行定时任务
将上面介绍的rsync命令写入主服务器的用户根目录下,成为bash文件,例如命名这个文件叫time-run.bash。使用cron定时运行time-run.bash
编辑用户下的cron任务:
#编辑一个新的维护任务表
crontab -e
如果第一次执行,默认会使用nano编辑器进行编辑,且创建新的crontab,这个按照默认的来就好了,在其中加入内容
#以下是示例,选择一个合适的就好
#每10分钟执行一次
*/10 * * * * /bin/bash ~/time-run.sh
#每30分钟执行一次
*/30 * * * * /bin/bash ~/time-run.sh
#每1小时执行一次
* * /1 * * * /bin/bash ~/time-run.sh
重点:启动cron服务,这个需要用sudo或者有权限的账户进行,一定要使用,并查看。
#启动
sudo service crond restart
#服务状态查看
service crond status
第一次同步会较为耗时,后面就能实现多台服务器自动同步了。以上只写了两台服务器间,可以可以扩展到多台。