使用Docker定时备份数据

news2024/11/25 22:24:10

文章目录

  • 一、Docker镜像制作
  • 二、MySQL数据备份
  • 三、Minio数据备份
  • 四、数据跨服务器传输
  • 五、Nginx日志分割
  • 六、Docker启动
  • 七、Docker备份日志

一、Docker镜像制作

  • 镜像制作目录
    在这里插入图片描述
  • mc下载地址
    在这里插入图片描述 - rsyncd.conf
# https://download.samba.org/pub/rsync/rsyncd.conf.5

port 873
uid = nobody
gid = nobody
use chroot = yes
max connections = 5
syslog facility = local5
pid file = /var/run/rsyncd.pid
read only = true

[backup]
path = /home/backup
  • root
# min   hour    day     month   weekday command
0       *       *       *       *       run-parts /home/1hour
0       0       *       *       *       run-parts /home/0Hday
0       1       *       *       *       run-parts /home/1Hday
0       2       *       *       *       run-parts /home/2Hday
0       3       *       *       *       run-parts /home/3Hday
0       5       *       *       *       run-parts /home/5Hday
0       4       *       *       6       run-parts /home/1week
  • Dockerfile
FROM alpine:3.19.1
WORKDIR /home

COPY root /var/spool/cron/crontabs/root
COPY rsyncd.conf /home
COPY mc /home
RUN chmod +x mc

RUN mkdir 1hour && mkdir 0Hday && mkdir 1Hday && mkdir 2Hday && mkdir 3Hday && mkdir 5Hday && mkdir 1week
RUN echo "http://mirrors.aliyun.com/alpine/v3.19/community" > /etc/apk/repositories
RUN echo "http://mirrors.aliyun.com/alpine/v3.19/main" >> /etc/apk/repositories
RUN apk update && apk upgrade
RUN apk --no-cache add bash mysql-client rsync tzdata
RUN cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
RUN echo "Asia/Shanghai" > /etc/timezone
  • 镜像制作
cd /home/dockerimg/crontab
docker build --tag crontab:1.0 .

二、MySQL数据备份

  • backup-data-mysql.sh
#!/bin/sh

log_save_days=30						# 备份日志保留几天
log_path=/home/logs						# 备份日志路径
log_file=backup-data-mysql.log			# 备份日志名称

data_path=/home/backup/mysql			# 备份路径
data_dir=$(date +%Y%m)					# 备份数据目录
mysql_path=/home/mysql/data				# mysql-bin.*日志存放目录
mysql_bin=mysql-bin.index				# mysql-bin.index位置
mysql_addr=192.168.1.6					# mysql地址
mysql_port=3306							# mysql端口
mysql_user=root							# mysql用户名
mysql_password=12345678					# mysql密码

data_dir_before=$(date -d@"$(( `date +%s`-86400))" +"%Y%m")
mkdir -p /home/crontab/logs
mkdir -p $data_path/$data_dir
mkdir -p $data_path/$data_dir_before

echo `` >> $log_path/$(date +%Y%m)-$log_file
echo "备份开始时间: "$(date +%F%n%T) >> $log_path/$(date +%Y%m)-$log_file
mysqladmin -h$mysql_addr -P$mysql_port -u$mysql_user -p$mysql_password flush-logs
count=`wc -l $mysql_path/$mysql_bin |awk '{print $1}'`
num=0
for file in `cat $mysql_path/$mysql_bin`
do
    base=`basename $file`
    num=`expr $num + 1`
    if [ $num  -ne $count ] && (! test -e $data_path/$data_dir/$base.log.gz) && (! test -e $data_path/$data_dir_before/$base.log.gz)
    then
		gzip -c $mysql_path/$base > $data_path/$data_dir/$base.log.gz
		echo "备份: "$data_path/$data_dir/$base.log.gz >> $log_path/$(date +%Y%m)-$log_file
	fi
done
echo "备份结束时间: "$(date +%F%n%T) >> $log_path/$(date +%Y%m)-$log_file

find $log_path -type f -name "*$log_file" -mtime +$log_save_days -exec rm -rf {} \;

三、Minio数据备份

  • backup-data-minio.sh
#!/bin/sh

log_save_days=30						# 备份日志保留几天
log_path=/home/logs						# 备份日志路径
log_file=backup-data-minio.log			# 备份日志名称

data_path=/home/backup/minio			# 备份路径
data_dir=$(date +%Y%m)					# 备份数据目录
minio_dir=$(date +%Y%m%d)				# minio存储 月 $(date +%Y%m) 天 $(date +%Y%m%d)
minio_addr=http://192.168.1.6:9000		# minio地址
minio_user=admin						# minio用户名
minio_password=123456					# minio密码
minio_bucket=bucket						# minio桶名称

mkdir -p /home/crontab/logs
mkdir -p $data_path/$data_dir
mkdir $data_path/$data_dir/tmp

echo `` >> $log_path/$(date +%Y%m)-$log_file
echo "备份开始时间: "$(date +%F%n%T) >> $log_path/$(date +%Y%m)-$log_file
/home/mc alias set minio_backup $minio_addr $minio_user $minio_password

minio_bucket=test
/home/mc cp --recursive minio_backup/$minio_bucket/$minio_dir $data_path/$data_dir/tmp
cd $data_path/$data_dir/tmp
tar -zcf $data_path/$data_dir/$minio_bucket-$minio_dir.tar.gz *
rm -rf $data_path/$data_dir/tmp
echo "备份: "$data_path/$data_dir/$minio_bucket-$minio_dir.tar.gz  >> $log_path/$(date +%Y%m)-$log_file

echo "备份结束时间: "$(date +%F%n%T) >> $log_path/$(date +%Y%m)-$log_file

find $log_path -type f -name "*$log_file" -mtime +$log_save_days -exec rm -rf {} \;

四、数据跨服务器传输

  • crondbase.sh
#!/bin/sh

crond -f -l 8
  • cronddata.sh
#!/bin/sh

rsync --daemon --config=/home/rsyncd.conf
crond -f -l 8
  • rsyncd.secrets
root:password
  • backup-data-copy.sh
#!/bin/sh
# 只传输变化部分、支持断点续传、同步服务器都需要安装rsync

log_save_days=30						# 日志保留几天
log_path=/home/logs						# 日志路径
log_file=backup-data-copy.log			# 日志名称

echo `` >> $log_path/$(date +%Y%m)-$log_file
echo "数据传输开始时间: "$(date +%F%n%T) >> $log_path/$(date +%Y%m)-$log_file
rsync -avzP --password-file=/home/rsyncd.secrets root@192.168.6.12::backup /home/backup
echo "数据传输结束时间: "$(date +%F%n%T) >> $log_path/$(date +%Y%m)-$log_file

find $log_path -type f -name "*$log_file" -mtime +$log_save_days -exec rm -rf {} \;

五、Nginx日志分割

#!/bin/sh

log_save_days=30					# 备份日志保留几天
log_path=/home/logs					# 备份日志路径
log_file=backup-log-nginx.log		# 备份日志名称

data_save_days=60					# 备份保留几天
data_path=/home/nginx/logs			# 备份路径

mkdir -p /home/crontab/logs
mkdir -p /home/nginx/logs/access
mkdir -p /home/nginx/logs/error

echo `` >> $log_path/$(date +%Y%m)-$log_file
echo "备份开始时间: "$(date +%F%n%T) >> $log_path/$(date +%Y%m)-$log_file
for item in "access" "error"
do
  gzip -c $data_path/$item.log > $data_path/$item/$(date -d@"$(( `date +%s`-3600))" +"%Y-%m-%d")_$item.log.gz
  echo "备份: "$data_path/$item/$(date -d@"$(( `date +%s`-3600))" +"%Y-%m-%d")_$item.log.gz >> $log_path/$(date +%Y%m)-$log_file
  rm -rf $data_path/$item.log && touch $data_path/$item.log
done
find $data_path/$item -type f -name "*.gz" -mtime +$data_save_days -exec rm -rf {} \;

echo "备份结束时间: "$(date +%F%n%T) >> $log_path/$(date +%Y%m)-$log_file

find $log_path -type f -name "*$log_file" -mtime +$log_save_days -exec rm -rf {} \;

六、Docker启动

  • /home/docker/crontab
    在这里插入图片描述

  • 数据库服务器
    docker-crontab-data.yaml

version: "3"

services:
  crontab:
    image: "crontab:1.0"
    restart: always
    container_name: ser-crontab
    hostname: crontab
    ports:
      - 873:873
    networks:
      - apphost
    environment:
      TZ: "Asia/Shanghai"
    volumes:
      - /home/docker/crontab/backup-log-nginx.sh:/home/0Hday/backup-log-nginx.sh
      - /home/docker/crontab/backup-data-mysql.sh:/home/1Hday/backup-data-mysql.sh
      - /home/docker/crontab/backup-data-minio.sh:/home/2Hday/backup-data-minio.sh
      - /home/docker/crontab/cronddata.sh:/home/command.sh
      - /home/backup:/home/backup
      - /home/docker/logs:/home/logs
      - /home/nginx/logs:/home/nginx/logs
      - /home/mysql/data:/home/mysql/data
    command: >
       sh -c "/home/command.sh"

networks:
  apphost:
  • 数据备份服务器
    docker-crontab-base.yaml
version: "3"

services:
  crontab:
    image: "crontab:1.0"
    restart: always
    container_name: ser-crontab
    hostname: crontab
    networks:
      - apphost
    environment:
      TZ: "Asia/Shanghai"
    volumes:
      - /home/docker/crontab/backup-log-nginx.sh:/home/0Hday/backup-log-nginx.sh
      - /home/docker/crontab/backup-data-copy.sh:/home/3Hday/backup-data-copy.sh
      - /home/docker/crontab/rsyncd.secrets:/home/rsyncd.secrets
      - /home/docker/crontab/crondbase.sh:/home/command.sh
      - /home/backup:/home/backup
      - /home/docker/logs:/home/logs
      - /home/nginx/logs:/home/nginx/logs
    command: >
       sh -c "/home/command.sh"

networks:
  apphost:
  • 数据库服务器启动
mkdir -p /home/docker/crontab && mkdir -p /home/docker/logs
cd /home/docker/crontab && chmod 777 *.* && chmod 600 rsyncd.secrets
docker-compose -f /home/docker/crontab/docker-crontab-data.yaml -p crontab up -d
  • 数据备份服务器启动
mkdir -p /home/docker/crontab && mkdir -p /home/docker/logs
cd /home/docker/crontab && chmod 777 *.* && chmod 600 rsyncd.secrets
docker-compose -f /home/docker/crontab/docker-crontab-base.yaml -p crontab up -d

七、Docker备份日志

  • /home/docker/logs/202404-backup-data-copy.log
数据传输开始时间: 2024-04-12 03:00:00
数据传输结束时间: 2024-04-12 03:00:00
  • /home/docker/logs/202404-backup-log-nginx.log
备份开始时间: 2024-04-12 00:00:00
备份: /home/nginx/logs/access/2024-04-11_access.log.gz
备份: /home/nginx/logs/error/2024-04-11_error.log.gz
备份结束时间: 2024-04-12 00:00:00
  • /home/docker/logs/202404-backup-data-minio.log
备份开始时间: 2024-04-12 02:00:00
备份: /home/backup/minio/202404/test-20240412.tar.gz
备份结束时间: 2024-04-12 02:00:00
  • /home/docker/logs/202404-backup-data-mysql.log
备份开始时间: 2024-04-12 01:00:00
备份: /home/backup/mysql/202404/mysql-bin.000041.log.gz
备份结束时间: 2024-04-12 01:00:03

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1589420.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

CMD命令窗口提示文字乱码

CMD命令窗口提示文字乱码

我下面说的是日文版系统，中文版会有差异。 一般情况下是 Shiftjis 通常我是用sakura editor来写bat，但是运行后会在cmd窗口出现乱码 test.bat set HENSU这是一个变数 echo %HENSU% pause 执行后出现乱码 原因是不做设置时，command prom…
阅读更多...
YOLOV8实战教程——最新安装（截至24.4）

YOLOV8实战教程——最新安装（截至24.4）

前言：YOLOV8更新比较快，最近用的时候发现有些地方已经跟之前不一样，甚至安装都会出现差异，所以做一个最新版的 yolov8 安装教程 一、Github 或者 GitCode 搜索 ultralytics 下载源码包，下载后解压到你需要安装的位置…
阅读更多...
​​​​网络编程学习探索系列之——广播原理剖析

​​​​网络编程学习探索系列之——广播原理剖析

hello ！大家好呀！ 欢迎大家来到我的网络编程系列之广播原理剖析，在这篇文章中， 你将会学习到如何在网络编程中利用广播来与局域网内加入某个特定广播组的主机！ 希望这篇文章能对你有所帮助，大家要是觉得我写…
阅读更多...
魔方网表ERP mailupdate.jsp 任意文件上传漏洞复现

魔方网表ERP mailupdate.jsp 任意文件上传漏洞复现

0x01 产品简介 魔方网表ERP是一款高效、灵活的企业资源规划解决方案，旨在帮助企业实现数智化转型，消除信息孤岛，打造全程一体化的管理体系。魔方网表ERP拥有强大的表单功能和模块化的产品特点，使得企业可以根据自身业务需求，通过简单的拖拽和配置，快速搭建符合自身特点的…
阅读更多...
1980-2024考研英语二历年真题及解析

1980-2024考研英语二历年真题及解析

├─01、1980-1997年考研英语真题解析 │ 1980—1985年历年考研英语真题答案集合(无解析).doc │ 1986—1997年历年考研英语真题集.doc │ 1986—1997年历年考研英语真题答案解析合集.pdf │ ├─02、1998-2009年考研英语真题解析 │ │ ? 1998-2009考…
阅读更多...
拥有一台阿里云服务器可以做什么？

拥有一台阿里云服务器可以做什么？

阿里云ECS云服务器可以用来做什么？云服务器可以用来搭建网站、爬虫、邮件服务器、接口服务器、个人博客、企业官网、数据库应用、大数据计算、AI人工智能、论坛、电子商务、AI、LLM大语言模型、测试环境等，云服务器吧yunfuwuqiba.com整理阿里云服务器可以…
阅读更多...
【架构师】应用架构图

【架构师】应用架构图

技术架构是应接应用架构的技术需求，并根据识别的技术需求，进行技术选项，把各个关键技术和技术之间的关系描述清楚。 基础结构解决的主要问题包括：如何进行技术层面的分层、开发框架的选择、开发语言的选择、涉及非功能性需求的技…
阅读更多...
ObjectiveC-第一部分-基础入门-学习导航

ObjectiveC-第一部分-基础入门-学习导航

专题地址：MacOS一站式程序开发系列专题 第一部分：基础入门学习导航 OSX-01-Mac OS应用开发概述：简单介绍下MacOS生态、Xcode使用以及使用Xcode创建app的方法OSX-02-Mac OS应用开发系列课程大纲和章节内容设计：介绍下此系列专题的文章内容组织形式以及此系列专题的覆盖内容…
阅读更多...
极海APM32电机驱动板记录（二）

极海APM32电机驱动板记录（二）

文章目录 1、解除写保护2、极海驱动板资源概述3、新建工程4、点灯5、嘀嗒定时器6、中断7、串口打印8、adc读取9、i2c尝试10、定时器测试11、电机驱动pwm测试 上一篇文章算是简单了解了一下极海的板子开发环境吧，结果前几天板子来了，然后发现一个大bug&am…
阅读更多...
【Linux】Socket编程接口 | 实现简单的UDP网络程序

【Linux】Socket编程接口 | 实现简单的UDP网络程序

文章目录 一、预备知识理解源IP地址和目的IP地址理解源mac地址和目的mac地址认识端口号理解源端口号和目的端口号理解“端口号（PORT）”和“进程ID（PID）” 认识TCP和UDP协议TCP协议UDP协议 网络字节序为什么网络字节序采用的是大端…
阅读更多...
使用 npm 工具高效更新项目依赖包

使用 npm 工具高效更新项目依赖包

团队内部会用工具定时检查包的最新版本并通知，以便我们及时跟进社区进展，避免和技术栈出现版本脱节导致无法使用最新特性和优化内容 这里只说明手动查看和更新包的主要几个命令。 npm outdated：检查项目中过时的依赖包及其最新版本。 npm i…
阅读更多...
漫画｜数据工程师面试常见问题之数据倾斜

漫画｜数据工程师面试常见问题之数据倾斜

话说，闹钟一响，现实照进梦想，又是李大虎面试找工作的一天。 李大虎心里一直有个想法，如果一天睡20个小时，然后这20个小时全做美梦，醒来的4个小时用来吃喝拉撒，这样岂不就和那些富二代一样了&am…
阅读更多...
Golang学习笔记（上）

Golang学习笔记（上）

Golang学习笔记（上） 安装Golang 来源：linux 安装 golang - 知乎 (zhihu.com) 由于我用的是linux系统，所以本文采用linux的安装方式介绍，如果你使用的是Windows/Mac 也可以看下该文章，或者自己去下列地址进…
阅读更多...
Android RecyclerView性能优化及Glide流畅加载图片丢帧率低的一种8宫格实现，Kotlin

Android RecyclerView性能优化及Glide流畅加载图片丢帧率低的一种8宫格实现，Kotlin

Android RecyclerView性能优化及Glide流畅加载图片丢帧率低的一种8宫格实现&#xff0c;Kotlin <uses-permission android:name"android.permission.READ_EXTERNAL_STORAGE" /><uses-permission android:name"android.permission.READ_MEDIA_IMAGES&qu…
阅读更多...
关于UCG游戏平台的一些思考

关于UCG游戏平台的一些思考

UCG游戏平台&#xff0c;全称User Generated Content&#xff0c;即用户生成内容。它涵盖了所有玩家可以自主编辑的部分&#xff0c;包含并不限于换装、捏脸、关卡摆放等内容。 UCG概念在最近又火了起来&#xff0c;但这个模式出现的并不早。早在10多年前&#xff0c;war3编辑器…
阅读更多...
探索Java中的栈：Stack与Deque（ArrayDeque和LinkedList）

探索Java中的栈：Stack与Deque（ArrayDeque和LinkedList）

文章目录 1. 栈&#xff08;Stack&#xff09;1.1 定义方式1.2 特点1.3 栈的层次结构 2. 双端队列&#xff08;Deque&#xff09;2.1 定义方式及继承关系2.2 特点&#xff1a;2.3 ArrayDeque2.4 LinkedList2.5 Deque 的各种方法2.6 如何选择ArrayDeque和LinkedList 3. 如何选择…
阅读更多...
NAPI 类对象导出及其生命周期管理(下)

NAPI 类对象导出及其生命周期管理(下)

4. 样例工程源码剖析 工程的模板是Native C,模型是Stage。源码剖析主要围绕以下几个文件 4.1. NAPI导出对象和生命周期管理具体实现 4.1.1. 定义NapiTest类及方法 Napi.h文件内容如下&#xff1a; #ifndef __NAPI_TEST_H__ #define __NAPI_TEST_H__#include "napi/nat…
阅读更多...
一款自研Python解释器

一款自研Python解释器

项目简介： PikaScript是一个完全重写的超轻量级python引擎，具有完整的解释器，字节码和虚拟机架构，可以在少于4KB的RAM下运行，用于小资源嵌入式系统。相比同类产品，如MicroPython，LuaOS等，资源占用减少85%以上。 入选2021年度 Gitee最有价值开源项目，加入RT-Thread嵌入…
阅读更多...
从0开始创建单链表

从0开始创建单链表

前言 这次我来为大家讲解链表&#xff0c;首先我们来理解一下什么是单链表&#xff0c;我们可以将单链表想象成火车 每一节车厢装着货物和连接下一个车厢的链子&#xff0c;单链表也是如此&#xff0c;它是将一个又一个的数据封装到节点上&#xff0c;节点里不仅包含着数据&…
阅读更多...
【c语言】结构体的访问

【c语言】结构体的访问

&#x1f388;个人主页&#xff1a;豌豆射手^ &#x1f389;欢迎 &#x1f44d;点赞✍评论⭐收藏 &#x1f917;收录专栏&#xff1a;C语言 &#x1f91d;希望本文对您有所裨益&#xff0c;如有不足之处&#xff0c;欢迎在评论区提出指正&#xff0c;让我们共同学习、交流进步&…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023