卷级实时备份的底层数据处理原理

news2024/9/22 23:32:08


一、任意时间点回退
实时备份数据,意味着备份数据和生产数据是时刻保持一致的状态,在这种情况下,要做到任意时间点回退恢复,需要借助特出的存储空间结构。
云祺在对目标卷进行实时备份时,在备份系统本地存放实时备份过来的数据的时候,会将备份数据分成两个空间:镜像空间和日志空间。其中镜像空间主要存放与目标卷最新状态完全一致的镜像数据;日志空间则用于任意时间回退,通过COW(写时复制,一种常用于快照的数据处理技术)机制,采用逆向增量的方式存储I/O的变化记录。
当要进行任意时间点回退恢复的时候,备份系统会先将日志空间理的逆向增量记录恢复到目标主机的目标卷上,再从镜像空间种拉取出未恢复的数据块,恢复到目标卷对应的位置上。如下图:

二、监控缓存
在实际的生产环境中进行实时备份的时候,有可能会出现两种情况:1、生产数据产生的频率大于数据备份处理的效率;2、备份网络出现异常或者波动。这两种情况都将导致实时备份无法正常运行。
针对这两种情况,云祺引入了监控缓存。当生产主机出现以上两种特殊情况的时候,实时备份代理可以将要实时备份的数据,先放入缓存中,等待主机恢复正常后,在进行数据传输。
在缓存中,又分为内存缓存和文件缓存,内存缓存占用的存储空间是主机的内存空间,文件缓存占用的存储空间是主机上的硬盘空间。它们的区别在于内存缓存读写性能好,但是相对空间就小,而文件缓存性能比较差,但是缓存空间可以非常的大。
云祺支持这两种缓存的二选一配置,或者同时配置,并且在同时配置的情况下,支持根据缓存使用情况自适应切换,以达到最优的实时数据监控效率。
如下图:


三、I/O复制模式
因为云祺实时备份功能是基于卷级的,并且代理时刻监控主机目标卷的I/O情况,一旦监测到数据变化就会将此I/O同步复制一份放入缓存,等待传输给备份系统。
那么在这种情况下,I/O的复制模式有两种,一种是同步模式,另外一种就是异步模式了。同步模式意为实时备份代理会确保实时变化的数据先达到缓存空间,再继续下放到生产卷中。异步模式就和同步模式是相反的了,代理不会确保复制的数据到达缓存空间,即可将上层提交的数据直接下放到生产卷中。
在同步模式下:生产I/O的提交响应时间会变长,但是内存开销不会增加。在异步模式下:内存开销将会增加,生产I/O的提交响应时间不会发生变化。
基于两种模式的特点,云祺在配置I/O复制模式的时候,也提供自适应的模式,代理模块可以根据生产主机的资源情况,在同步模式和异步模式之间动态切换,以保障最优的处理效率。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1490561.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

迁移篇 | MatrixOne与MySQL全面对比

Part 1 迁移背景 Skyable 自研了物联网私有云平台用于 IoT 设备的数据上报和协议解析,由于管理设备数量的增加导致设备上报的数据量越来越大,架构中原使用的 MySQL 数据库(分库分表)的部分业务在对设备上报信息进行相关的查询时&…

《PyTorch深度学习实践》第十一讲卷积神经网络进阶

一、 1、卷积核超参数选择困难,自动找到卷积的最佳组合。 2、1x1卷积核,不同通道的信息融合。使用1x1卷积核虽然参数量增加了,但是能够显著的降低计算量(operations) 3、Inception Moudel由4个分支组成,要分清哪些是在Init里定义…

virsh 快速复制一个虚拟机

在很多测试环境中,想快速复制一个虚拟机,如何实现? 假如环境中已有一个虚拟机,查看虚拟机磁盘信息 # virsh domblklist hc1Target Source -------------------------------sda /data/vms/hc1.qcow2hda -复制一份镜像文…

初阶数据结构:排序(学习笔记)

目录 1. 各种排序算法的分类2. 插入排序2.1 直接插入排序2.2 希尔排序 3. 选择排序3.1 选择排序3.2 堆排序4. 交换排序4.1 冒泡排序4.2 快速排序4.2.1 霍尔法(hoare)4.2.2 挖坑法(hole)4.4.3 前后指针法4.4.4 补充:非递…

【项目管理】CMMI-质量保证过程

质量保证过程(PQA):通过质量保证活动,确保过程与产品满足过程、规程及相应的要求,确保问题得到关注与解决,使工作人员和管理者能够客观地了解过程与相关的工作产品。QA工程师应实施质量保证策划活动,客观地…

常用的17个运维监控系统(必备知识)

1. Zabbix Zabbix 作为企业级的网络监控工具,通过从服务器,虚拟机和网络设备收集的数据提供实时监控,自动发现,映射和可扩展等功能。 Zabbix的企业级监控软件为用户提供内置的Java应用服务器监控,硬件监控&#xff0c…

【Android】源码解析 Activity 的构成

本文是基于 Android 14 的源码解析。 当我们写 Activity 时会调用 setContentView() 方法来加载布局。现在来看看 setContentView() 方法是怎么实现的,源码如下所示: 路径:/frameworks/base/core/java/android/app/Activity.javapublic void…

uniapp报错:request:fail abort statusCode:-1 Chain validation failed

uniapp报错信息记录 场景: 半年没碰过的app,今个儿突然无法登录了。 打开控制台,报错信息如下 {msg: request:fail abort statusCode:-1 Chain validation failed}奇怪的是用 apifox 调用相关的接口,可以正常运行,app却不行。 好…

怎么将pom在文件放到src下方

今天在IDEA从git拉取项目的时候,发现pom.xml文件在文件夹src的上方,平时看惯了项目的pom.xml文件在文件夹src的下方,应该怎么去设置呢? 点击设置——>点击Folder Always on Top 即可 参考:http://t.csdnimg.cn/s34…

LCR 126. 斐波那契数

解题思路&#xff1a; 动态规划 class Solution {public int fib(int n) {if (n < 1) return n;int[] dp new int[n1];dp[0] 0;dp[1] 1;for (int i 2; i < n; i) {//取模运算防止整数溢出dp[i] (dp[i - 1] dp[i - 2]) % 1000000007;}return dp[n];} }

600+企业齐聚!第十四届中国国际储能大会暨展览会即将在杭州盛大开幕

数字储能网讯&#xff1a;由中国化学与物理电源行业协会主办&#xff0c;中国化学与物理电源行业协会储能应用分会和中国储能网联合承办的第十四届中国国际储能大会暨展览会将于2024年3月10日在杭州国际博览中心盛大启幕&#xff0c;大会主题为“共建储能生态链&#xff0c;共创…

读算法的陷阱:超级平台、算法垄断与场景欺骗笔记01_比价

1. 科技正在改善我们的生活 1.1. 从表象看&#xff0c;网络世界为我们带来了诸多便利 1.1.1. 比价网站的创建、各式各样的电商促销、数不尽的手机应用程序的确降低了商品的售价&#xff0c;提升了产品的品质&#xff0c;丰富了消费者的选择 1.2. …

【PCL】(十七)从距离图像中提取点云的边界

&#xff08;十七&#xff09;从测距图像中提取边界 Object(Obstacle) border&#xff1a;属于物体的最外面的可见点&#xff1b; Shadow border&#xff1a;背景中与物体相邻的点&#xff1b; Veil points&#xff1a;Object border和Shadow border之间的插值点。 以下代码…

web坦克大战小游戏

H5小游戏源码、JS开发网页小游戏开源源码大合集。无需运行环境,解压后浏览器直接打开。有需要的订阅后,私信本人,发源码,含60+小游戏源码。如五子棋、象棋、植物大战僵尸、贪吃蛇、飞机大战、坦克大战、开心消消乐、扑鱼达人、扫雷、打地鼠、斗地主等等。 <!DOCTYPE htm…

express+mysql+vue,从零搭建一个商城管理系统8--文件上传,大文件分片上传

提示&#xff1a;学习express&#xff0c;搭建管理系统 文章目录 前言一、安装multer&#xff0c;fs-extra二、新建config/upload.js三、新建routes/upload.js四、修改routes下的index.js五、修改index.js六、新建上传文件test.html七、开启jwt验证token&#xff0c;通过login接…

渗透测试专用firefox浏览器 v2024.2最新版!!!

前言 之前做了一个firefox渗透测试专用浏览器v1&#xff0c;并且经过广大师傅的意见以及建议部分功能进行了调整以及新增。 如有相关意见&#xff0c;可以加入我们交流群进行反馈。 更新内容 去除DarkReader&#xff08;夜间模式&#xff09; 修改firefox主题&#xff0c;使…

【促销定价】背后的算法技术3-数据挖掘分析

【促销定价】背后的算法技术3-数据挖掘分析 01 整体分析1&#xff09;整体概览2&#xff09;类别型特征概览3&#xff09;数值型特征概览 02 聚合分析1&#xff09;天维度2&#xff09;品维度3&#xff09;价格维度4&#xff09;数量维度 03 相关分析1&#xff09;1级品类2&…

如何准备2024年汉字小达人:历年考题练一练-18道选择题解析

距离2024年第11届汉字小达人比赛还有八个多月的时间&#xff0c;建议如果有可能都让孩子参加一下&#xff0c;无需报名费&#xff0c;如果没时间准备也可以直接上阵参赛&#xff0c;检验一下孩子语文字、词、成语和古诗文方面的掌握情况。一方面可以激发孩子学习语文的兴趣&…

高级货,极大提高效率,个人非常喜欢

软件简介&#xff1a; 软件【下载地址】获取方式见文末。注&#xff1a;推荐使用&#xff0c;更贴合此安装方法&#xff01; FileConverter中文版是一款免费软件&#xff0c;具有强大的功能。它支持多种文件格式的转换&#xff0c;包括视频、音频、文档等。您可以批量转换文件…