金仓数据库事务日志与检查点

news2024/11/27 10:44:50
  • 事务日志与检查点

WAL文件,在金仓数据库中,事务日志文件称为Write Ahead Log(预写式日志,简称WAL)。

WAL存储了数据库系统中所有更改和操作的历史,相当于Oracle的REDO。

WAL机制是在这个写数据的过程中加入写对应wal log的过程。

WAL文件的默认存放位置是./data/sys_wal

一、查看WAL文件总大小

1、在KES服务器端查看

统计WAL段个数,通过日志个数和每个日志的大小计算日志总大小

2、在客户端查看

通过脚本查看WAL文件总大小

 

 

  • WAL日志的切换

KES将xlog记录写入sys_wal子目录的WAL段文件中,默认情况下,每个WAL段文件大小是16MB,当出现下列情况时,WAL段就会发生切换。

  1. WAL段文件被写满。
  2. 启用了archive_mode,且超过了archive_timeout的时间。
  3. 执行函数sys_switch_wal。
  1. WAL段文件被写满自动切换。

1、查看系统当前WAL段。

 

  1. 执行DML操作,产生日志,使WAL段写满后生成新的WAL段
    1. 创建测试表。

 

    1. 插入数据

 

  1. 查看系统当前WAL段

 

2、archive_timeout超时自动切换

1、配置归档参数。

在/KingbaseES/V8/data/kingbase.conf文件结尾添加下列语句:

然后创建在/KingbaseES/V8/data/目录下创建archive.conf 文件

(1)设置日志级别参数。

(2)设置归档命令参数archive_command,归档位置为/archive。

(3)设置开启归档模式参数archive_timeout为on。

(4)设置强制归档时间参数archive_timeout为1分钟。

添加下列参数:

 

重启数据库使归档参数生效。

2、使用循环,不断产生数据活动。

 

注意:

定时归档可以在一定程度上降低数据丢失风险,但是不要将archive_timeout参数设置的过短,这样会产生大量的WAL段文件,因为无论是否有业务发生,系统在达到archive_timeout时间隔离后都会切换WAL段文件,占用大量磁盘空间。

3、使用sys_switch_wal函数手动切换

查看系统当前正在使用的WAL文件

 

切换WAL段文件

 

查看系统当前正在使用的WAL文件,已经被切换(有问题)

三、清理WAL日志

如果遇到WAL不能被收回或不能被重复利用导致空间不足问题,紧急情况下需要清理wal日志。

清理步骤:

  1. 一致性关闭数据库

清理日志前

 

  1. 删除WAL文件
    1. 使用sys_controldata命令获取最新的检查点的事物号和对象号

 

    1. 第一步得到的结果作为参数,使用sys_resetwal删除WAL文件。

 

  1. 启动数据库服务

删除后

 

四、日志挖掘

金仓数据库提供了日志跟踪和挖掘工具sys_waldump,例:对表执行相关的修改操作后查看日志内容。

  1. 创建测试表

 

  1. 执行DML操作

显示开启事务,向表中插入数据、更新数据、删除数据,记录事务号和执行上述操作前的LSN。

 

  1. 用sys_waldump挖掘日志位置的内容

 

从以上看出输出内容可以看到wal日志中包含commit等操作

总结

  • WAL文件名称规则

WAL文件名称由三段8位的16进制数组成:前8个16进制字符:00000004表示timeline(时间轴)、中间8个16进制字符:00000000表示logid、最后8个16进制字符:00000046表示logseg,Logseg前6个16进制字符始终为0.

 

  • 相关函数、命令
  1. 相关命令

 

 

  1. 相关函数

 

 

 

  • 实例恢复概述
  1. 数据库把每项操作记录到重做日志中。
  2. 当实例重新启动后,会重做(replay)这些日志让实例恢复到异常终止时的状态,这个动作通常称为”前滚”。
  3. “前滚”完成后,多数数据库还会把未完成的事物取消掉,就像这些事务从来没有执行过一样。这个动作称为回滚。
  4. 在前滚过程中,数据库是不能被用户访问的。

  1. 什么时候需要实例恢复?

当数据库实例异常终止后,重启实例会恢复到被异常终止时的状态。

  1. 异常终止时是什么状态?
  1. 内存中有脏块未来得及作最后一次检查点即关闭。
  2. 此时redo file比data file新鲜。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/331826.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

[Android开发基础4] 意图与意图过滤器

文章目录 意图(Intent) 简介 显式意图 隐式意图 意图过滤器(IntentFiler) action data category 意图(Intent) 简介 Intent被称为意图,是程序中各组件进行交互的一种重要方式&#xff0c…

第四章.误差反向传播法—简单层的实现(加法层(AddLayer)+乘法层(MulLayer))

第四章.误差反向传播法 4.1 简单层的实现 本章主要讲述的是加法层(AddLayer)和乘法层(MulLayer)的实现过程。 1.加法层(AddLayer) 从正向传播和反向传播两个层面进行分析。 1).示例: 以zxy为对象,观察它的传播。zxy的导数:∂z/∂x1,∂z/∂…

从CNN到Transformer:基于PyTorch的遥感影像、无人机影像的地物分类、目标检测、语义分割和点云分类

我国高分辨率对地观测系统重大专项已全面启动,高空间、高光谱、高时间分辨率和宽地面覆盖于一体的全球天空地一体化立体对地观测网逐步形成,将成为保障国家安全的基础性和战略性资源。随着小卫星星座的普及,对地观测已具备多次以上的全球覆盖…

DVWA靶场通关和源码分析

文章目录一、Brute Force1.low2、medium3、High4、Impossible二、Command Injection1、Low2、Medium3、High三、CSRF1、Low2、Medium3、High4、Impossible四、File Inclusion1、Low2、Medium3、High五、File Upload1、Low2、Medium3、High4、Impossible六、 SQL注入1、Low2、Me…

关于catkin的一些笔记以及资料连接

大佬们早就不用catkin_make编译节点了,快来瞅瞅他们使用的啥 https://zhuanlan.zhihu.com/p/399753815 https://catkin-tools.readthedocs.io/en/latest/index.html# ROS 编译系统 catkin 详解 https://www.jianshu.com/p/7fccfe18d7d3 ROS学习笔记(六…

【20230206-0209】哈希表小结

哈希表一般哈希表都是用来快速判断一个元素是否出现在集合里。哈希函数哈希碰撞--解决方法:拉链法和线性探测法。拉链法:冲突的元素都被存储在链表中线性探测法:一定要保证tableSize大于dataSize,利用哈希表中的空位解决碰撞问题。…

linux性能优化-内存buffer/cache区分

# 注意不同版本的free输出可能会有所不同 $ freetotal used free shared buff/cache available Mem: 8169348 263524 6875352 668 1030472 7611064 Swap: 0 0 0本文目的用来区分free中…

linux——守护进程守护刷抖音程序不被意外退出

先搞清楚几个概念:udev:设备管理工具,以守护进程的方式工作。位于应用层,主要用于监听内核硬件状态,它能够根据系统中的硬件设备的状态动态更新设备文件,包括设备文件的创建,删除等守护进程:守护…

vue 最详细教学篇(三)

文章目录vue2-cli 项目文件分析示例项目解析router-linkrouterrouter-viewmain.jspackage.jsonvue2-cli 项目 vue-cli>> 文件分析 从上图分析项目文件 1. node_modules // npm 所有下载文件包都在里面 2. public // 根目录文件, 存放index.html和一些脚本文件 3. sr…

CSDN每日一练:小桥流水人家

题目名称:小桥流水人家 时间限制:1000ms内存限制:256M 题目描述 在n*m的地图上,存在一个喷水点(x,y). 如果相邻的位置低于有水的地方,水就能流到相邻的某位置。 已知各个地方的海拔高度,求水的最大覆盖个格…

[js基础]ECMAScript2015(ES6)精要知识点(下)

模块化模块就是在单个文件中声明的JavaScript代码。我们可以用JS代码直接从其他文件中导入函数、变量和类。在NodeJS之前,由于没有过于复杂的开发场景,前端是不存在模块化的,后端才有模块化。NodeJS诞生之后,它使用CommonJS的模块…

filebrowser logo和样式自定义及免密访问

这两天接到项目一个需求,客户需要文件管理存储服务,看了下大概的功能,计划用源码开发的,但是看后期这块调整也不大,就采用开源的项目进行即可,开源项目对比后,发现filebrowser比较适合我&#x…

Spring如何解决循环依赖

今天面试了同程旅行,面试官问到了这个问题,所以今天来总结学习一下 Spring是如何解决循环依赖问题? 前言 Spring的依赖注入分为 setter注入和 构造器注入 这里说的解决循环依赖主要指的是:单例模式下的setter循环依赖 如果是&a…

ThreadLocal使用与原理

目录一、ThreadLocal1.ThreadLocal简介1.1 是什么2.能干嘛1.3 api介绍1.4 实战1.5 通过上面代码总结2.从阿里ThreadLocal规范开始3.ThreadLocal源码分析3.1 Thread,ThreadLocal,ThreadLocalMap 关系3.2 总结4.ThreadLocal内存泄露问题4.1 什么是内存泄漏…

PCIE 学习笔记(入门简介)

PCIE 学习笔记书到用时方恨少啊,一年前学PCIE的笔记,再拿出来瞅瞅。发到博客上,方便看。PCIE基础PCIE和PCI的不同PCIE采用差分信号传输,并且是dual-simplex传输——每条lane上有TX通道和RX通道,所以每条lane上的信号是…

DBeaver连接达梦数据库

1、下载Dbeaver安装包 1、官网下载:Download | DBeaver Community 2、下载完成后双击运行.exe文件,进行安装 2、配置达梦数据库驱动 1、达梦数据库驱动下载:Mybatis 框架 | 达梦技术文档 2、为DBeaver添加驱动 3、自定义DM驱动管理器的相关配…

购买低代码平台,要考量哪些指标?

近些年来,低代码平台的热度在逐渐上升,可以看出企业数字化转型得速度也在逐渐加快。企业的数字开发需求越来越强,市场之间的竞争也愈演愈烈。特别是对于中小型企业,既要考虑到产品功能需求,又要考虑成本压力&#xff0…

安卓小游戏:飞机大战

安卓小游戏:飞机大战 前言 前面写了十二篇自定义view的博客,说实话写的还是有点无聊了,最近调整了一下,觉得还是要对开发有热情,就写了点小游戏,现在抽时间把博客也写一写,希望读者喜欢。 需…

渲染速度特别慢,使用云渲染会快多少?

设计师在使用软件制作效果图和动画师在制作动画时,其中有一个比较关键的环节就是渲染成像,渲染的效率主要跟使用的电脑显卡或CPU性能有关,如果性能太低,渲染的速度会很慢,拉长了项目整体的交付周期,云渲染速…

反转链表的两种方法

大家好,今天和大家分享的是反转链表的两种方法,第一种是用泛型编程里面的STL,第二种是利用多个指针进行操作,小孩子才做选择,建议两个都学。我们往下看:一.使用vector容器ps:该方法对内存的需求…