亚信安慧AntDB MTK数据同步工具之数据稽核

news2024/11/27 8:32:46

数据稽核是一种用于确保表数据准确性和一致性的重要方法,它涉及到检查数据的完整性、致性、有效性和合法性,以及与预期规范的匹配程度等多个方面。随着大数据时代的到来,通过有效的数据稽核,组织可以提高决策的准确性和效率,优化业务流程,并增强数据的可靠性和可用性。数据稽核也可以帮助组织发现数据质量问题、识别潜在的数据错误,并为数据管理和决策提供可靠的基础。本文介绍了MTK数据稽核的功能以及操作步骤

MTK支持数据稽核功能,数据稽核包含表记录数稽核、表数据稽核和表结构稽核,它不仅支持同构数据库之间的数据稽核,还支持异构数据库之间的数据稽核,同时也可以进行不同schema映射下的表数据稽核。在数据迁移后,对迁移库的表数据进行数据稽核,可以发现数据的一致性、完整性、准确性等问题。

表记录数稽核

表记录数稽核通过对源表和目标表分别执行:select count(*) from schemaName.tableName以获取表名对应的记录数,比较记录数是否一致,需要注意的是支持源端和目标端的schema名称不同。表记录数稽核可用于快速发现数据的完整性问题。

数据校验选中需要校验的所有表,校验范围选择行数。

图1:校验范围-行数

行数校验结果如下图2所示,可以看到源表和目标表在行数不一致时分别展示源表行数和目标表行数:

图2:行数校验结果

表数据稽核

表数据稽核通过select语句将表数据查询出来,再进行内容比对。若遇到大表,且有主键表,再根据主键拆分成多个select语句多线程处理;若是无主键表,则根据rowid或者ctid分段查询,需注意的是不同数据库采用的分段策略有所不同,通过分段查询可以提高数据校验的处理速度。表数据稽核可用于全方面的检查数据的一致性、完整性、准确性等问题。

图3:校验范围-模型和数据

表数据稽核比对结果如下图4所示,可以看到表内容比对的记录数,当表数据不一致时,可以点击详情按钮查看源表和目标表具体的内容差异明细:

图4:校验结果-模型和数据

表差异内容明细图如下图5所示:

图5:表内容差异明细

 表结构稽核

表结构稽核可以查看源表和目标表的字段差异,包括对字段名称、字段类型、字段长度的校验。表结构稽核可以用于检查不同环境DDL(数据定义语言)的一致性问题。

图6:表结构差异明细

综上所述,MTK工具的数据校验是一项重要任务。通过使用MTK工具,可以对数据进行校验、验证和修复,以确保数据的准确性和完整性MTK工具提供不同的校验方法和规则,用于检查数据中的错误、不一致性和异常值,从而保证数据的质量和可靠性。MTK工具的数据校验也可以帮助我们优化数据流程快速发现和解决潜在的数据问题,并为后续分析和决策提供可靠的数据基础。因此,在使用MTK工具进行数据校验时,应确保选择适当的校验方法和配置参数,以满足特定的数据质量要求。

关于亚信安慧AntDB数据库

AntDB数据库始于2008年,在运营商的核心系统上,服务国内24个省市自治区的数亿用户,具备高性能、弹性扩展、高可靠等产品特性,峰值每秒可处理百万笔通信核心交易,保障系统持续稳定运行超十年,并在通信、金融、交通、能源、物联网等行业成功商用落地。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1342502.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【产品应用】一体化步进伺服电机在自动稀释仪中的应用

在许多化学实验和生物实验中,稀释是一个关键步骤。为了提高稀释的准确性和效率,自动稀释仪被广泛使用。随着科技的进步,一体化步进伺服电机在自动稀释仪中的应用越来越广泛,大大提高了仪器的性能和效率。本文将详细介绍一体化步进…

2024年起重机司机(限桥式起重机)证考试题库及起重机司机(限桥式起重机)试题解析

题库来源:安全生产模拟考试一点通公众号小程序 2024年起重机司机(限桥式起重机)证考试题库及起重机司机(限桥式起重机)试题解析是安全生产模拟考试一点通结合(安监局)特种作业人员操作证考试大纲和(质检局)特种设备作…

网页设计期末 建筑博物馆首页 HTML+CSS+js 完整代码(轮播图+瀑布流)

文章目录 前言:完整代码在总结处跳转!!! 描述:结果展示:部分代码演示:(完整代码在总结处跳转)总结:(完整代码在此处跳转) 前言&#x…

ELK----filebeat日志收集工具

ELK:filebeat日志收集工具和logstash相同 filebeat是一个轻量级的日志收集工具,所使用的系统资源比logstash部署和启动时使用的资源要小的多。 filebeat可以运行在非java环境。他可以代理logstash在非java环境上收集日志 filebeat无法实现数据的过滤&…

查看IOS游戏FPS

摘要 本篇技术博客将介绍如何使用克魔助手工具来查看iOS游戏的帧率(FPS)。通过克魔助手,开发者可以轻松监测游戏性能,以提升用户体验和游戏质量。 引言 在iOS游戏开发过程中,了解游戏的帧率对于优化游戏性能至关重要…

顶配版SAM:由分割一切迈向感知一切

文章目录 0. 前言1. 论文地址1.1 项目&代码1.2 模型地址1.3 Demo 2. 模型介绍2.1 亮点2.2 方法 3. 量化结果、可视化展示Reference 0. 前言 现有的视觉分割基础模型,如 SAM 及其变体,集中优势在形状、边缘等初级定位感知,或依赖外部模型…

MR实战:实现数据去重

文章目录 一、实战概述二、提出任务三、完成任务(一)准备数据文件1、在虚拟机上创建文本文件2、上传文件到HDFS指定目录 (二)实现步骤1、Map阶段实现(1)创建Maven项目(2)添加相关依赖…

红警1源代码下载,编译,单步调试操作步骤

注意视频无声音: 红警1代码单步调试操作步骤_哔哩哔哩_bilibili红警1,源代码下载,编译,单步调试操作步骤。1、下载代码:https://gitee.com/r77683962/CnC_Remastered_Collection/repository/archive/master.zip这里边…

Jackson ImmunoResearch纳米二抗(Nano Secondary Antibodies)

驼科,如羊驼和美洲驼,会产生一类独特的仅由重链组成的抗体。而抗原结合片段(Fab),也称为仅可变重链片段抗体(Variable Heavy-Chain only fragment antibodies,VHH片段),或纳米抗体,是一种新型抗体形式。凭借…

【MCAL】TC397+EB-tresos之MCU配置实战 - 芯片时钟

本篇文章介绍了在TC397平台使用EB-treso对MCU驱动模块进行配置的实战过程,主要介绍了后续基本每个外设模块都要涉及的芯片时钟部分,帮助读者了解TC397芯片的时钟树结构,在后续计算配置不同外设模块诸如通信速率,定时器周期等&…

rabbitmq使用总结

1、进入rabbitmq的sbin目录,进入CMD 2、输入./rabbitmq-plugins enable rabbitmq_management启用管理服务。 3、输入./rabbitmqctl start_app启动服务。 查看是否启动成功 1、浏览器访问http://localhost:15672/ 下载erlang 地址如下: http://erla…

三张表看懂POE POE+ POE++ 三个协议的相关参数

Hqst华强盛(盈盛电子)导读:三张表看懂POE POE POE 三个协议的相关参数。 一 ̖ POE协议区分: 802.3af(PoE) 百兆网络变压器H81621S 二 ̖ POE协议与受电设备(PD)工作功率分级 802.3at&#xf…

使用MySQL进行数据库表的基本操作

参考文章 http://www.ksqn.cn/news/1325.html 1. 创建表 语法: CREATE TABLE table_name ( field1 datatype, field2 datatype, field3 datatype ) character set 字符集 collate 校验规则 engine 存储引擎;说明: field 表示列名datatype 表示列的类…

图片水印怎么去除?推荐三个去水印的方法

在我们搜集和整理图片素材的过程中,总会遇到一个让人头疼的问题——水印。这些水印不仅破坏了图片的整体美感,还极大地限制了图片的使用范围。然而,好消息是,我们并非束手无策,有多种方法可以帮助我们去除这些水印&…

Android 理解Context

文章目录 Android 理解ContextContext是什么Activity能直接new吗? Context结构和源码一个程序有几个ContextContext的作用Context作用域获取ContextgetApplication()和getApplicationContext()区别Context引起的内存泄露错误的单例模式View持有Activity应用正确使用…

OpenCV-Python(29):图像特征

目录 目标 背景介绍 常用特征 应用场景 目标 理解什么是图像特征 为什么图像特征很重要 为什么角点很重要 背景介绍 相信大多数人都玩过拼图游戏吧。首先你们拿到一张图片的一堆碎片,你要做的就是把这些碎片以正确的方式排列起来从而重建这幅图像。问题是&…

模拟电路基础知识笔记,你想知道的都有,建议收藏!

大家总说模电知识总是学不会,IC修真院为大家整理了模拟电子基础知识,看看你掌握了多少,文末可以获取全部哦。 文末可领全部文档 1、PN结是晶体二极管的基本结构,也是一般半导体器件的核心。 2、 射极输出器没有电压放大能力&am…

SD NAND 异常上下电测试

SD NAND 异常上下电测试的作用 SD NAND 异常上下电测试是一项关键的测试步骤,对确保SD NAND在不同电源条件下的稳定性和可靠性至关重要。 通过模拟正常和异常电源情况,测试可以验证设备的电源管理功能、检测潜在错误和异常行为,并评估设备在…

怎么快速去除图片水印?这些快速去除的工具赶紧码住

在数字时代的大潮中,图片与视频中的水印如同微小的瑕疵,虽然旨在维护原创者的权益,却往往损害了内容的观感,降低了他人的分享欲望。那些恼人的水印,常常让人们束手无策。但别担心,接下来我将为你揭秘几种快…

数字化时代背景下服装表演创新研究

服装表演是一门独具魅力的艺术,它既高于生活,又来源于生活。这一艺术形式通过舞台上的服装、音乐、舞蹈和表演艺术家的表现力,将时尚与创意融为一体,向观众传递着独特的美感和情感。然而,如今,我们生活在一个飞速发展的数字化时代,这为服装表演的教育带来了前所未有的机遇和挑战…