MySQL 8 数据清洗总结

news2024/10/4 19:24:25

MySQL 8 数据清洗三要素：

  • 库表拷贝和数据备份
  • 数据清洗SQL
  • 数据清洗必杀技-存储过程

前提：数据库关联库表初始化和基础数据初始化：

-- usc.t_project definition

CREATE TABLE `t_project` (
  `id` varchar(64) NOT NULL COMMENT '主键',
  `tid` varchar(64) NOT NULL COMMENT 'TID',
  `ptid` varchar(64) NOT NULL COMMENT 'PTID',
  `project_no` varchar(64) DEFAULT NULL COMMENT '项目编号',
  `project_name` varchar(128) NOT NULL COMMENT '项目名称',
  `project_address` varchar(128) NOT NULL COMMENT '项目地址',
  `is_delete` int NOT NULL DEFAULT '0' COMMENT '删除标识:0=未删除，1=已删除',
  PRIMARY KEY (`id`),
  UNIQUE KEY `t_project_id_IDX` (`id`) USING BTREE
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;
-- usc.t_arch definition

CREATE TABLE `t_arch` (
  `tid` varchar(64) NOT NULL COMMENT 'TID',
  `ptid` varchar(64) NOT NULL COMMENT 'PTID',
  `id` varchar(64) NOT NULL COMMENT '主键',
  `project_id` varchar(64) NOT NULL COMMENT '项目ID',
  `project_no` varchar(100) NOT NULL COMMENT '项目编号',
  `arch_name` varchar(128) NOT NULL COMMENT '案卷名称',
  `arch_no` varchar(128) NOT NULL COMMENT '案卷编号',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_0900_ai_ci;

 上述库表的关系：1:N = 项目 :案卷

-- 项目基础数据
INSERT INTO usc.t_project (id,tid,ptid,project_no,project_name,project_address,is_delete) VALUES
	 ('1','430100','430000','1001','长沙国金中心','长沙市芙蓉区', 0),
	 ('2','430100','430000','1001','长沙国金中心','长沙市芙蓉区', 0);
-- 案卷基础数据
INSERT INTO usc.t_arch (tid,ptid,id,project_id,project_no,arch_name,arch_no) VALUES
	 ('430100','430000','1','1','1001','案卷一','案卷一'),
	 ('430100','430000','2','2','1002','案卷二','案卷二'),
	 ('430100','430000','3','2','1002','案卷三','案卷三');

库表拷贝和数据备份

在MySQL 8 客户端 执行如下命令:

-- 复制t_project 表结构
create table t_project_2023_08_29 like t_project;

-- 拷贝t_project 表的数据至t_project_2023_08_29
insert into t_project_2023_08_29 select * from t_project

-- t_arch 执行如下命令, 注意替换相关表名
create table t_arch_2023_08_29 like t_arch ;

insert into t_arch_2023_08_29 select * from t_arch

数据清洗SQL

数据清洗的五要素：

  • 确定数据清洗的筛选条件
  • 确定数据清洗的数据记录
  • 确定数据清洗的过滤条件
  • 确定数据清洗的更新字段
  • 数据清洗后的核验

实战：昨天晚上帮朋友写了一个Shell 脚本迁移******城建档案馆历史数据。今天跟我反馈迁移的历史项目信息存在重复情况，导致项目关联的案卷出现了缺失情况。

按照数据清洗的5要素一步步的来复盘，如何编写项目关联案卷的清洗SQL：

1、确定数据清洗的筛选条件：

select tp.tid, tp.ptid, tp.project_no  from t_project tp group by  tp.tid, tp.ptid, tp.project_no having(count(1)) > 1

此SQL功能含义：查询项目表以Tid\Ptid\Project_no 字段分组且数量大于1 的项目信息 。

上述截图标识：项目表存在重复记录的情况.

 2、确定数据清洗的数据记录：

select * from  t_arch ta
inner join (select tp.tid, tp.ptid, tp.project_no  from t_project tp group by  tp.tid, tp.ptid, tp.project_no having(count(1)) > 1) temp
on ta.tid = temp.tid and ta.ptid = temp.ptid and ta.project_no = temp.project_no

此SQL功能含义：使用内联模式查询案卷表和项目表【条件添加：数据清洗的筛选条件】 。

上述截图标识：案卷表需要进行数据清洗的记录数.

 3、确定数据清洗的过滤条件

一般情况下过滤条件为：查询记录字段与关联从表关联字段。

select * from  t_arch ta
inner join (select tp.tid, tp.ptid, tp.project_no  from t_project tp group by  tp.tid, tp.ptid, tp.project_no having(count(1)) > 1) temp
on ta.tid = temp.tid and ta.ptid = temp.ptid and ta.project_no = temp.project_no
where ta.project_id in (
	select tp.id from t_project tp where tp.tid = temp.tid and tp.ptid = temp.ptid and tp.project_no = temp.project_no
)

此SQL功能含义：使用查询字段temp.tid\temp.ptid\temp.project_no 关联从表t_project,查询满足主表t_arch 关联的project_id。

上述截图标识：案卷表需要进行数据清洗的记录数并添加了相关条件进行筛选。

4、 确定数据清洗的更新字段

案卷表需要更新project_id 字段，同时将Select 语句修改为Update 语句。

update t_arch ta
inner join (select tp.tid, tp.ptid, tp.project_no  from t_project tp group by  tp.tid, tp.ptid, tp.project_no having(count(1)) > 1) temp
on ta.tid = temp.tid and ta.ptid = temp.ptid and ta.project_no = temp.project_no
set ta.project_id = (select min(tp.id) from t_project tp where tp.tid = temp.tid and tp.temp.ptid and tp.project_no = temp.project_no group by  tp.tid, tp.ptid, tp.project_no limit 1)
where ta.project_id in (
	select tp.id from t_project tp where tp.tid = temp.tid and tp.ptid = temp.ptid and tp.project_no = temp.project_no
)

重点：从表存在重复的情况，一般推荐使用:min/max函数 + group by +limit  +筛选主表关联字段，查询出满足条件的从表字段进行Set。

(select min(tp.id) from t_project tp where tp.tid = temp.tid and tp.temp.ptid and tp.project_no = temp.project_no group by  tp.tid, tp.ptid, tp.project_no limit 1)

5、数据清洗后的核验

select * from  t_arch ta
inner join (select tp.tid, tp.ptid, tp.project_no  from t_project tp group by  tp.tid, tp.ptid, tp.project_no having(count(1)) > 1) temp

此SQL功能含义：核查数据的清洗记录情况。

 上述截图标识：与数据清洗筛选记录截图，我们明显发现project_id 字段已经全部替换为 1,但是数据核查的清洗记录SQL 还能查询出相关数据，但是t_arch 表管理的project_id 字段又是正确的因为t_project 表的数据还没有进行清洗。

数据清洗拓展

以下SQL 主要涉及T_Project 表数据的清洗

update t_project ta
	inner join (select tp.tid, tp.ptid, tp.project_no  from t_project tp group by  tp.tid, tp.ptid, tp.project_no having(count(1)) > 1) temp
	on ta.tid = temp.tid and ta.ptid = temp.ptid and ta.project_no = temp.project_no
	set ta.is_delete = 1
	where ta.id not in (
		select min_id from (select min(tp.id) as min_id from t_project tp where tp.is_delete = 0 group by  tp.tid, tp.ptid, tp.project_no having(count(1)) > 1) temp
	)

重点：主表级联主表基于筛选条件构建的临时表。添加Where 条件为筛选主表重复记录的条件，并设置is_delete = 1.

温馨提示：

主表数据清理的条件为：主表重复记录条件

业务表级联主表数据清理条件为：查询满足条件记录的字段条件

主表数据清理SQL：

update t_project ta
	inner join (select tp.tid, tp.ptid, tp.project_no  from t_project tp group by  tp.tid, tp.ptid, tp.project_no having(count(1)) > 1) temp
	on ta.tid = temp.tid and ta.ptid = temp.ptid and ta.project_no = temp.project_no
	set ta.is_delete = 1
	where ta.id not in (
		select min_id from (select min(tp.id) as min_id from t_project tp where tp.is_delete = 0 group by  tp.tid, tp.ptid, tp.project_no having(count(1)) > 1) temp
	)

从表级联主表数据清理SQL： 

update t_arch ta
inner join (select tp.tid, tp.ptid, tp.project_no  from t_project tp group by  tp.tid, tp.ptid, tp.project_no having(count(1)) > 1) temp
on ta.tid = temp.tid and ta.ptid = temp.ptid and ta.project_no = temp.project_no
set ta.project_id = (select min(tp.id) from t_project tp where tp.tid = temp.tid and tp.temp.ptid and tp.project_no = temp.project_no group by  tp.tid, tp.ptid, tp.project_no limit 1)
where ta.project_id in (
	select tp.id from t_project tp where tp.tid = temp.tid and tp.ptid = temp.ptid and tp.project_no = temp.project_no
)

 数据清洗必杀技-存储过程

 如果数据清洗SQL 无法到达数据清洗的预期，那接下来我将使用存储过程实现数据清洗功能。

前提条件：

  • 熟悉和了解MySQL 8 存储过程基本语法。
  • 熟悉存储过程中的变量声明和赋值。
  • 熟悉存储过程中的游标声明和遍历。
  • 熟悉存储过程中的IF...ELSE 判断
  • 熟悉存储过程中的运算符。

如果对于MySQL 8 存储过程的小白，建议参考学习：MySQL 8 一文读懂存储过程

项目和案卷清洗存储过程源码： 

delimiter $
create procedure distanct_project()
begin
	-- 变量声明
	declare tid varchar(64);
	declare ptid varchar(64);
	declare project_no varchar(64);
	declare min_id varchar(64);
	-- 定义游标遍历标识符
	declare done int default 0;
	-- 游标定时
	declare project_cursor cursor for select tp.tid, tp.ptid, tp.project_no  from t_project tp group by  tp.tid, tp.ptid, tp.project_no having(count(1)) > 1;
	-- 游标全部遍历完成时,将游标遍历标识符设置为1
	declare continue handler for not found set done =1;
	
	-- 打开游标
	open project_cursor;
	
	-- 游标遍历
	read_project:LOOP
		-- 从游标中获取下一行数据
    	FETCH project_cursor INTO tid, ptid, project_no;
		-- 判断是否已经遍历完所有行
    	IF done THEN
      		LEAVE read_project;
    	END IF;
		
    	-- 查询
    	select min(tp.id) into min_id from t_project tp where tp.tid = tid and tp.ptid = ptid and tp.project_no = project_no group by  tp.tid, tp.ptid, tp.project_no limit 1;
		
    	-- 从表更新
    	update t_arch ta set ta.project_id = min_id where ta.tid =tid and ta.ptid =ptid and ta.project_no =project_no;
		
    	-- 主表更新
    	update t_project tp 
    		set tp.is_delete = 1
    			where tp.tid =tid and tp.ptid = ptid and tp.project_no = project_no and tp.id <> min_id;
    			
    	END LOOP;
 	-- 关闭游标
  	CLOSE project_cursor;
	
end $

call distanct_project ();

温馨提示： 对于复杂的业务数据清洗，例如：商品房管理系统：项目-》楼栋-》房屋-》网签合同-》预售证 等多层级多维度的数据清洗，无非就是游标中嵌套游标，再进行select 查询插入最后执行IF...ELSE 判断执行insert/update 语句。

今天的分析就到这里结束。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/953031.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

Scrum Master 面试问题- ChatGPT 版

Scrum Master 面试问题- ChatGPT 版

之前&#xff0c;我测试了 ChatGPT 如何回答《Scrum Master 面试指南》中的问题&#xff1b;见下文。早在2023 年 1 月&#xff0c;我就不会在 Scrum Master 面试过程中采取下一步&#xff0c;邀请ChatGPT与几名Scrum团队成员进行全方位的面试。 那么&#xff0c;如果 GPT 3.5…
阅读更多...
JavaScript（函数，作用域和闭包）

JavaScript（函数，作用域和闭包）

目录 一&#xff0c;什么是函数1.1&#xff0c;常用系统函数1.2&#xff0c;函数声明 1.3&#xff0c;函数表达式二&#xff0c;预解析2.1&#xff0c;函数自调用 2.2&#xff0c;回调函数三&#xff0c;变量的作用域3.1&#xff0c;隐式全局变量 四&#xff0c;作用域与块级作…
阅读更多...
如何从0跑起Vue3项目（Node和npm环境配置）

如何从0跑起Vue3项目（Node和npm环境配置）

文章目录 vue项目运行Node安装打开vue项目 vue项目 拥有了一个vue3项目后怎么将它跑起来&#xff1f; 期末在学长敲代码那儿做的vue课设&#xff0c;怎么将他从0跑起来&#xff1f; char[] str "如果需要做课设的小伙伴&#xff0c;也可以百度:学长敲代码" strin…
阅读更多...
el-switch组件在分页情况下的使用

el-switch组件在分页情况下的使用

1.需求： 系统使用者在点击发布状态的开关后，可以对应的发布或者取消发布试卷 2.前端代码： html代码（这里不贴其他表单项的代码了，直接贴el-Switch组件的代码）： <!-- qwy: 使用Switch组件，设置发布状态，业务逻辑：在页面初始渲染的时候应该查询发布状态，以根据状…
阅读更多...
windows环境装MailHog

windows环境装MailHog

背景&#xff1a;win10系统&#xff0c;windows 宝塔&#xff0c;laravel 项目&#xff0c;邮件相关需要装一个MailHog 下载地址&#xff1a;https://sourceforge.net/projects/mailhog.mirror/ 直接下载&#xff0c;下载后双击运行就可以了&#xff0c;系统可能提示”不信任“…
阅读更多...
用Socket实现网络通信

用Socket实现网络通信

文章目录 背景网络编程网络编程三要素 2.Socket之UDP通信程序2.1 UDP发送数据2.2UDP接收数据 3. Socket之TCP通信程序3.1TCP发送数据3.2TCP接收数据 背景 网络编程 ● 计算机网络 是指将地理位置不同的具有独立功能的多台计算机及其外部设备&#xff0c;通过通信线路连接起来…
阅读更多...
Linux文件管理知识:查找文件（第二篇）

Linux文件管理知识:查找文件（第二篇）

上篇文章详细介绍了linux系统中查找文件的工具或者命令程序locate和find命令的基本操作。那么&#xff0c;今天这篇文章紧接着查找文件相关操作内容介绍。 Find命令所属操作列表中的条目&#xff0c;有助于我们想要的结果输出。上篇文章已讲到find 命令是基于搜索结果来执行操作…
阅读更多...
VScode 调试python程序，debug状态闪断问题的解决方法

VScode 调试python程序，debug状态闪断问题的解决方法

0. Few words 之前一直在VSCode中debug C和Python的程序没出过闪断的问题&#xff0c;但是最近在另一台电脑上debug&#xff0c;同样的方法&#xff0c;设置launch.json和CMakeList加debug状态等等操作&#xff0c;如我另一篇blog写的一样&#xff0c;可以点这里查看。 但是&a…
阅读更多...
HarmonyOS—UI开发性能提升的推荐方法

HarmonyOS—UI开发性能提升的推荐方法

注&#xff1a;本文转载自HarmonyOS官网文档 开发者若使用低性能的代码实现功能场景可能不会影响应用的正常运行&#xff0c;但却会对应用的性能造成负面影响。本章节列举出了一些可提升性能的场景供开发者参考&#xff0c;以避免应用实现上带来的性能劣化。 使用数据懒加载 开…
阅读更多...
RT-Thread概述与体验

RT-Thread概述与体验

RTT目录结构 最核心的文件只有5个&#xff1a; src\thread.c&#xff1a;线程相关的文件&#xff0c;比如创建线程、启动线程。src\timer.c&#xff1a;定时器相关的文件。src\scheduler.c&#xff1a;调度器&#xff1a;维护线程的就绪链表、提供临界区的进出函数。src\ipc.c…
阅读更多...
CRM系统有哪些类型？如何管理客户关系？

CRM系统有哪些类型？如何管理客户关系？

什么是是客户关系管理 Zoho CRM是一种经营策略帮助企业建立客户为中心的企业管理模式同时CRM也是一种技术手段帮助企业建立牢靠的客户关系&#xff0c;实现降本增效的目的。例如建立全渠道沟通&#xff0c;提高客户满意度&#xff0c;跟进客户细分开展个性化的营销活动提高市场…
阅读更多...
uniapp--- 微信小程序 用户隐私新规相关代码调整【vue3+ts+uView框架】

uniapp--- 微信小程序 用户隐私新规相关代码调整【vue3+ts+uView框架】

uniapp— 微信小程序 用户隐私新规相关代码调整【vue3tsuView框架】 官方公告地址&#xff1a;https://developers.weixin.qq.com/community/develop/doc/00042e3ef54940ce8520e38db61801 用户隐私保护指引填写说明地址&#xff1a;https://developers.weixin.qq.com/miniprogr…
阅读更多...
C++信息学奥赛1177：奇数单增序列

C++信息学奥赛1177：奇数单增序列

#include<bits/stdc.h> using namespace std; int main(){int n;cin>>n; // 输入整数 n&#xff0c;表示数组的大小int arr[n]; // 创建大小为 n 的整型数组for(int i0;i<n;i) cin>>arr[i]; // 输入数组元素for(int i0;i<n;i){ // 对数组进行冒泡排序f…
阅读更多...
Resource Hacker下载

Resource Hacker下载

下载路径 Resource Hacker (angusj.com)http://www.angusj.com/resourcehacker/#download 应用方法示例 【2023年更新】手把手教你去除 WinRAR 的弹窗广告_winrar广告怎么去除_areosun的博客-CSDN博客https://blog.csdn.net/haiyunzhiqiu/article/details/119176038#comment…
阅读更多...
管理类联考——逻辑——形式逻辑——汇总篇——知识点突破——性质模态

管理类联考——逻辑——形式逻辑——汇总篇——知识点突破——性质模态

性质&模态 角度一 角度二 矛盾关系 【对象】（1）所有、有的不；（2）所有不、有的；（3）某个、某个不。 【典例】①所有偶像都是靠颜值的。 ②有的偶像不是靠颜值的。 试分析： （1）如果①为真，试判断②的真假。 （2）如果①为假，试判断②的真假。 （3）①和②是否可…
阅读更多...
u盘提示需要格式化如何恢复里边的数据？你可以这么做

u盘提示需要格式化如何恢复里边的数据？你可以这么做

“昨天我和往常一样往U盘传输一些重要文件&#xff0c;突然收到一个提示&#xff1a;说我需要格式化它才能使用&#xff0c;但是我里面有重要的数据&#xff0c;所以我不敢点&#xff0c;可是没法复制出里面的数据&#xff0c;有没有人告诉我&#xff0c;如何恢复里边的数据&am…
阅读更多...
【算法与数据结构】106、LeetCode从中序与后序遍历序列构造二叉树

【算法与数据结构】106、LeetCode从中序与后序遍历序列构造二叉树

文章目录 一、题目二、解法三、完整代码 所有的LeetCode题解索引&#xff0c;可以看这篇文章——【算法和数据结构】LeetCode题解。 一、题目 二、解法 思路分析&#xff1a;首先我们要知道后序遍历数组的最后一个元素必然是根节点&#xff0c;然后根据根节点在中序遍历数组中的…
阅读更多...
Zynq GTX全网最细讲解，aurora 8b/10b协议，OV5640板对板视频传输，提供2套工程源码和技术支持

Zynq GTX全网最细讲解，aurora 8b/10b协议，OV5640板对板视频传输，提供2套工程源码和技术支持

目录 1、前言免责声明 2、我这里已有的 GT 高速接口解决方案3、GTX 全网最细解读GTX 基本结构GTX 发送和接收处理流程GTX 的参考时钟GTX 发送接口GTX 接收接口GTX IP核调用和使用 4、设计思路框架视频源选择OV5640摄像头配置及采集动态彩条视频数据组包GTX aurora 8b/10b数据对…
阅读更多...
Docker Harbor 私有镜像仓库的部署和管理

Docker Harbor 私有镜像仓库的部署和管理

目录 一、什么是Harbor 二、Harbor的特性 三、Harbor的构成 四、部署配置Docker Harbor 首先需要安装 Docker-Compose 服务 部署 Harbor 服务 修改配置文件 docker配置文件添加本地仓库地址 关于 Harbor.cfg 配置文件中有两类参数&#xff1a;所需参数和可选参数 &a…
阅读更多...
双基证券：游戏版号发放整体趋势的向好将持续优化供给端

双基证券：游戏版号发放整体趋势的向好将持续优化供给端

双基证券表示&#xff0c;版号发放整体趋势的向好将继续优化供应端&#xff0c;游戏新产品周期正逐渐开启&#xff0c;各家游戏公司盈余端将逐渐企稳&#xff0c;同时将推进游戏商场规划进一步增加。长时间来看&#xff0c;AIGC等技术对游戏全工业链具有降本增效&#xff0c;提…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023