详细记录拉链表的实现过程

news2025/1/13 17:06:57

面试中被问到了,想了会儿思路混乱没答好,还是理解的不够深刻,重新好好理解记录一下~

拉链表的用途,主要是用来在数仓中记录业务库数据的全部历史信息和当前最新信息,也就是用来实现对渐变维的记录。数仓中对渐变维的记录通常有三种实现方式:

1)直接更新,也就是用业务库中发生变化的数据覆写数仓中的数据,这种实现方式可以保持数仓与业务库数据保持一致,缺点是只能保存当前最新的数据,对这条数据修改之前的历史数据不做维护,一般很少采用这种实现方式,除非历史数据本身就是错误的,没有使用价值。

2)通过在数仓中对经常发生变化的字段新增列来保存历史记录,比如用两个列来记录用户居住地这个属性,分别命名为previous_homecurrent_ home,当业务库中用户的居住地信息发生变化时,用current_home列来记录变化后的值,用previous_home列记录变化之前的值。这种记录方式能维护的历史变化记录数受限于新增列的个数,适合只需要保存最近的几个历史记录的业务场景。

3)也是常用的拉链表,拉链表可以实现对所有历史数据的维护,通过两个时间字段(例如start_dateend_date)实现对历史数据和当前最新数据的区分。

下面详细记录一下拉链表的实现过程

比如开始业务库中的数据:
图1
第一次全量导入数仓ods层,然后以create_time作为拉链表中的start_date9999-01-01作为拉链表中end_date字段,导入到dwd层形成最初始的拉链表,像下面这样:
在这里插入图片描述
此时所有的记录end_date都为9999-01-01,表示为当前最新数据。

假设过了一天,业务库中的数据发生了变化,变成了下面这样:
在这里插入图片描述
也就是新增了赵六,同时李四的address修改为了北京,这个时候业务库数据导入ods层的时候就不必全量导入,只导入在28号这天发生了更改的数据,这里的更改包括新增和修改,导入条件设置为update_time between '2022-12-28 00:00:00' and '2022-12-28 23:59:59',此时同步到ods层的数据再以update_time为拉链表中start_date,同样以9999-01-01为拉链表中end_date字段,又得到了一张新的拉链表像下面这样:
在这里插入图片描述
此时这张拉链表就是只包含最新的记录信息,而上面那张拉链表中包含的既可能有最新的信息,也可能有历史的记录信息,此时我们需要把原始的那张拉链表中的end_date也就是数据的有效期修改一下,如果这条数据被更新了,那就将时间修改为发生更改的前一天,假设原始拉链表为A,新的拉链表为B:

select
	A.id,
	A.name,
	A.address,
	A.create_time,
	A.update_time,
	A.start_date,
	# B.id is not null说明匹配到的数据有更新,A.end_date='9999-01-01'限制只修改更新的这条数据在原始拉链表中最近的生效的这条记录,而不修改它的所有历史记录
	if(B.id is not null and A.end_date='9999-01-01', DATE_SUB(B.update_time, interval 1 day),'9999-01-01') as end_date
from A left join B on A.id = B.id;

得到的结果:
在这里插入图片描述
最后将修改过end_date的原始拉链表和上面那张新的拉链表做个union all操作就得到了最终的这张结果拉链表:
在这里插入图片描述
这张结果拉链表中既保存了业务库中最新的记录数据,又维护了李四修改前的历史数据。

后续对拉链表的更新都是只同步每天发生更新的数据,然后把这部分数据做成一个新的拉链表,再修改原始拉链表中的有效期end_date字段,然后两表union all就行了。

为了方便测试,数据都是在mysql中跑的,使用hive时稍微修改下部分语法和函数就行了,思路还是一样的。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/124877.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

.NET和JavaScript控件丨Infragistics功能简介

使用Infragistics Ultimate UI/UX工具包简化开发,提供综合的企业级 UI控件库和使用Indigo.Design的 UX设计-开发协作工具 -一个完整的设计到代码系统- 集成原型、设计系统、用户测试、应用程序构建和代码生成。 终极开发者工具包 为任何平台上的任何设备设计、现代…

minikube start

因为要安装的中间件需要运行在k8s的环境里。官方推荐用minikube 运行minikube start时遇到问题。 容器下载速度为0 (没有截屏)kubectl初始化超时 initial timeout of 40s passed: 解决问题1,需要加上–image-mirror-countrycn’参数。如果…

长短期记忆网络(LSTM)

长短期记忆网络有三种类型的门:输入门、遗忘门和输出门。 长短期记忆网络的隐藏层输出包括“隐状态”和“记忆元”。只有隐状态会传递到输出层,而记忆元完全属于内部信息。 长短期记忆网络可以缓解梯度消失和梯度爆炸。 由于序列的长距离依赖性&#…

27移除元素--双指针(快慢指针)

27移除元素–双指针(快慢指针) 移除元素这道题看起来很简单,但其蕴含的快慢指针的思想十分重要。 双for循环(暴力法)-- O(n2n^2n2) 使用第1个for循环 i 遍历数组所有元素 使用第2个for循环从 i 开始进行数组元素的前移…

骨传导耳机伤耳朵吗、骨传导耳机适合适用的人群有哪些?

事实上,骨传导耳机是对耳朵最健康的一种耳机了,下面就来详细说说这种耳机。 骨传导耳机是以人的骨骼为介质,不经过外耳道和耳膜,将声音传递给听觉器官的耳机。他对人的耳朵损害相比起传统的耳机损害更小,因为听力受损…

JavaSE笔记——Lambda表达式

文章目录前言一、第一个Lambda表达式二、如何辨别Lambda表达式三、引用值,而不是变量四、函数接口五、类型推断总结前言 Java 8 的最大变化是引入了 Lambda 表达式——一种紧凑的、传递行为的方式。 一、第一个Lambda表达式 Swing 是一个与平台无关的 Java 类库&a…

redhat7.6+grid 11.2.0.4部署遇到各种问题

一、add cluster node时,卡住 两个节点时间不同步,设置时间同步即可 二、部署Redhat7.6oracle11g部署中的bug Oracle 11.2.0.4 部署rac过程中,需要运行root.sh脚本报错。提示: ohasd集群无法启动。该补丁修改ohasd无法启动的问题…

红外成像系统测试

通常人们把红外辐射称为红外光、红外线。实际上其波段是指其波长约在0.75μm到1000μm的电磁波。人们将其划分为近、中、远红外三部分。近红外指波长为0.75-3.0μm;中红外指波长为3.0-20μm;远红外则指波长为20-1000μm。由于大气对红外辐射的吸收,只留下三个重要的“窗口”…

一把巴枪,和被改变的菜鸟驿站站长们

成立9年的菜鸟物流一直在答题。如果说之前这张答卷更多的标签是面向物流前端的配送和分拣等,那么如今,它的更多答案已经不单纯是前端的流通和连接,更有最末端基于科技对人的温度和赋能。 作者|丰兰 出品|产业家 数字化,正在…

少儿Python每日一题(6):角谷猜想

原题解答 本次的题目如下所示(原题出处:NOC): 角谷猜想:以一个正整数n为例,如果n为偶数,就将它变为n/2;如果除后变成奇数,则将它乘3加1(即3n1)。…

latex常用语法速查

本文针对overleaf在线使用latex的情况编写。 文章目录文档结构要点导入图片使用表格添加引用参考资料文档结构 文档类型设置 \documentclass[12pt,article]{book} % []中设置文档格式,文档字体大小默认为10pt,article指定文档用纸类型,其他…

【金猿人物展】龙盈智达首席数据科学家王彦博:量子科技为AI大数据创新发展注入新动能...

‍王彦博本文由龙盈智达首席数据科学家王彦博撰写并投递参与“数据猿年度金猿策划活动——2022大数据产业趋势人物榜单及奖项”评选。‍数据智能产业创新服务媒体——聚焦数智 改变商业回顾2022年大数据行业发展,令人感触最深的是数字经济时代对“数据安全”和“数…

基于自主可控的新型基础测绘与实景三维中国建设

实景三维中国作为强赋能、稳基底、重应用的新型基础设施,是打造数字中国、数字经济、数字政府的核心资源,其关键技术的掌握已经成为撬动社会生产,促进行业良性内循环,引发国家数字资源合理分配的重中之重。 ▲实景三维工程技术研究…

小程序入门01

目录 1.什么是小程序 2.小程序可以干什么? 3.相关资料 4.入门 4.1 申请账号 4.2 安装第一个小程序 4.3 了解程序 1.什么是小程序 2017年度百度百科十大热词之一 微信小程序(wei xin xiao cheng xu),简称小程序,英文…

FreeSWITCH在视频会议中的实践经验

点击上方“LiveVideoStack”关注我们▲扫描图中二维码或点击阅读原文▲了解音视频技术大会更多信息// 编者按:视频会议已成为日常办公不可或缺的一部分,为远程交流的人们提供了许多便利。本次RTSCon 2022会议,由RTS社区和LiveVideoStack音视…

Win10的两个实用技巧系列之设置鼠标指针、红警玩不了怎么办?

win10系统怎么设置鼠标指针在打字时隐藏? win10隐藏鼠标指针的方法 win10系统怎么设置鼠标指针在打字时隐藏?win10系统输入文字的时候,想要隐藏鼠标指针,该怎么操作呢?下面我们就来看看win10隐藏鼠标指针的方法 win10如何隐藏鼠…

Android中的属性动画

在属性动画出来之前,Android系统提供的动画只有帧动画和View动画。View动画大家可能知道,它提供了AlphaAnimation(透明度),RotateAnimation(负责旋转),TranslateAnimation(负责移动),ScaleAnimation(负责缩放)这4种动画…

2022年广西建筑安全员考试真题题库及答案

百分百题库提供建筑安全员考试试题、安全员证考试真题、安全员证考试题库等,提供在线做题刷题,在线模拟考试,助你考试轻松过关。 100.《中华人民共和国建筑法》规定,建设单位申请领取施工许可证,应当具备下列条件有() A.已经办理该建筑工程用地批准手续…

手绘图说电子元器件-晶体管

晶体二极管与单结晶体管 晶体二极管是电子电路中最重要的半导体器件,包括一般二极管和特殊二极管两大类。 晶体二极管 晶体二极管简称二极管,是一种常用的具有一个PN结的半导体器件。 晶体二极管的极性 晶体二极管两引脚有正、负极之分 晶体二极管的参数 晶体二极管的…

HOW POWERFUL ARE GRAPH NEURAL NETWORKS? 论文/GIN学习笔记

对GNN的评估 GNN 通用表达式 聚合: av(k)AGGREAGTE(k)({hu(k−1):u∈N(v)})a_v^{(k)}AGGREAGTE^{(k)}(\{ h_u^{(k-1)} : u \in \mathcal{N}(v) \}) av(k)​AGGREAGTE(k)({hu(k−1)​:u∈N(v)}) 更新: hv(k)COMBINE(k)(hv(k−1),av(k))h_v^{(k)} COMB…