数仓数据同步策略

news2025/1/21 4:57:39

学习内容

  • 一、同步策略

一、同步策略

数据同步策略的类型包括:全量同步、增量同步、新增及变化同步、特殊情况

  • 全量表:存储完整的数据
  • 增量表:存储新增加的数据
  • 新增及变化表:存储新增加的数据和变化的数据
  • 特殊表:只需要存储一次

(1)全量同步策略

说明:每天存储一份完整的数据,作为一个分区

适用场景:表的数据量不大,且每天会有新的数据插入,也会有旧的数据修改(如:品牌表、商品一二三级分类表、加购表、活动表、优惠规则表、SKU商品表、SPU商品表等)

(2)增量同步策略

说明:每天存储一份增量的数据,作为一个分区

适用场景:表的数据量大,且每天会有新数据插入的场景(如:退单表、订单状态表、支付流水表、商品评论表等)

(3)新增量及变化同步策略

说明:存储创建时间和操作时间都是今天的数据

适用场景:表的数据量大,即会有新增,又会有变化。(如:用户表、订单表、优惠价领用表等)

(4)特殊策略
一些特殊的表,比如某些不会发生变化的表,可不必遵循上述同步策略(如: 地区表,省份表,民族表等 可以只存一份固定值)

总结分析图
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/43822.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

定义自定义指令;inserted()、update()

自定义指令的意义:对普通DOM元素进行底层操作; 作用 :可以获取到底层的dom,拿到想要的节点,从而进行操作; 实际应用:可以通过指令知道什么时候dom创建完成,从而进行依赖dom的库的初…

刷爆力扣之有效的山脉数组

刷爆力扣之有效的山脉数组 HELLO,各位看官大大好,我是阿呆 🙈🙈🙈 今天阿呆继续记录下力扣刷题过程,收录在专栏算法中 😜😜😜 该专栏按照不同类别标签进行刷题&#x…

超级浏览器的Cookies实现跨境电商防关联

大家有没有过这种感觉,打开电脑或手机,一些你喜欢的视频,总能一下子打到心巴上;心心念念想要下单的东西,总是不停出现在屏幕上诱惑你下单。你以为网络才是最懂你的人,其实是大数据正在研究你的一举一动。而聊到大数据&…

Cerebral Cortex:疼痛热刺激引起的脑功能网络分离与整合

目前的研究旨在确定热痛期间大脑网络整合/分离的变化,使用高时间分辨率的网络连接事件优化方法。参与者(n 33)主动判断施加于前臂掌侧的热刺激是否疼痛,然后在每次试验后评价温暖/疼痛强度。我们表明,试验中整合/分离的时间演化与疼痛的主观…

Ubuntu中安装Qt

文章目录Ubuntu中安装必要的软件安装流程配置运行配置运行Ubuntu中安装必要的软件 主要为了打开图形程序 sudo apt-get update sudo apt-get --assume-yes upgrade sudo apt-get install --assume-yes xfce4 xorg-dev libopencc2 libopencc2-data unzip zip主要是一些共享lib…

ECU简介

ECU是电子控制单元的简称,广泛用于汽车系统中,是电控系统的神经中枢。本文将以比较基础的方式展开ECU的工作原理。 一、基本结构 ECU主要由CPU、存储器、IO接口、信息传递总线组成。ECU可以把传感器传入的信号用内存程序和数据启动相应的程序&#xff0c…

人工智能:语音识别技术介绍

❤️作者主页:IT技术分享社区 ❤️作者简介:大家好,我是IT技术分享社区的博主,从事C#、Java开发九年,对数据库、C#、Java、前端、运维、电脑技巧等经验丰富。 ❤️个人荣誉: 数据库领域优质创作者🏆&…

移动Web

her~~llo,我是你们的好朋友Lyle,是名梦想成为计算机大佬的男人! 博客是为了记录自我的学习历程,加强记忆方便复习,如有不足之处还望多多包涵!非常欢迎大家的批评指正。 目录 一、字体图标 1.1 使用字体图…

Windows使用scp上传文件到linux服务器

我不是管理员,所以上传有点麻烦,需要在windows电脑上操作scp命令, 命令格式:上传文件夹带上-r,上传文件就不用带-r了,而且只能上传到tmp目录下,然后再使用mv命令移动到你想要的目录下&#xff…

宝塔上的wordpress站点更换域名+配置SSL+改版百度收录

前言 好久没写文章了,甚是想念,近半年来发生了很多事情,心态也变了很多。 这个博客自创办以来,原域名叫“is-hash.com”,是我2019年的突发奇想注册此域名,“is-hash”即为“是#”(hash是#的英…

力扣第73题

一、题目:73. 矩阵置零 二、题目解析: 解题步骤:注意题目要求原地算法–>利用矩阵的第一行和第一列记录矩阵需要置0的行和列,只要把0所在行和列的第一个位置置为0, 然后再根据第一行和第一列0的位置,对…

设备树覆盖:实现 DTO

前面我们学习了dts,也知道这个dtc、dtb。这个dto是什么? 实现 DTO 包括分割设备树、构建、分区和运行。 在实现可以正常工作之后,您还必须保持两个 DT 之间的兼容性,并确定用于确保每个 DT 分区安全性的策略。 1、分割 DT 首先…

Linux-用户概念和用户管理命令,用户组概念和用户组管理命令。

一,用户概念和用户管理命令: 1,linux是一个多用户操作系统,多个用户可以在同一时间内登录同一系统。 用户可理解为获取系统资源权限的集合,每个用户都会分配一个uid。分为三种: 超级用户:uid为…

String的方法介绍以及实现

今天需要掌握的有如下方法,有点多,但是不难,加油吧 1.字符串的查找 2.字符串的转化 3.字符串的截取 4.字符串的替换 5.字符串的拆分 6.字符串的其他方法 1.字符串的查找 public class TestDemo {public static void main(String[] ar…

java进阶—集合

前面我们知道了一个能存东西的数据结构,数组 java 基础——数组,现在我们来看一个高级一点的东西,集合 这里先提一点,集合的底层其实是数组 集合(collection)是什么呢? 我们可以把集合想象成…

接口测试需求分析

测试接口的时候,可能很多人都会想,按着研发给的接口协议文档来测,不就好了吗? 其实,对于接口的测试,还需要有点深度的需求分析,然后再进行对应的测试。对于接口测试,这里有个不太详…

python 高级技巧

闭包 定义双层嵌套函数,内层函数可以访问外层函数的变量 将内层函数作为外层函数的返回,此层函数就是闭包函数 在函数嵌套的前提下,内部函数使用了外部函数的变量,并且外部函数返回了内部函数,我们把这个使用外部函数变…

12小时,教室与生产线接力 复旦MBA科创青干营首个整合实践活动日

针对有志于投身科创事业的复旦MBA学生,复旦管院特别开设“复旦MBA科创青干营”,将科创管理教育与MBA培养体系深度融合。在MBA核心课基础上,学院为学生定制了原创、系统和注重实战的科创课程,并通过科创企业参访、科创先锋论坛、科…

初学者如何打开ABAQUS力学有限元仿真的大门

作者 | 静安 仿真秀专栏作者 导读:明年6月,笔者即将研究生毕业,从最初摸爬滚打一个人自学有限元力学仿真,到现在已经有三年多了。我研究方向是静力学仿真(Abaqus)和基于python的Abaqus二次开发。时至今日&…

MySQL命令行插入数据乱码分析

MySQL命令行插入数据乱码分析 1.起因 在开发过程中, 在linux 的上MySQL 的客户端提交插入数据的SQL, 然后数据在页面展示的时候乱码,在网上查找了一些资料,说是MySQL 的客户端连接设置是Latin1导致的;(当然肯定还是有是由其他的…