【实时数仓架构】方法论(未完)

news2024/11/26 16:24:39

笔者不是专业的实时数仓架构,这是笔者从其他人经验和网上资料整理而来,仅供参考。写此文章意义,加深对实时数仓理解。

一、实时数仓架构技术演进

1.1、四种架构演进

1)离线大数据架构
一种批处理离线数据分析架构,通过采用Hadoop技术栈,采用任务调度工具+小时/分钟级别调度任务方式,达到小时/分钟级别的实时数据分析。
2)Lambda架构
一种以批处理为主的离线数据分析架构,它将数据处理分为实时和离线两部分,其中离线部分通过批量计算来处理数据,实时部分则通过增量追加方式将数据合并到批处理结果中。
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/9a4409f9524d4c3996d7b25532a0b7f5.png

优势:满足实时处理低延迟需要,数据修正计算资源消耗少。
劣势:同样的需求需要开发两套一样的代码。后期维护困难,数据一致性得不到保证。

3)Kappa架构
一种以流处理为主的实时数据分析框架,它将实时数据直接存储在Kafka等消息队列中,并通过流处理器将数据转换为目标数据模型。
在这里插入图片描述

优势:架构简单,避免了维护两套系统还需要保持结果一致的问题,也很好解决了数据订正问题。
劣势:在 Kappa 架构中,需求修改或历史数据重新处理都通过上游重放完成。Kappa 架构最大的问题是流式重新处理历史的吞吐能力会低于批处理。消息中间件缓存的数据量和回溯数据有性能瓶颈。

4)数据湖架构
一种存算分离为主的统一存储(数据湖格式满足ACID)、多样化计算引擎的数据分析架构,它将实时数据的明细、中间、结果写入同一存储,供多样化计算引擎实时查询和访问。
在这里插入图片描述

优势:hudi、 iceberg 本身提供了ACID属性,这些特性可以解决数据回溯成本高,OLAP引擎结合困难的问题。
劣势:采用Copy-on-Wite (COW)会造成写放大,影响写入的性能;采用Merge-on-Read(MOR)会造成读放大,影响实时数据的查询分析性能:而湖格式存储,通常采用COW或者MOR,不可两者兼得,会造成性能不足以满足实施业务需求,通常存在分钟级别或者是小时级别的延迟。

1.2、架构能力对比

技术组件和实效性对比

离线大数据Lambda架构Kappa架构数据湖架构
典型技术组合离线:Hadoop+Spark;
调度工具:Azkaban;
OLAP引擎:Impala/presto;
数据服务:HBase
离线:Hadoop+Hive/Spark 流处理;
Flink OLAP引擎:ClickHouse;
数据服务:HBase
流处理:Flink;
OLAP引擎:Doris;
数据服务:HBase
湖格式:Hudi/iceberg/Delta on HDFS;
流处理:Flink;
OLAP引擎:Impala/Pretsto;
数据服务:HBase
数据源结构化/半结构化结构化/半结构化结构化/半结构化结构化/半结构化、非结构化
实时处理技术栈典型代表:Spark Streaming、Flink典型代表:Flink典型代表:Flink
实时性小时/分秒/毫秒秒/毫秒小时/分

实时数据分析对比

离线大数据Lambda架构Kappa架构数据湖架构
实时数据存储HDFS,且OLAP&HBase基于HDFS离线数据:HDFS;
实时数据:CK+HDFS(HBase底层存储)
OLAP引擎:DorisHDFS
实时数据更新能力HDFS: OverwriteHDFS: Overwrite;
CK:更新能力不完善;
HBase: Upsert
Doris: UpsertHudi/Iceberg/Delta : Upsert
实时查询DWD、DWS中间层结果支持查询中间结果一般不写入OLAP引擎;
写入HDFS,则支持查询
中间结果存储Kafka,不支持查询支持查询
实时性小时/分秒/毫秒秒/毫秒小时/分
OLAP引擎Impala/presto查询性能弱,适合联邦查询CK适合单表聚合,多表Join能力差Doris单表和多表Join查询能力较好湖格式有相关索引能力,查询性能优Impala/Presto on HDFS
数据服务使用HBase,支持高并发,离线实时数据都可查使用HBase,支持高并发,只能查实时数据使用HBase,支持高并发,只能查实时数据使用HBase,支持高并发,离线实时数据都可查
实时AI分析基于Spark ML/TF/PyTorch离线训练和推理基于Flink ML/TF/PyTorch实时训练和推理基于Flink MLTF/PyTorch实时训练和推理基于Flink MLTF/PyTorch实时训练和推理

管理对比

离线大数据Lambda架构Kappa架构数据湖架构
运维成本维护一套代码,难度较小维护两套代码,难度较小维护一套代码,难度较小维护一套代码,难度较小
数据孤岛离线实时数据在同一个存储介质离线实时数据在不同存储介质离线实时数据在同一个存储介质离线实时数据在同一个存储介质
数据一致性离线、实时数据和指标不一致概率小离线、实时数据和指标不一致概率大离线、实时数据和指标不一致概率小,少量修正离线、实时数据和指标不一致概率小,少量修正

1.3、实时数仓

1.3.1 实时数仓定义

遵循数据仓库的建设规范,一种支持事件发生后立即或不久对事件数据进行处理和分析的解决方案,数据实时采集、写入、加工、分析、应用都是连续,提供数据产生到应用的端到端秒级响应能力,以最小的延迟产出数据见解驱动业务行动。

1.3.2 实时数仓特点

1、毫米级延迟
低延迟主要体现三方面:
1)整体链路:端到端毫秒延迟;
2)数仓层级:层级毫秒级延迟;
3)数仓数据:实时写入/更新/可见/可查,数据毫米级延迟。
2、高吞吐写和高QPS度
3、智能化
实时数仓能够做到智能自适应,根据业务数据波峰波谷,自动调用计算资源;统计数据访问频次,自动完成冷热数据切换,兼顾性能、成本、自运维。
4、高可用架构
实时数仓应该具备高可用,通过架构部署或者产品能力实现从集群、负载格力、服务主备等手段,避免单一故障,有应急系统可切换使用,服务不断。
5、高水平数据管理
实时数仓需要建立完善的数据资产管理,包括但不限于源数据管理、数据安全、数据脱敏、数据备份、数据血缘、数据目录等,实现数据可查、能用、可用、好用。
6、支持混合负载
实时数仓期望能多种类型的混合负载一体化支持,不同负载能够做到相互隔离不干扰,即一个引擎支持多种场景,简化架构、保证数据一致性。

1.4、实时数仓典型业务场景

通常来讲,企业构建实时数仓,有以下几大类业务场景和技术需求。

1.4.1六类场景

1)实时描述类:
场景描述:通过数据实时反馈业务正在发生什么,协助管理层第一时间做出业务决策。
教育行业场景-数据看板:采集企业的B段业务数据,包含交易、教学、人员等数据,按照不同的条件和学习层级等,形成营收、教学等实时报表。
核心技术需求:实时预计算分析、离线实时数据关联分析
2)实时运营类
场景描述:通过数据实时诊断业务为什么发生,找到差异性和根因,协助执行层实时决策和实时调控相关策略。
电商行业场景-精准营销:产出实时用户标签数据,然后做人群圈选、用户画像分析、对不同的人群、不同的活动策略做AB测试,实时评估活动效果和差异性,实时调整人群包和营销活动。
核心技术需求:OLAP分析、多维分析、即时分析、标签护具高效分析。
3)实时监控类
场景描述:通过数据实时识别业务正在发生的风险,及时预警供相关人实时干预。
行业场景-链路监控:直播行业的网络异常监控,及时处理较少投诉率。物流行业实时整合多源数据,结合出入库、仓库作业等实时数据协助小二日常物流订单分析、订单派送。
核心技术需求:高QPS的在线数据服务、实时规则引擎、实时复杂时间处理
4)实时预测类
场景描述:通过数据实时预测业务未来可能发生的风险或者行为,提前干预降低风险成本,促进业务规模化增长。
行业场景-实时推荐:在搜索、推荐、广告行业,实时采集用户行为数据,计算实时特征,预测用户点击率/转化率,然后做个性化推荐,提升业务效果。
核心技术需求:实时特征/样本计算、实时AI、高QPS的在线数据服务、向量召回。
5)实时自动决策类
场景描述:通过对市场的实时事件的数据分析,快速响应市场变化,自动完成相关交易和价格调整。
金融行业场景-金融量化投资:基于提前建立的交易模型实现交易执行的自动化,通过对市场数据的实时监控和分析,快速响应市场变化,减少人为干扰和误操作,提高交易效率和准确率。
核心技术需求:实时特征/样本计算、实时AI、高QPS的在线数据服务
6)实时用户增长类
场景描述:通过对用户实时行为数据,在用户拉新、促活、流失、召回环节实时决策,实现日活、月活用户量的增长。
游戏行业场景-游戏发现:基于用户实时行为数据,通过广告只能投放优化买量,提升用户拉新ROI。通过实时个性化推荐,促活。其他等。
核心技术需求:实时特征/标签计算、OLAP分析、高QPS在线数据服务、向量召回、高效的留存/漏斗分析函数。

1.4.2 实时看板/大屏

此类需求在技术上,常需要业务交易数据,设计高层管理人群关注的核心指标,基于实时数据计算毫秒级计算指标值,存储是OLAP引擎中,最终在展示工具设计出数据看板和大屏访问。

1.4.3 实时OLAP分析

此类需求在技术上,需要查询业务总体情况,发现差异,然后基于数据立方体能力,从多维度、多指标对比分析,找到差异原因,反向指导业务的运作。

1.4.4 实时风险监测

该场景下,首先实时采集设备、交易数据、结合交易数据,其次通过实时规则+AI算饭的智能识别,将风险、故障灯行为数据和用户,汇总推到相关人群做后续执行动作,完成风险识别、推送、执行的闭环链路。

1.4.5 实时推荐

实时推荐场景下,首先采集用户行为数据进消息队列,其次基于实时数据计算完成实时特征计算,结合静态(离线)特征一起存储,即用户标签和画像,此时实时推荐的推理服务即可利用实时+离线特征进行物品推荐。更进一步,会结合实时特征+明细行为数据,基于Base离线模型,周期训一个实时模型,然后跟已经上线模型做对比,效果优则上线,此时完成实时推荐AI模型的更新。


二、需求分析

2.1、功能性需求

这些需求通常是可以明确的,可以被度量。主要包含以下几个方面:
1、实时数据采集
1)离线数据同步
2)实时数据同步:基于消息中间件的数据实时入仓;基于CDC数据实时入仓。
2、实时数据计算
3、实时数据存储
4、实时数据分析服务
5、实时数据接口
6、数据资产管理

2.2、非功能性需求

1、可用性
1)服务可用性;2)容灾备份
2、安全性
1)系统安全:比如账号认证、账号授权、日志审计
2)数据安全:比如安全认证及标准、存储加密、传输加密、数据脱敏
3)网络安全:比如底层服务网络安全、网络隔离、白名单
3、高性能
1)数据延迟性能;2)数据实时采集性能;3)数据实时计算性能;4)实时数据存储性能;5)分析服务性能
4、成本可控
1)显性成本:比如产品组件的脊梁、产品组件的使用、资源分层使用策略
2)隐性陈本:产品使用成本、产品运维成本、产品技术升级成本
5、可观测性
1)系统层面可观测:比如集群指标消耗、数据库监控、资源监控
2)任务层面可观测

3.3、针对未的需求

基于是实时业务场景、实时数仓架构理解和未来展望,我们认为实时数仓,数据分析服务需要支持ES倒排索引、离线ETL需求。
1)ES倒排索引:实时分析服务查询,常涉及多字段匹配然后聚合,或者基于另外一张表去关联明细表然后聚合,包含基于分词的前后模糊、包含于等查询。这种场景下,ES擅长信息检索不擅长聚合查询,常常返回耗时长,无法满足。实时数仓擅长OLAP聚合分析,如果能支持倒排索引,即能擅长信息检索又擅长聚合查询,满足客户需求。已有产品已实现。
2)离线ETL:实时数仓不可避免处理离线批处理,一方面是修正实时数据结果,另一方面是为了实现离线和实时计算统一引擎,更近一步是为了流任务和批任务统一,维护一套代码,因此我们认为未来实时数仓需要具备离线跑批能力,优化离线跑批性能,规划离线资源池不影响数据分析和线上服务。

三、架构总览

3.1、逻辑架构
实时数据采集层
两种方式:业务数据保存在关系数据库中,可通过CDC的技术采集Binlog到消息引擎中;日志通过各种采集工具采集到消息引擎。
实时数据计算层
实时数据存储层
实时数据分析服务层
数据资产管理层

3.2、架构决策
实时数据采集决策
实时数据计算决策
实时数据存储决策
实时数据服务鞠策

四、操作模型
4.1 稳定性
高可用
容灾备份
同城容灾
异地容灾
数据备份和恢复
资源隔离
4.2 安全性
4.3 高性能
Benchmark(基准测试)
性能优化

成本可控

五、架构落地可行性评估
未完。。。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1632127.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【大学生电子竞赛题目分析】——2023年H题《信号分离装置》

今年的大赛已临近落幕,笔者打算陆续对几个熟悉领域的题目作一番分析与讨论,今天首先分析H题。 网上有一些关于H题的分析,许多都是针对盲信号分析的。然而本题具有明确的信号频率范围,明确的信号可能频率,明确的信号波…

分布式与一致性协议之Paxos算法(三)

Paxos算法 兰伯特关于Multi-Paxos的思考 领导者 我们可以通过引入领导者(Leader)节点来解决第一个问题。也就是说将领导者节点作为唯一提议者,如图所示。这样就不存在多个提议者同时提交提案的情况,也就不存在提案冲突的情况了。这里补充一点:在论文中…

数字化技术可以促进中国企业创新吗?

数字化技术可以显著促进中国企业的创新。数字化技术,包括人工智能(AI)、区块链(Blockchain)、云计算(Cloud computing)、大数据(big Data)等,被称为ABCD技术&…

精准测试-Vue前端调用链影响变更分析之一

Vue前端调用链影响变更分析之一 一、背景二、工具调研1、 工具介绍:2、工具使用 三、工具落地集成方案(待后续补充)变更影响较为简单的实现变更影响较为复杂的实现1、全局关系数据库的构建2、变更影响的简单实现3、变更影响的复杂实现 一、背…

Detla lake with Java--入门

最近在研究数据湖,虽然不知道研究成果是否可以用于工作,但我相信机会总是留给有准备的人。 数据湖尤其是最近提出的湖仓一体化概念,很少有相关的资料,目前开源的项目就三个,分别是hudi, detla lake, iceberg。最终选择…

二维码门楼牌管理应用平台建设:档案管理的新篇章

文章目录 前言一、二维码门楼牌管理应用平台概述二、阵地档案管理的现状与挑战三、二维码门楼牌管理应用平台在阵地档案管理中的优势四、二维码门楼牌管理应用平台的建设与实施五、二维码门楼牌管理应用平台的未来发展六、结论 前言 随着信息技术的飞速发展,二维码…

如何下载AndroidStudio旧版本

文章目录 1. Android官方网站2. 往下滑找到历史版本归档3. 同意软件下载条款协议4. 下载旧版本Androidstudio1. Android官方网站 点击 Android官网AS下载页面 https://developer.android.google.cn/studio 进入AndroidStuido最新版下载页面,如下图: 2. 往下滑找到历史版本归…

无人机+集群组网+单兵图传:空地一体化组网技术详解

空地一体化组网技术是一种结合了无人机、集群自组网和单兵图传等多种技术的先进通信解决方案。这种技术方案的主要目的是在前线事故现场和后方指挥中心之间建立一个高效、稳定的通信链路,以确保信息的实时传输和指挥的顺畅进行。 首先,前端视频采集部分&…

视频美颜SDK与主播美颜工具的技术原理与应用场景分析

在直播视频领域中,视频美颜SDK和主播美颜工具发挥着至关重要的作用。本文将探讨这些工具的技术原理及其在不同应用场景中的应用。 一、视频美颜SDK的技术原理 1.1 图像处理技术 视频美颜SDK的核心技术之一是图像处理技术。根据用户设定的美颜参数进行相应的调整。…

【办公类-22-13】周计划系列(5-5)“周计划-05 周计划表格内教案部分“节日”清空改成“节日“” (2024年调整版本)Win32

背景需求: 本学期19周,用了近10周的时间,终于把周计划教案部分的内容补全了(把所有教案、反思的文字都撑满一个单元格), 一、原始教案 二、新模板内的教案 三、手动添加文字后的样式(修改教案…

后端学习记录~~JavaSE篇(Module08-异常 上 )

总览: Java概述: 思维导图文件在本人个人主页上-----资源模块 资源详情(免费下载):Java学习思维导图异常篇资源-CSDN文库https://download.csdn.net/download/m0_61589682/89238330 整体展示:

2023年工业园区水环境管理典型案例名单公布

案例申报咨询: 中华环保联合会水环境治理专业委员会 联 系 人:王小雅 联系电话:13718793867 联系邮箱:wxyacef-water.com.cn

分类预测 | Matlab实现POA-BP鹈鹕算法优化BP神经网络多特征分类预测

分类预测 | Matlab实现POA-BP鹈鹕算法优化BP神经网络多特征分类预测 目录 分类预测 | Matlab实现POA-BP鹈鹕算法优化BP神经网络多特征分类预测分类效果基本介绍程序设计参考资料 分类效果 基本介绍 1.Matlab实现POA-BP鹈鹕算法优化BP神经网络多特征分类预测(Matlab实…

Linux 第十三章

🐶博主主页:ᰔᩚ. 一怀明月ꦿ ❤️‍🔥专栏系列:线性代数,C初学者入门训练,题解C,C的使用文章,「初学」C,linux 🔥座右铭:“不要等到什么都没有了…

Crowd counting 系列NO.1—CSRNet

CSRNet:Dilated Convolutional Neural Networks for Understanding the Highly Congested Scenes 声明:博客是用latex写的,所以直接用图片来展示吧,效果是一样的。下载资源网上都很容易搜到,如需下载资源,请留言。

《ESP8266通信指南》9-TCP通信(Arudino开发)

往期 《ESP8266通信指南》8-连接WIFI(Arduino开发)(非常简单)-CSDN博客 《ESP8266通信指南》7-Arduino 开发8266的环境配置与示例代码烧录-CSDN博客 《ESP8266通信指南》6-创建TCP服务器(AT指令)-CSDN博…

C++:string 类

在C中定义一个 std::string 字符串可以采用以下几种方式: 1.使用字符串字面量初始化: std::string str "Hello, world!"; 2.使用构造函数初始化: std::string szStringB("Hello wolven"); 3.使用重复字符初始化&am…

UE4内存优化

内存查看命令​ 可以通过Stat MemoryPlatform查看对应的内存信息 Total Virtual虚拟内存的总量 Available Virtual可用的虚拟内存 Total Physical 物理内存的总量 Available Physical 可用物理内存总量 Peak Used Virtual 表示应用程序或游戏在运行过程中达到的虚拟内存使用峰…

android 分区存储(沙盒存储)适配总结

目录 一、分区存储概念 1.外部存储分类 2.分区存储如何影响文件访问 二、分区适配方案 1. 应用分区存储的文件访问规定 (1).应用专属目录--私有目录 (2).共享目录文件--公有目录 2.MediaStore API介绍 3.Storage Access Framework介绍 三、所有文件访问权限 四、总结…

十大USDT交易平台大全XEX交易所

USDT是一种基于比特币区块链网络的加密代币,主要运用于数字货币交易平台,以稳定币为主。USDT的核心价值在于其与真实货币的固定兑换比率1:1,所以被称为Tether。随着加密货币市场的不断壮大,越来越多的交易平台开始支持USDT&#x…