【藏经阁一起读】(72)__《Hologres 一站式实时数仓客户案例集》

news2024/11/23 2:44:03

【藏经阁一起读】(72)

__《Hologres 一站式实时数仓客户案例集》

目录

【藏经阁一起读】(72)

一、实时数仓概念

二、Hologres

三、Hologres 一站式实时数仓客户案例集

3.1、电商

3.1.1、实时数仓 Hologres 首次走进阿里淘特双 11 

3.1.2、淘菜菜 (一):基于 Flink 和 Hologres 的实时数仓架构升级之路 

3.1.3、阿里 CCO:基于 Hologres 的亿级明细 BI 探索分析实践 

3.1.4、Flink+Hologres 实时数仓在 Lazada 的建设及应用

3.1.5、金蝶管易云 X Hologres:新一代全渠道电商 ERP 最佳实践

3.1.6、Hologres RoaringBitmap 实践:千亿级画像数据秒级分析

3.2、游戏

3.2.1、37 手游云平台基于 Flink+Hologres 大数据建设实践 

3.2.2、Hologres X TapTap:毫秒级实时在线推荐

3.2.3、乐元素 X Hologres:一站式高性能游戏运营分析平台

3.3、物流

3.3.1、递四方 X Hologres:双 11 实时物流订单最佳实践

3.3.2、菜鸟裹裹万能查:小包裹数据的大革新

3.3.3、满帮多云环境下的实时计算实践和思考 

3.4、教育

3.4.1、新东方基于 Hologres 实时离线一体化数仓建设实践

3.4.2、替换 Kudu,Hologres 助力好未来网校实时数仓降本增效

3.5、广告

3.5.1、阿里妈妈 Dolphin 智能计算引擎基于 Flink+Hologres 实践

3.5.2、小迈科技 X Hologres:高可用的百亿级广告实时数仓建设

3.6、金融

3.6.1、诺亚财富 X Hologres : 统一 OLAP 分析引擎,全面打造金融数字化分析平台

四、个人体会


  本案例集收录电商/教育/游戏等6个行业共计17家客户,通过Hologres分析服务一体化架构,替换各类OLAP分析引擎与KV数据库,实现海量半结构化/结构化数据的实时写入、实时更新、实时分析。

一、实时数仓概念

实时数仓(Real-time Data Warehouse)

  实时数仓是指在数据到达时就能被处理和分析的数据仓库系统。通过实时数据流和处理技术建立的持续更新和查询的数据仓库。它可以捕获来自多个源的实时数据,使用流处理引擎快速、准确地处理海量数据(其实时处理、转换、聚合和存储),并实时向用户提供数据分析、预测、实时查询和实时决策等服务,帮助企业更好地应对市场竞争和变化。

  与传统数据仓库相比,实时数仓具有更高的数据处理速度和更快的数据更新速度。其架构采用流式计算和实时数据处理技术,基于实时数据流,能够支持实时数据流入、实时数据处理、实时数据存储和实时数据服务等功能。实时数仓可以更快地响应业务需求,这种架构能够使企业快速、准确地获取和分析实时数据,及时作出决策,增强企业的竞争优势和市场反应能力。

  大多数企业面临数据源多、结构复杂的问题,为了更好的管理数据和赋能价值,常常会在集团、部门内进行数仓建设。其中一般初期的数仓开发流程大致如下:获取数据源,进行数据清洗、扩维、加工,最终输出业务指标根据不同业务,重复进行上述流程开发,即烟囱式开发。可想而知,随着业务需求的不断增多,这种烟囱式的开发模式会暴露很多问题:代码耦合度高重复开发资源成本高监控难

数据源: 分为日志数据和业务数据两大类,包括结构化和非结构化数据。
数仓类型:根据及时性分为离线数仓和实时数仓技术栈: 
采集(Sqoop、Flume、CDC)
存储(Hive、Hbase、Mysql、Kafka、数据湖)
加工(Hive、Spark、Flink)
OLAP查询(Kylin、Clickhous、ES、Dorisdb、Hologres)等。

  3.0 时代的实时数仓,可以定义为一站式实时数仓。这个时候的实时数仓,不仅具有高吞吐写入与更新、端到端的全链路实时加工以及低延迟高并发在线服务能力,在保证数据一致的前提下,需要支持多种负载之间完备的隔离和弹性能力,以确保各个业务互不干扰,各自按需使用资源。
同时,实时数仓的使用通常离不开离线数仓的组合关系,通过离线平台对历史数据的周期性汇聚、抽象和加工,并将结果数据导入实时数仓进行丰富和修正,需要更有效地打通实时与离线两套系统,实现元数据和数据的无缝交换,这也是实时数仓落地时需要具备的能力。这种一站式体现在存储状态的一致性,减少了不同负载之间的数据同步和存储开销,避免了数据服务层的数据孤岛难题。

  实时数仓既不是传统数据库的旧瓶装新酒,也不是湖仓一体的多产品组合,它和离线数仓的本质区别是,通过对易变数据结构(包括内存结构、文件存储)和计算资源的细粒度灵活管控,更好地支撑数据的实时写入、实时更新、实时查询。

二、Hologres

Hologres

  Hologres 是两个英文单词的组合,即 Holographic+Postgres,Holographic 来源于物理学,Postgres 代表的是 PostgreSQL 生态。

  从物理学原理看,地球没有被黑洞吸进去,是因为有一个临界点,这个临界点所组成的面,被证明是一个球面,也叫世界面。与此同时,黑洞里所有信息在世界面上都有投影,即 3D 全息投影技术。Hologres 想做的事情是,通过产品化的能力对数据黑洞做全息展示。

  Hologres 支撑的业务的规模、复杂性和对效率的极致追求,实现了通过有些开源技术组合无法达成的数据价值目标。

  Hologres 的出现也就重新定义了实时数仓的形态。
  基于此,OLAP 查询和在线服务使用 Hologres,满足分析的灵活和效率,离线数仓使用MaxCompute,支撑规模性和 Serverless 扩展性,实时流式计算用 Flink,凸显端到端全实时加工,三者的结合让实时和离线计算,分析和服务都能达到一个非常好的平衡,满足业务的多种需求。

  为了简化数据存储和统一数据服务,阿里云提出了 HSAP 架构理论 (Hybrid Serving& Analytical Processing,后续简称 HSAP),而 Hologres 是实践 HSAP 目标的一个具体实现。
Hologres 的目标是,做分析服务一体化的实时数仓,

典型特征是

  存算分离的云原生架构、多负载隔离、端到端实时毫秒级的交互式分析体验、超高 QPS 的在线服务能力等。从应用场景来看,既可满足实时数仓的需求,也能对离线数据进行查询加速,同时还可实现实时与离线数据的联邦计算,为用户构筑全链路、精细化运营能力。

三、Hologres 一站式实时数仓客户案例集

3.1、电商

3.1.1、实时数仓 Hologres 首次走进阿里淘特双 11 

业务简介与面临的问题
  淘特(原淘宝特价版)定位为消费者带来低价且有质量的源头好货,目前仍然处于用户快速增长的阶段,其中三方线上广告投放具有规模效应大,行业成熟度高等特点,是平台用户引流的重要渠道。
  由于本次大促具有时间长与高爆发两个特点,在这个过程中,我们面临这这么几个问题:
∙ 流量低价获客:
∙ 极简营销玩法:
∙ 货商高效汰换

解决方案
  围绕淘特双 10&双 11,基于上述在流量投放优化、营销玩法多维分析,品商实时排序等面临的业务问题下,我们构建了一套基于实时数仓 Hologres 的统一数据服务系统,从流量、玩法、货品全方面监控数据,支持业务在大促期间的精细化运营诉求.

挑战与优化:

  实时离线的数据存在一定 GAP,在多日的周期下,差异累积放大,导致影响业务的决策判断,另一方面大促期间人力开发资源紧张,如果用离线数据进行覆盖,成本额外增加一倍。在此背景下,引入了流批一体的技术方案,使用 Hologres 进行统一存储与计算,并且通过 Blink Batch 实现了实时离线共用同一套代码,计算逻辑统一,大幅度降低了重复开发与后续运维成本。

  数据同学只需要加工最明细数据,便能通过 Hologres 构建灵活多维的查询应用,整体的研发效率提升在 40%以上(单场景平均 5 人日下降至 3 人日),同时部分原本需要由在线 Blink 作业的数据计算,转变为了查询时再计算的模式,整体计算资源预计有 20%左右的减少。


3.1.2、淘菜菜 (一):基于 Flink 和 Hologres 的实时数仓架构升级之路 

发展历程:从数据库到高可用实时数仓
为了支持淘菜菜丰富的业务需求,其背后的技术发展历经了最初的零售通原始数据库架构、零售通传统 lambda 架构、Hologres 实时数仓、Hologres 高可用实时数仓这 4 个阶段。
阶段 1:16 年之前原始架构- jstorm 阶段
阶段 2:16-20 年传统架构 -FlinkSQL 阶段
阶段 3:20 年实时数仓 - Flink+Hologres 阶段
阶段 4:21 年高可用实时数仓-Flink+Hologres 读写分离部署

第一次架构升级:传统架构替换为 Flink+Hologres 实时数仓 1.0
第二次架构升级:Flink+Hologres 高可用实时数仓 2

3.1.3、阿里 CCO:基于 Hologres 的亿级明细 BI 探索分析实践 

CCO 数据洞察产品基于 Hologres 在 BI 查询场景的最佳实
阶段一:预计算聚合 Cube(MOLAP)+ADB 加速查
阶段二:实体 ID 轻度汇总事实表+维度表关联
阶段三:基于 Hologres明细宽表的即席查询


三种方案对比:

3.1.4、Flink+Hologres 实时数仓在 Lazada 的建设及应用

Flink+Hologres 实时数仓在 Lazada 的建设及应用

LAB 平台实验的数据流加工过程


3.1.5、金蝶管易云 X Hologres:新一代全渠道电商 ERP 最佳实践

  金蝶管易云在拥有巨大用户量的同时,管易云 ERP 系统也面临海量的数据分析和极速探索需求,从而帮助企业实现更加高速的业务增长。而由于之前的技术方案限制,导致我们对外提供的技术解决方案无法有效响应业务需求,业务稳定性也备受调整,于是造成企业无法充分利用数据的价值提供更好的业务支持,反而 IaaS 成本支出成为了的主要开销。

  迫于这些痛点,在原先的基础上,将底层的数据库升级成了实时数仓技术 DataWorks
+Hologres+Flink,助力企业数据查询秒级响应,业务需求变得更加敏捷,月 IaaS 费用节省了 50%

3.1.6、Hologres RoaringBitmap 实践:千亿级画像数据秒级分析

从技术方案角度看,一些可以实现的画像分析的方案和其缺点

  Hologres 原生支持 RoaringBitmap 数据结构,特别适合大数据量级下的交并差运算,并且在画像分析的场景天然适合,因此我们最后选择了 RoaringBitmap 方案。虽然 RoaringBitmap 会带来额外的处理和优化步骤、索引构建过程,这可能会带来一定的初期成本上升。然而,如果场景中数据更新不是那么频繁,数据量级也在可控范围内,这一成本上升在可接受范围。而且使用 RoaringBitmap 带来的效率提升非常明显,最终还是选择使用这一方案进行标签和人群加速。

  基于 Bitmap 的画像分析,75%的的比例在 10 秒之内可以出结果,个别由于数量级过大(例如几十亿人群规模,以及一些复杂的标签) 会有一些长耗时的执行。

  统计运营常用的 10 个标签,可以看到 Bitmap 的平均耗时对比 maxCompute 耗时缩短了至少 2 倍的时间,最高能提升 20

  通过 Hologres RoaringBitmap 的功能,我们技术平台实现了从原来的分钟级画像计算,到千亿级人群画像秒级分析体验,帮助业务查询效率提升几十倍,也进一步节约了计算资源。


3.2、游戏

3.2.1、37 手游云平台基于 Flink+Hologres 大数据建设实践 

云平台整体设计方案

  • 第一条链路是实时流,从 Kafka 过来,经过实时计算,实时计算之后会落到 Hologres。但是有一些场景需要扩展维度,实时计算时会用到配置表,是在 Hologres 基于行存来存储的配置表,通过点查的能力,把配置信息取出来做实时关联,最终落到 Hologres。
  • 第二条链路,可能也是大家常用的(传统的数据库还是要保留),我们会把传统的MySQL 数据库通过 DataWorks 数据集成同步到 Hologres。
  • 最后一条链路是离线的,Kafka 数据通过 DataWorks 写到 MaxCompute,写完之后会在 MaxCompute 每天定时跑任务来修整第一条线的实时数据,也就是做一个离线的修正。另外我们会把 MaxCompute 里画像数据推到另外两个组件。这里说明一下,这两个组件是为了考虑到双云部署,所以我们考虑到开源的组件,StarRocks 和HBase,这两块主要是用在画像上。
  • 最后一层是用到 Quick BI 做展示,包括用户画像也是基于 StarRocks 和 HBase 做一个查询。

  • 上面是实时数仓,可以看到主要来源于两个地方,一个是 MySQL,一个是 Kafka。两块数据是通过 Flink 落到 Hologres,从 DWD 到 DWS 再到 ADS 逐层清洗,最终落到 Hologres。
  • 下面是离线数仓,通过 MySQL、Kafka 落到 MaxCompute,在 MaxCompute 逐步分层,最终落到 Hologres,离线这一层会修正实时的数据

3.2.2、Hologres X TapTap:毫秒级实时在线推荐

1. 业务痛点:业务增长缓慢,急需大数据技术反哺
2. 解决方案:大数据技术架构升级,促进业务实时化、数智化
3. 高可用部署保障在线服务读写分离
4. 业务价值:推荐业务成为 TapTap 游戏分发最大来

3.2.3、乐元素 X Hologres:一站式高性能游戏运营分析平台

   乐元素面对多款 DAU 超千万的热门游戏产品,每天产生海量的游戏日志数据,如何通过数据运营获引起家对兴趣,提升游戏体验,降低用户流失成为决定游戏产品成败的关键。

  然而数据规模巨大、分析模式复杂,对游戏业务的运营分析数据产品形成了巨大的挑战。

  一方面手游产品迭代速度快、平均生命周期短,市场、运营需要快速的对玩家动态做出判断,这要求数据流转速度必须要快;另一方面,产品、用户、营销运营关注多数据面广,既需要通过宏观数据了解产品健康状况,有需要通过多种微观数据溯源问题原因,要求数据产品需要提供高灵活性的计算能力。

  基于此背景,乐元素数仓团队升级技术架构,通过阿里云 Hologres 替换开源 Hive+Presto 架构,支持运营分析更加高效、实时,显著提升运营效率,进一步辅助业务精细化运营


3.3、物流

3.3.1、递四方 X Hologres:双 11 实时物流订单最佳实践

递四方会选择 Hologres 的原因是通过调研发现它有几个特点,比较适合实际情况。

  • 第一是 Hologres 的实时能力,满足目前递四方的实时数仓需求,支持百亿级表与亿级表之间的 JOIN,秒级查询响应,还支持实时写入、批量数据导入,拥有超高导入性能,且并发能力极强。
  • 第二是 Hologres 采用存储计算分离架构,数据存储在阿里云分布式文件系统 pangu中(类比开源 HDFS),方便按需单独扩展计算或者存储。对快速行业来说,大促和日常所需要资源不一样,能够快速扩缩容,满足业务的动态需求。同时 Hologres 支持异构 数 据 源 交 互 分 析 以 及 离 线 数 据 和 实 时 数 据 的 联 邦 查 询 , Hologres 已 经 和MaxCompute 无缝打通,能够直接在 Hologres 中加速查询 MaxCompute 离线表。
  • 第三是维护成本低、运行稳定,Hologres 作为实时数仓存储成本大约是 ADB 的 1/3。资源灵活性高,可以像 MaxCompute 一样灵活的升降配置,与阿里云大数据组件兼容性高,能降低运维成本和提高研发效能,不会对技术架构带来很大负担。

 Flink+Hologres 组合作为实时数仓

3.3.2、菜鸟裹裹万能查:小包裹数据的大革新

  菜鸟裹裹基于 Hologres 构建万能查产品的最佳实践。

  智能化履约过程及不断精益化的业务系统,菜鸟裹裹团队急需一套一体化的数据产品,能够智能化、专业化、高效化的解决日常遇到的数据问题与需求,并在日常的数据监控与效果分析的过程中,用数据影响业务决策。

1) 业务日益增长的数据需要和不平衡不充分的数据服务发展之间的矛盾
2) 在降本增效大背景下的人效匹配问题

万能查产品构想
  通过目前现有的数据支撑能力,依赖 Hologres 引擎,将裹裹寄件常用且稳定的维度和指标封装于万能查中。用户可根据自己的需求筛选字段,定制化自己的报表,快速自助完成运营数据分析。

3.3.3、满帮多云环境下的实时计算实践和思考 

  基于实时基础数据,为了做出实时的智能决策,应该如何去抽象整个公司实时数仓的建设?
物流本身是一个强 LBS 位置关系的应用场景,它和电商不一样,物流更重车和货。所以在构建实时数仓的时候,满帮以位置维度为核心,在各个维度下面的数据,把位置信息给加上去,可以做更好的关联。必要的时候还会做成一张大宽表。

  在做实时数据的时候,更多的是去想如何快速的赋能业务,去做实时智能的决策,提高整个公司的决策效率和效果。车货匹配、决策定价,调度决策、供需监控,客服决策,这些都是需要实时赋能业务的。
  在实时数仓和实时智能决策平台这两层,很多公司都是靠数据解决方案的同学去赋能业务,但是满帮想用更高的人效来服务业务,所以在中间还抽象了一层叫做实时供需引擎。
  实时供需引擎的作为包括:

  • 本质抽象:把决策的本质,对于实时数据本质的诉求抽象出来。
  • 价值度量:推导实时数据对业务的价值是什么样的。
  • 价值挖掘:作为数仓和业务之间的一个联动方,在这里面去挖掘更多价值,比如基于实时行为的预测,基于风控的管理。满帮在实时数仓里面的建设,实际上是进行两层推导的。第一层从左到右是产出实时数仓,从右到左是产生实时的供需引擎。


3.4、教育

3.4.1、新东方基于 Hologres 实时离线一体化数仓建设实践

产品Ad- hoc 查 询高并发支持 (QPS)SQL 支持T P ( 交 易)支持与 MaxCompute /Flink 集成文 档 和 技 术 支 持
ClickH ouse 20.1支 持 P B 级 以 上默认支持 10 0 的 并 发 查 询,qps 取决 于单个查询 的响应时间单 表 查 询 支 持 较 好 , 复 杂 报 表 查 询 支持较弱通 过 m utation 支持 up date, 较弱支持文 档 丰 富 , 社 区 支 持 较好
Doris 0.9支 持 P B 级 以 上数百兼容 MyS QL不支持通过兼容 MySQL 与 MaxCompute 集成,与 Flink 的 集成 不明确文 档 和 社 区 都 较差
Hologr es 1.1支 持 P B 级 以 上数万以上兼容 Post greSQLDDL 支 持与 MaxCompute 直接在存储层集 成,并且都兼容 P ostgreSQL,提供 Flink Connector 集成阿 里 在 线 文 档 和 技 术 支持
T i d b 4 . x (含Tif lash)支 持 P B 级 以 上数万以上兼容 MySQL支持支持文 档 丰 富 , 社 区 支 持 较好
Elastic Searc h 7.x支 持 P B 级 以 上数万以上不 支 持 标 准 SQL不支持支持与 MaxCom pute 集成,Flink Connector 只支 持 Sourc文 档 丰 富 , 社 区 支 持 较好

  从以上的表格能看出,Tidb 和 Hologres 可以较好地解决新东方在大数据方面面临的问题。但是 Tidb 需要私有云部署并运维,而 MaxCompute 部署在公有云,两者在不同的云环境。

  Hologres 是阿里云提供的云原生服务,并与 MaxCompute 都部署在公有云,且在 Pangu 文件层紧密集成,数据交换效率远高于其他外部系统,两者都兼容 PostgreSQL,从离线数据仓库开发迁移到实时数据仓库开发难度降低。

  基于以上的分析,选择 Hologres 作为实时数仓。


3.4.2、替换 Kudu,Hologres 助力好未来网校实时数仓降本增效

Hologres 全面替换 Kudu 作为主 OLAP 引擎
  选择了 Hologres 作为实时数仓的主 OLAP 引擎之后,通过 Hologres 替换了 Kudu 的所有数据处理链路,同时也通过 Hologres 读写分离部署的方式,以只读从实例(简称从库)替换了原 PolarDB/MySQL 等查询引擎,以此构成了实时数仓 2.0。

  数据链路如下:

  • 数据分为离线和实时两部分。离线部分数据源数据通过集团采集工具 T-Collect 接入Hologres ODS 层,实时部分通过 Flink 实时接入 MySQL Binlog、埋点日志等数据入替换 Kudu,Hologres 仓。
  • 在 Hologres 中对数仓分为 ODS、DWD、DWS、ADS 等 4 层,每一层的数据通过集团T-Data 平台分钟级调度、清洗,并最后由 Hologres 从库提供线上服务出口。
  • 实时和离线数据统一由 Hologres 存储,并由从库作为查询引擎统一提供线上数据出口,支撑的业务场景包括实时看板、实时大屏、实时接口服务、实时推送等场景。


3.5、广告

3.5.1、阿里妈妈 Dolphin 智能计算引擎基于 Flink+Hologres 实践

选择 Flink+Hologres 这套架构主要来源于对底层引擎的强需求:
1) 高性能
广告场景对延迟有着很敏感的要求,如果底层引擎的性能不足,即使上层应用再做优化,也会导致计算性能大打折扣,从而导致广告投放等不精准。
2) 可扩展
底层引擎需要足够的可扩展,这样上层应用才能更加灵活的去承接新的业务、新的场景,应对业务高低峰期等情况

3.5.2、小迈科技 X Hologres:高可用的百亿级广告实时数仓建设

  通过 Hologres+Flink+MaxCompute 搭建的流批一体实时数仓平台,支撑了小迈多个应用场场景,包括监控大盘,DMP 人群等智能投放,财务分析等。

显著的业务收益有:

  • 上层服务共享数据

  数据共享之后就由平台统一对外输出服务,各个业务线无需自行重复开发,就能快速得到平台提供的数据支撑,减少了数据孤岛。

  • 亿级复杂查询秒级响应

  通过 Hologres 自身的优秀查询性能,再配合建表和 SQL 的优化手段,大大提高了报表的响应速度,即使是用户画像、行为分析等亿级大表复杂关联查询也能很快出结果,得到了业务的认可。

  • 系统读写分离稳定性强

  通过 Hologres 共享存储实例部署的方式,让业务实现了读写分离,同时也只用了一份存储,既保证了系统的稳定性,同时也不会带来额外的成本压力。

3.6、金融

3.6.1、诺亚财富 X Hologres : 统一 OLAP 分析引擎,全面打造金融数字化分析平台

根据业务需求评估了四个维度:

自建 CDH 迁移上云,Hologres 助力统一 OLAP 分析

  整个数据中台依托于 DataWorks,离线部分在 MaxCompute 中进行,通过 DataWorks的数据同步模块把离线部分同步到 MaxCompute 和实时部分同步到 Hologres,然后利用 Flink 的把神策埋点的 Kafka 数据清洗同步到 Hologres 中,同时也通过 Hologres 的外表把 MaxCompute 的数据迁移到 Hologres 中,保证统一 OLAP 分析引擎。

四、个人体会

  通过阅读这本《Hologres 一站式实时数仓客户案例集》,我对Hologres有了更深入的了解,每个行业都有其独特的需求和挑战,Hologres以其强大一站式实时数据仓库引擎,支持海量数据实时写入、实时更新、实时分析,与MaxCompute、Flink、DataWorks 深度融合,提供离在线一体化全栈数仓解决方案,广泛应用在实时数据中台建设、精细化分析、自助式分析、营销画像、人群圈选、实时风控等场景,为案例企业提供了个性化的解决方案,帮助它们在激烈的竞争中保持优势。

  随着 Hologres 云原生引擎的诞生,我们已经可以窥到湖仓一体可能的实现和使用方式,并以此支撑异构多元智能计算。

  未来有希望能够利用 Hologres 服务与分析一体化的能力,并结合 AI 处理,在一个平台、一个组件上快速完成数据加工,将业务价值通过技术平台高效释放。

案例企业选择了阿里云 Hologres 作为解决方案,一般都是有几个特点比较符合案例的业务需求:

  •  分布式系统:原生的分布式系统,自研存储引擎和计算引擎,可以实现数据的高性能写入、更新以及高并发的查询,且查询效率高。
  •  易扩展:天然的存储计算分离架构,可以根据业务需求动态增加存储和计算能力,满足电商业务的高低峰流量属性,也减少成本压力。
  •  高安全性:数据存储在 Pangu 分布式系统,天然具备 3 副本,同时 Hologres 本身也支持数据脱敏、IP 白名单等安全能力,提高了数据的访问性能和可用性。
  •  高度的隔离性:有共享存储的资源隔离方案,这样就能满足我们不同业务、不同场景的隔离需求,提升系统的稳定性

  利用 Hologres 的 OLAP 查询能力,能够在大促当天支持业务做实时分析,业务可以根据业务诉求,比如目标人群覆盖不够,GMV 达成不足时,就能在极短时间内进行快速查询与分析,然后做下一步的运营策略,如圈选优惠券发放的目标人群,同时也能实时检测流量、权益等数据,方便运营动态调整策略

  通过 Hologres+Flink+MaxCompute 搭建的流批一体实时数仓平台,可以支撑多个应用场场景,包括监控大盘,DMP 人群等智能投放,财务分析等。

  利用 Hologres RoaringBitmap 能力,实现更快更准的画像分析。

  Hologres 在不同行业中有着广泛应用和巨大潜力。

            推荐阅读:

大数据的关键技术之——大数据采集
[你找到牵手一辈子的人了吗?] 七夕情人节特辑
数字技术能让古籍“活过来”吗?
心情不好时,帮自己训练个AI情绪鼓励师吧(基于PALM 2.0 finetune)
深度学习框架TensorFlow
人工智能开发人员工作流程、看法、工具统计数据
2023 年6月开发者调查统计结果——最流行的技术(2)
2023 年6月开发者调查统计结果——最流行的技术(1)
让Ai帮我们画个粽子,它会画成什么样呢?

9e598365ba5344e282453e71a676a056.jpeg​​​

b9b9f2b9374646798ca554110a498cda.jpeg​​​

23f61e3eac99458296be0fedea10019e.jpeg​​​

给照片换底色(python+opencv)猫十二分类基于大模型的虚拟数字人__虚拟主播实例

bfa502b957c247a7872d7e645d4c6f03.jpeg​​​

2f073e39924e42d2b33221f4262dcc1d.jpeg​​​

9d7e2b6a00aa45fd82291f0d5f9eea7e.jpeg​​​

计算机视觉__基本图像操作(显示、读取、保存)直方图(颜色直方图、灰度直方图)直方图均衡化(调节图像亮度、对比度)

01bfb23f2f894ee0b0164f52e57bbbbc.png​​​

47c92d6cf9fe4d279a142480a4340a0d.png​​​

1620a2a7b0914c42b3a8254e94269a79.png​​​

 语音识别实战(python代码)(一)

 人工智能基础篇

 计算机视觉基础__图像特征

93d65dbd09604c4a8ed2c01df0eebc38.png​​​

 matplotlib 自带绘图样式效果展示速查(28种,全)

074cd3c255224c5aa21ff18fdc25053c.png​​​

Three.js实例详解___旋转的精灵女孩(附完整代码和资源)(一)

fe88b78e78694570bf2d850ce83b1f69.png​​​

62e23c3c439f42a1badcd78f02092ed0.png​​​

cb4b0d4015404390a7b673a2984d676a.png​​​

立体多层玫瑰绘图源码__玫瑰花python 绘图源码集锦

 Python 3D可视化(一)

 让你的作品更出色——词云Word Cloud的制作方法(基于python,WordCloud,stylecloud)

e84d6708316941d49a79ddd4f7fe5b27.png​​​

938bc5a8bb454a41bfe0d4185da845dc.jpeg​​​

0a4256d5e96d4624bdca36433237080b.png​​​

 python Format()函数的用法___实例详解(一)(全,例多)___各种格式化替换,format对齐打印

 用代码写出浪漫__合集(python、matplotlib、Matlab、java绘制爱心、玫瑰花、前端特效玫瑰、爱心)

python爱心源代码集锦(18款)

dc8796ddccbf4aec98ac5d3e09001348.jpeg​​​

0f09e73712d149ff90f0048a096596c6.png​​​

40e8b4631e2b486bab2a4ebb5bc9f410.png​​​

 Python中Print()函数的用法___实例详解(全,例多)

 Python函数方法实例详解全集(更新中...)

 《 Python List 列表全实例详解系列(一)》__系列总目录、列表概念

09e08f86f127431cbfdfe395aa2f8bc9.png​​​

6d64357a42714dab844bf17483d817c0.png​​​

用代码过中秋,python海龟月饼你要不要尝一口?

 python练习题目录

03ed644f9b1d411ba41c59e0a5bdcc61.png​​​

daecd7067e7c45abb875fc7a1a469f23.png​​​

17b403c4307c4141b8544d02f95ea06c.png​​​

草莓熊python turtle绘图(风车版)附源代码

 ​草莓熊python turtle绘图代码(玫瑰花版)附源代码

 ​草莓熊python绘图(春节版,圣诞倒数雪花版)附源代码

4d9032c9cdf54f5f9193e45e4532898c.png​​​

c5feeb25880d49c085b808bf4e041c86.png​​​

 巴斯光年python turtle绘图__附源代码

皮卡丘python turtle海龟绘图(电力球版)附源代码

80007dbf51944725bf9cf4cfc75c5a13.png​​​

1ab685d264ed4ae5b510dc7fbd0d1e55.jpeg​​​

1750390dd9da4b39938a23ab447c6fb6.jpeg​​​

 Node.js (v19.1.0npm 8.19.3) vue.js安装配置教程(超详细)

 色彩颜色对照表(一)(16进制、RGB、CMYK、HSV、中英文名)

2023年4月多家权威机构____编程语言排行榜__薪酬状况

aa17177aec9b4e5eb19b5d9675302de8.png​​​​

38266b5036414624875447abd5311e4d.png​​​

6824ba7870344be68efb5c5f4e1dbbcf.png​​​

 手机屏幕坏了____怎么把里面的资料导出(18种方法)

【CSDN云IDE】个人使用体验和建议(含超详细操作教程)(python、webGL方向)

 查看jdk安装路径,在windows上实现多个java jdk的共存解决办法,安装java19后终端乱码的解决

1408dd16a76947e4a7eb3c54cd570d95.png​​​

vue3 项目搭建教程(基于create-vue,vite,Vite + Vue)

fea225cb9ec14b60b2d1b797dd8278a2.png​​​

bba02a1c4617422c9fbccbf5325850d9.png​​​

37d6aa3e03e241fa8db72ccdfb8f716b.png​​​

2023年春节祝福第二弹——送你一只守护兔,让它温暖每一个你【html5 css3】画会动的小兔子,炫酷充电,字体特

 别具一格,原创唯美浪漫情人节表白专辑,(复制就可用)(html5,css3,svg)表白爱心代码(4套)

SVG实例详解系列(一)(svg概述、位图和矢量图区别(图解)、SVG应用实例)

5d409c8f397a45c986ca2af7b7e725c9.png​​​

6176c4061c72430eb100750af6fc4d0e.png​​​

1f53fb9c6e8b4482813326affe6a82ff.png​​​

【程序人生】卡塔尔世界杯元素python海龟绘图(附源代码),世界杯主题前端特效5个(附源码)HTML+CSS+svg绘制精美彩色闪灯圣诞树,HTML+CSS+Js实时新年时间倒数倒计时(附源代码)

 2023春节祝福系列第一弹(上)(放飞祈福孔明灯,祝福大家身体健康)(附完整源代码及资源免费下载)

fffa2098008b4dc68c00a172f67c538d.png​​​

5218ac5338014f389c21bdf1bfa1c599.png​​​

c6374d75c29942f2aa577ce9c5c2e12b.png​​​

 tomcat11、tomcat10 安装配置(Windows环境)(详细图文)

 Tomcat端口配置(详细)

 Tomcat 启动闪退问题解决集(八大类详细)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1092310.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

BUUCTF jarvisoj_level0 1

目录 一、分析二、EXP三、本地打不通?远程能打通? 一、分析 查看文件信息 关键信息 64位程序栈不可执行 IDA64反汇编 进入第一个函数 栈溢出 shift F12查找字符串 点进去 发现是一个后门函数 二、EXP from pwn import *context.arch amd64 #…

Godot 单元测试

前言 单元测试是我们常用的功能,Godot作为一个游戏,单元测试和热重载是我们常用的功能。这里我们讲解最简单的单元测试的情况。 Godot 配置 我们添加一个最简单的节点,挂载一个最简单的脚本。 添加测试方法(只能是静态方法&…

Flex 词法分析实验实现(电子科技大学编译技术Icoding实验)

Flex 词法分析 此为电子科技大学编译技术 实验1:词法分析 将具体实现中的三个文件和自己的实验报告一起上传才能通过 根据词法分析实验中给定的文法,利用 flex 设计一词法分析器,该分析器从标准输入读入源代码后,输出单词的类别编…

Linux线程同步实例

线程同步实例 1. 生产消费者模型基本概念2. 基于BlockingQueue的生产者消费者模型3. 基于环形队列的生产消费模型4. 线程池 1. 生产消费者模型基本概念 生产者消费者模型是一种常用的并发设计模式,它可以解决生产者和消费者之间的速度不匹配、解耦、异步等问题。生…

Vue 绑定style和class

在应用界面中,某些元素的样式是动态的。class 与 style 绑定就是专门用来实现动态样式效果的技术。 如果需要动态绑定 class 或 style 样式,可以使用 v-bind 绑定。 绑定 class 样式【字符串写法】 适用于:类名不确定,需要动态指…

Stm32_标准库_8_ADC_光敏热敏传感器_测数值

在测量光敏传感器数值得基础上手动将通道改成热敏传感器通道即可 由于温度传感器的测量范围是-20 ~ 105摄氏度,所以输出温度得考虑带上符号这就需要在原有输出光照强度代码的基础上新添加几个函数 函数1: uint16_t AD_Getvailue(uint8_t ADC_Channel){…

六、DHCP实验

拓扑图: DHCP协议,给定一个ip范围使其自动给终端分配IP,提高了IP分配的效率 首先对PC设备选择DHCP分配ip 首先先对路由器的下端配置网关的ip 创建地址池,通过globle的方式实现DHCP ip pool 地址池名称 之后设置地址池的网关地址…

最大数【贪心3】

题目 分析 代码 class Solution { public:string largestNumber(vector<int>& nums) {vector<string> str;for(auto & x : nums){str.push_back(to_string(x));}sort(str.begin(),str.end(),[](const string& s1,const string& s2){return s1 s…

【JavaEE】_servlet程序的编写方法

目录 1. 创建项目 2. 引入依赖 3. 创建目录结构 3.1 在main目录下创建一个webapp目录 3.2 在webapp目录下创建一个WEB-INF目录 3.3 在WEB-INF目录下创建一个web.xml文件 3.4 在web.xml中进行代码编写 4. 编写代码 4.1 在java目录下创建类 4.2 打印"hello world&…

亚马逊测评安全吗?

测评可以说是卖家非常宝贵的财富&#xff0c;通过测评和广告相结合&#xff0c;可以快速有效的提升店铺的产品销量&#xff0c;提高转化&#xff0c;提升listing权重&#xff0c;但现在很多卖家找真人测评补单后店铺出现问题导致大家对测评的安全性感到担忧&#xff0c;因为真人…

基于php+thinphp+vue的商品购物商城网站

运行环境 开发语言&#xff1a;PHP 数据库:MYSQL数据库 使用框架:ThinkPHPvue 开发工具:VScode/Dreamweaver/PhpStorm等均可 项目简介 基于tpvue的商品定制交易网站实现前台与后台&#xff0c;用户前台&#xff1b;首页、商品信息、我的收藏、留言板、个人中心、后台管理、管…

【c语言】迷宫游戏

之前想写的迷宫游戏今天终于大功告成&#xff0c;解决了随机生成迷宫地图的问题&#xff0c;使用的是深度优先算法递归版本&#xff0c;之前的迷宫找通路问题用的是深度优先算法的非递归实现.之前写过推箱子&#xff0c;推箱子用到了人物的移动&#xff0c;以及碰到墙就不会走&…

如何解决网站被攻击的问题

在当今数字化时代&#xff0c;网站攻击已经成为互联网上的一个常见问题。这些攻击可能会导致数据泄漏、服务中断和用户信息安全问题。然而&#xff0c;我们可以采取一些简单的措施来解决这些问题&#xff0c;以确保网站的安全性和可用性。 使用强密码和多因素认证 密码是保护网…

今年这情况,还能不能选计算机了?

在知乎上看到一个有意思的问题&#xff0c;是劝退计算机的。 主要观点&#xff1a; 计算机从业人员众多加班&#xff0c;甚至需要99635岁危机秃头 综上所属&#xff0c;计算机不仅卷&#xff0c;而且还是一个高危职业呀&#xff0c;可别来干了。 关于卷 近两年确实能明显感觉…

【论文解读】单目3D目标检测 MonoCon(AAAI2022)

本文分享单目3D目标检测&#xff0c;MonoCon模型的论文解读&#xff0c;了解它的设计思路&#xff0c;论文核心观点&#xff0c;模型结构&#xff0c;以及效果和性能。 目录 一、MonoCon简介 二、论文核心观点 三、模型框架 四、模型预测信息与3D框联系 五、损失函数 六、…

CScrollBar 滚动条

1、水平滚动条、垂直滚动条&#xff1b;滚动条中有一个滚动快&#xff0c;用于表示“当前滚动的位置” 2、 3、处理滚动条消息&#xff1a;水平滚动条响应OnHScroll函数&#xff0c;竖直滚动条响应OnVScroll函数。一般在函数中必须经过一下步骤&#xff1a; 1。得到滚动…

【数据结构】二叉树--OJ练习题

目录 1 单值二叉树 2 相同的树 3 另一颗树的子树 4 二叉树的前序遍历 5 二叉树的最大深度 6 对称二叉树 7 二叉树遍历 1 单值二叉树 965. 单值二叉树 - 力扣&#xff08;LeetCode&#xff09; bool isUnivalTree(struct TreeNode* root) {if (root NULL){return true;}…

屏幕亮度调节保护您的眼睛

官方下载地址&#xff1a; 安果移动 视频演示&#xff1a;屏幕亮度调节-保护您的眼睛_哔哩哔哩_bilibili 嗨&#xff0c;亲爱的用户&#xff0c;你是否有过这样的体验&#xff1a;夜晚安静的时刻&#xff0c;想要在抖音上看看热门的舞蹈、在快手上发现生活的 趣味、或是在哔…

[MoeCTF 2023] web题解

文章目录 webhttpcookie彼岸的flagmoe图床大海捞针夺命十三枪 web http 连接到本地后&#xff0c;题目给了我们任务 第一个是要求我们GET传参UwUu第二个是要求我们POST传参Luvu第三个是要求我们cookie值为admin第四个是要求我们来自127.0.0.1第五个是要求我们用MoeBrowser浏…

Spring framework Day14:配置类的Lite模式和Full模式

前言 Lite模式和Full模式是指在软件或系统中的不同配置选项。一般来说&#xff0c;Lite模式是指较为简洁、轻量级的配置&#xff0c;而Full模式则是指更加完整、功能更丰富的配置。 Lite模式通常会去除一些不常用或占用资源较多的功能&#xff0c;以提高系统的运行效率和响应…