上周六,StarRocks & Friends 活动在羊城广州成功举行,社区的小伙伴齐聚一堂,共同探讨了 StarRocks 在业界的应用实践和湖仓一体等热门话题。
本文总结了技术交流活动的关键内容和视频资料,感谢社区每一位小伙伴的支持和参与,未来我们也会继续与大家分享更多优质的内容!
StarRocks & Friends 广州站精彩回顾
议题一:StarRocks 湖仓一体简介
讲师简介:郑志铨,StarRocks Active Contributor
StarRocks 3.0 产品能力全面升级,提供湖仓一体的数据分析能力,兼具数据湖与数据仓库的优势,能够更好地满足大数据时代对数据处理和分析的需求。
基于 StarRocks 3.0,用户可以将数据导入到 StarRocks 获得极速的分析性能,也可以采用 StarRocks 直接分析 Hive、Iceberg、Hudi 数据湖上的数据,免去 ETL 数据准备的负担,StarRocks 直接查询数据湖相比 Presto/Trino 能获得 3 倍以上的性能提升,开启 Local cache 情况下可以获得 6 倍以上性能提升;如果性能还不满足要求,可以基于数据湖上的表建立物化视图,借助 StarRocks 内表极致的查询性能加速。
当前多个社区用户已经在真实业务场景使用 StarRocks 湖仓一体架构,获得极致分析性能的同时,让数据的 Pipeline 更加简单。
StarRocks湖仓一体简介_哔哩哔哩_bilibili
议题二:StarRocks 在华润实时业务场景的应用实践
讲师简介:刘伟 华润数科技术总监
随着业务的不断发展和对数据实时性要求的提高,华润原有的 MPP 架构面临多方面的问题,如查询性能不足、高并发查询困难、离线数据同步不满足实时要求、难以实现增量数据聚合计算等。为了解决这些问题,选择了StarRocks& Flink CDC 构建开源实时数仓方案。
在一年多的使用中,StarRocks 在经销商系统、客户订单系统、云平台监控、供销存离线及实时报表、营销平台实时报表、一掌通实时战报等场景中均表现出色,整体的查询性能提高了 10+ 倍以上。
未来,StarRocks 在华润会去承载更多的业务场景,基于 StarRocks 构建极速统一的数据分析体系,减少 OLAP 场景多套技术栈带来的维护成本。
StarRocks 在华润实时业务场景的应用实践_哔哩哔哩_bilibili
议题三:StarRocks 在网易邮箱数仓中的深入应用
讲师简介:黄贤康 网易邮箱资深数据开发工程师
经过 2 年多的努力,网易邮箱 TDM 数仓建设基本完成,目前有实时和离线两个 StarRocks 集群,互为镜像,负责离线和实时数据应用场景。涵盖了用户、设备、风控、行为、营销等多个业务领域的约数十个数据维度。单表数据量超10亿,日均处理查询请求 300W+,平均响应时间实时集群为 30ms,离线集群为 10s。
随着 TDM 标签数据应用场景的丰富,StarRocks 集群不仅需要处理来自数据分析端的复杂离线查询请求,还需应对后端业务的高频实时查询。多种业务共用一个集群容易导致资源竞争,为此,邮箱引入了 StarRocks 存算分离功能,有效地解决了不同业务间资源硬隔离的问题,并极大地提升了整个邮箱数仓的数据交互能力。
未来,网易邮箱将继续关注 StarRocks 湖仓一体化、简化和加速数据湖分析等方案,以应对业务领域拓展可能带来的不同的数据分析模式。
StarRocks 在网易邮箱数仓的中的深入应用_哔哩哔哩_bilibili
议题四:数势科技利用 StarRocks 打造轻量级数据资产平台
讲师简介:伍攀 数势科技大数据技术部负责人
StarRocks 拥有强大的生态能力,可以轻松接入各种数据源,快速构建实时分析平台。借助 StarRocks 生态和产品功能封装,数势科技成功将其应用于多种业务场景,包括指标平台、标签平台和统一查询服务等,从而极大地简化了数据接入成本。
以下是利用 StarRocks 构建的不同业务场景:
-
指标平台构建:通过对指标定义和数据的统一管理,构建统一的指标语义层,实现指标的快速灵活应用,保证指标在各处应用中的口径和数据的一致性,解决指标重复开发、口径不一致、开发响应周期长等一系列问题
-
标签平台构建:围绕标签体系管理、多类型标签加工能力(规则、函数、模型等)、标签生命周期管理、标签价值评估,支持业务人员通过简洁的功能操作,多标签组合条件圈人,极大程度提高圈人的灵活性、易用性,减少了业务侧对定制化圈人需求的依赖。
-
统一查询服务构建:通过打造统一服务平台,专注于简化配置生成统一数据服务能力。提供导航式和 SQL 式服务配置,能够快速实现基于 Rest 和 TCP 的数据服务,满足各种数据应用需求的快速实现。
上述应用场景充分展示了 StarRocks 强大的全场景分析能力,让数据分析应用变得更加简单和高效。
数势科技利用StarRocks打造轻量级数据资产平台_哔哩哔哩_bilibili
PPT资料下载
https://forum.mirrorship.cn/t/topic/7813
现场精彩瞬间