StarRocks Friends 广州站精彩回顾

news2024/11/14 4:05:45

上周六,StarRocks & Friends 活动在羊城广州成功举行,社区的小伙伴齐聚一堂,共同探讨了 StarRocks 在业界的应用实践和湖仓一体等热门话题。

本文总结了技术交流活动的关键内容和视频资料,感谢社区每一位小伙伴的支持和参与,未来我们也会继续与大家分享更多优质的内容!

StarRocks & Friends 广州站精彩回顾

议题一:StarRocks 湖仓一体简介

讲师简介:郑志铨,StarRocks Active Contributor

StarRocks 3.0 产品能力全面升级,提供湖仓一体的数据分析能力,兼具数据湖与数据仓库的优势,能够更好地满足大数据时代对数据处理和分析的需求。

基于 StarRocks 3.0,用户可以将数据导入到 StarRocks 获得极速的分析性能,也可以采用 StarRocks 直接分析 Hive、Iceberg、Hudi 数据湖上的数据,免去 ETL 数据准备的负担,StarRocks 直接查询数据湖相比 Presto/Trino 能获得 3 倍以上的性能提升,开启 Local cache 情况下可以获得 6 倍以上性能提升;如果性能还不满足要求,可以基于数据湖上的表建立物化视图,借助 StarRocks 内表极致的查询性能加速。

 

当前多个社区用户已经在真实业务场景使用 StarRocks 湖仓一体架构,获得极致分析性能的同时,让数据的 Pipeline 更加简单。

StarRocks湖仓一体简介_哔哩哔哩_bilibili

议题二:StarRocks 在华润实时业务场景的应用实践

讲师简介:刘伟 华润数科技术总监
 

随着业务的不断发展和对数据实时性要求的提高,华润原有的 MPP 架构面临多方面的问题,如查询性能不足、高并发查询困难、离线数据同步不满足实时要求、难以实现增量数据聚合计算等。为了解决这些问题,选择了StarRocks& Flink CDC 构建开源实时数仓方案。

在一年多的使用中,StarRocks 在经销商系统、客户订单系统、云平台监控、供销存离线及实时报表、营销平台实时报表、一掌通实时战报等场景中均表现出色,整体的查询性能提高了 10+ 倍以上

未来,StarRocks 在华润会去承载更多的业务场景,基于 StarRocks 构建极速统一的数据分析体系,减少 OLAP 场景多套技术栈带来的维护成本。


StarRocks 在华润实时业务场景的应用实践_哔哩哔哩_bilibili

议题三:StarRocks 在网易邮箱数仓中的深入应用

讲师简介:黄贤康 网易邮箱资深数据开发工程师

经过 2 年多的努力,网易邮箱 TDM 数仓建设基本完成,目前有实时和离线两个 StarRocks 集群,互为镜像,负责离线和实时数据应用场景。涵盖了用户、设备、风控、行为、营销等多个业务领域的约数十个数据维度。单表数据量超10亿,日均处理查询请求 300W+,平均响应时间实时集群为 30ms,离线集群为 10s。

随着 TDM 标签数据应用场景的丰富,StarRocks 集群不仅需要处理来自数据分析端的复杂离线查询请求,还需应对后端业务的高频实时查询。多种业务共用一个集群容易导致资源竞争,为此,邮箱引入了 StarRocks 存算分离功能,有效地解决了不同业务间资源硬隔离的问题,并极大地提升了整个邮箱数仓的数据交互能力。

未来,网易邮箱将继续关注 StarRocks 湖仓一体化、简化和加速数据湖分析等方案,以应对业务领域拓展可能带来的不同的数据分析模式。

StarRocks 在网易邮箱数仓的中的深入应用_哔哩哔哩_bilibili

议题四:数势科技利用 StarRocks 打造轻量级数据资产平台

讲师简介:伍攀 数势科技大数据技术部负责人

StarRocks 拥有强大的生态能力,可以轻松接入各种数据源,快速构建实时分析平台。借助 StarRocks 生态和产品功能封装,数势科技成功将其应用于多种业务场景,包括指标平台、标签平台和统一查询服务等,从而极大地简化了数据接入成本。

以下是利用 StarRocks 构建的不同业务场景:

  1. 指标平台构建:通过对指标定义和数据的统一管理,构建统一的指标语义层,实现指标的快速灵活应用,保证指标在各处应用中的口径和数据的一致性,解决指标重复开发、口径不一致、开发响应周期长等一系列问题

  2. 标签平台构建:围绕标签体系管理、多类型标签加工能力(规则、函数、模型等)、标签生命周期管理、标签价值评估,支持业务人员通过简洁的功能操作,多标签组合条件圈人,极大程度提高圈人的灵活性、易用性,减少了业务侧对定制化圈人需求的依赖。

  3. 统一查询服务构建:通过打造统一服务平台,专注于简化配置生成统一数据服务能力。提供导航式和 SQL 式服务配置,能够快速实现基于 Rest 和 TCP 的数据服务,满足各种数据应用需求的快速实现。

上述应用场景充分展示了 StarRocks 强大的全场景分析能力,让数据分析应用变得更加简单和高效。

数势科技利用StarRocks打造轻量级数据资产平台_哔哩哔哩_bilibili

PPT资料下载

https://forum.mirrorship.cn/t/topic/7813

现场精彩瞬间

 

 

 

 

 

 

 

 

 

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/817931.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

如何提高接口测试覆盖率?

接口测试是测试系统组件间接口的一种测试。 接口测试主要用于检测外部系统与系统之间以及内部各个子系统之间的交互点。 测试的重点是要检查数据的交换,传递和控制管理过程,以及系统间的相互逻辑依赖关系等。 接口测试该如何提高测试的覆盖率呢&#…

PCL点云处理之最小二乘空间直线拟合(3D) (二百零二)

PCL点云处理之最小二乘空间直线拟合(3D) (二百零二) 一、算法简介二、实现代码三、效果展示一、算法简介 对于空间中的这样一组点:大致呈直线分布,散乱分布在直线左右, 我们可采用最小二乘方法拟合直线,更进一步地,可以通过点到直线的投影,最终得到一组严格呈直线分布…

软件测试一周面试十家公司,分享面试经历

从开始面试讲起,公司规模我分成5类:创业公司0-20人,小型公司20-40人,中小型50-99,中型公司100-499即将上市的那种,已上市公司100-499。 创业公司 第一个面试的那家创业公司特别坑,开始面试&am…

4年测试“我“该何去何从?测试还是测试开发?

目录:导读 前言一、Python编程入门到精通二、接口自动化项目实战三、Web自动化项目实战四、App自动化项目实战五、一线大厂简历六、测试开发DevOps体系七、常用自动化测试工具八、JMeter性能测试九、总结(尾部小惊喜) 前言 4年测试&#xff…

秋招备战笔试Day2

目录 单选 1.A 派生出子类 B , B 派生出子类 C ,并且在 java 源代码有如下声明: 2.下面代码将输出什么内容:() 3.阅读如下代码。 请问,对语句行 test.hello(). 描述正确的有(&…

vlan access, trunk, hybrid (tagged/untagged) 笔记

vlan 接口和配置 PVID(port vlan ID) 定义 pvid 主要目的: 当交换机接口收到没有 vlan tag 标签的包时,接口会将定义的 pvid 作为当前包的 vlan id。当对映 pvid vlan 的包,通过当前交换机接口发出时,接…

ADSelfService Plus:保护密码安全的最佳解决方案

密码安全是当今数字时代中至关重要的话题。随着互联网和信息技术的迅速发展,我们的生活变得越来越数字化,密码已成为我们生活中不可或缺的一部分。然而,随着各种网络威胁和黑客攻击不断增加,保护我们的密码变得越来越重要。 密码安…

测试工程师刚入职如何快速熟悉需求并输出测试用例?

刚入职第一天,早上办完入职,下午就就分配了测试任务,2个模块13条短信验证,2天内输出测试用例(xmind输出功能点,excel书写业务流)。测试负责人给我们快速讲了一下业务,在这过程中大概…

openssl/bn.h: No such file or directory

报错截图 解决方法 ubuntu apt install libssl-dev -y centos yum install openssl-devel -y

echarts实现多层环图(复制粘贴即可)

data里面参数配置: // 多重环图optionCircle: {tooltip: {show: false,trigger: item,formatter: "{a} : {c} ({d}%)"},color: [#3AB1EB, #D48B6A, #5B41C8, #FE7E02],legend: {orient: horizontal,itemWidth: 30, // 图例标记的图形宽度。itemHeight…

从产品和运营的角度聊聊,如何有效吸引与引导用户注册转化?

从产品和运营的角度聊聊 如何有效吸引与引导用户注册转化? 正文共:4360字 23图 预计阅读时间:11分钟 1 如何进行改版,找找思路? 前段时间在做公司的网站改版策划,此前接触的都是一些ToB的解决方案提供商…

Jmeter脚本录制:抓取IOS手机请求包

现在移动端的项目越来越多,今天给大家介绍一下,在IOS下Jmeter如何抓包。 1、电脑连上wifi 2、Jmeter中配置“HTTP代理服务器” 1)启动Jmeter;2)“测试计划”中添加“线程组”;3)“测试计划”中添加“HTTP代理服务器”&#xff…

【算法很美】多维数组和字符串篇打卡(第三天)

文章目录 子矩阵的最大累加和整体代码 矩阵运算-乘法整体代码 检测字符串是否有重复字符整体代码 反转字符串整体代码 变形词整体代码 替换字符串中的空格整体代码 子矩阵的最大累加和 整体代码 package 每日算法学习打卡.算法打卡.七月份.七月三十一号;import java.util.Arra…

nginx配置访问本机文件夹里的静态资源404

在nginx中配置了location访问一直404 location /web/user/ { alias /home/user/wlds/user/;index index.html;try_files $uri $uri/ /index.html 404;} 看日志发现Permission denied 因为是直接使用的yum安装的二进制包nginx,nginx.conf文件首行是user nginx;所以没…

【DRAM存储器三】内存颗粒内部结构

👉个人主页:highman110 👉作者简介:一名硬件工程师,持续学习,不断记录,保持思考,输出干货内容 参考资料:《镁光DDR4数据手册》 目录 DDR4颗粒的内部结构 …

[SSM]Spring6整合JUnit5与集成MyBatis3.5

目录 十七、Spring6整合JUnit5 17.1Spring对JUnit4的支持 17.2Spring对JUnit5的支持 十八、Spring6集成MyBatis3.5 18.1实现步骤 18.2具体实现 18.3spring配置文件的import 十七、Spring6整合JUnit5 17.1Spring对JUnit4的支持 准备工作&#xff1a; <dependencies&…

python——案例四:判断字符串中的元素组成

案例四&#xff1a;判断字符串中的元素组成str"Hello World! 666" print(str.isalnum()) #判读所有的字符都是数字或者是字母 print(str.isalpha()) #判读所有的字符都是字母 print(str.isdigit()) #判读所有的字符都是数字 print(str.islower()) #判读所有的字符都是…

从 0 到 1!得物如何打造通用大模型训练和推理平台

1.背景 近期&#xff0c;GPT 大模型的发布给自然语言处理&#xff08;NLP&#xff09;领域带来了令人震撼的体验。随着这一事件的发生&#xff0c;一系列开源大模型也迅速崛起。依据一些评估机构的评估&#xff0c;这些开源模型大模型的表现也相当不错。一些大模型的评测情况可…

【Linux取经路】进度条小程序

文章目录 一、预备知识1.1 回车换行1.2 缓冲区 二、倒计时2.1 注意事项 三、进度条3.1 源代码3.2 代码分析3.2 实际使用场景 一、预备知识 1.1 回车换行 一般意义上的回车换行是两个独立的独立的动作&#xff0c;而C语言中的\n则同时完成了回车和换行的工作。回车是将光标移动…