马上解锁 StarRocks 存算分离,降本增效无需等!

news2024/12/28 4:27:38

StarRocks 于 4 月底正式发布了 3.0 版本,该里程碑版本带来了大家期盼已久的新特性--存算分离。此新功能一推出,立即受到社区热情追捧,用户纷纷开始在自己的业务中评估和测试存算分离效果。从芒果TV、聚水潭、网易邮箱、浪潮、天道金科等数十家客户的测试反馈来看,存算分离在查询性能,弹性扩缩容,降低存储成本等方面均有不错的表现!目前多个用户也开始在实际业务中陆续上线使用!StarRocks 存算分离上线的场景包含电商 ERP 订单分析系统、金融业务数据分析和制造业设备数据分析。由此可见,StarRocks 存算分离已达到生产可用的高标准

自 StarRocks 3.0 发布以来的三个月里,我们收到了众多来自社区小伙伴的热烈反馈。我们第一时间对这些反馈进行了梳理,针对大家共同感兴趣的几个问题进行了详尽分析。以下节选了部分社区伙伴的真实测试反馈,更多用户实测结果请参考:https://mp.weixin.qq.com/s/cQ88qm2xOJSlrb442uD_XA

性能是否强悍依旧?

大家首先关注的点还是存算分离能否继续保持 StarRocks 存算一体模式下强悍的查询性能,下图展示了在 TPC-DS 1TB 数据集规模下存算分离和存算一体的性能测试结果:

System

Excution time(s)

comparison to StarRocks native

StarRocks (native)

423.618

1

StarRocks (cloud-native)

428.167

1.01

StarRocks (cloud-native-no-cache)

667.887

1.57

标准数据集结果显示:

  1. 在 cache 全命中的条件下,存算分离性能与存算一体查询性能几乎保持一致

  2. 即使在 cache 完全 miss 情况下,查询性能下降也在可接受的范围内

除了标准数据集,社区小伙伴也拿真实业务验证了这一点,社区用户杨荣反馈了真实业务场景中测试的查询结果:

“从下面面的对比图可以看出,q2 - q5 四个 sql,local 表与 cloud native 表的查询性能基本持平,q1 在 10 并发以上的场景下 cloud native 表都比 local 表查询性能要好”。 👉🏻 参考报告: https://forum.mirrorship.cn/t/topic/7095

而来自社区用户聚水潭则从导入和高并发查询评估性能:

“对于单 SQL 查询来看,开启本地缓存后有明显优化,查询性能基本和存算一体表持平,根据回放测试表现来看,基本都可以符合在 100 左右的 QPS,对于当前的业务场景基本符合预期” 👉🏻 参考报告: https://forum.mirrorship.cn/t/topic/7038

所以,存算分离性能是否强悍依旧,用户给出的答案是 Yes!

功能是否完备?

StarRocks 存算分离版本自推出开始就在功能上与存算一体保持同步,存算一体上的各种新功能在存算分离版本上通过快速的版本迭代也能无缝体验。 在 4 月底推出的 3.0 版本中我们支持了明细模型、聚合模型的存储计算分离能力,并且支持了国内外所有主流对象存储系统以及 HDFS 等。在后续的 3.0.x 版本中社区将持续优化内核,保证在各种存储系统上都能完美运行。此外,在 3.0 版本中,我们也推出了基于 Local Disk 的热数据 Cache 能力,保障存算分离下极致的查询性能。 在即将推出的 StarRocks 3.1 版本中,我们将会重点支持主键模型的存算分离,不少社区小伙伴已经通过最近的 RC 版本抢先体验了该能力,基于对象存储,数据依旧可以实时更新!另外,我们还将推出自研的更细粒度 Cache 机制,进一步提升缓存效率。该版本也将成为我们的 LTS 版本,用户就可以在生产环境中大规模使用存算分离。 所以,存算分离和存算一体在功能上不仅保持一致,还有以下优势:

  • 支持公有云、私有化部署模式,随时随地开箱即用

  • 支持基于 S3 协议/HDFS 存储,节省存储空间的同时提升数据的可靠性

  • 支持所有的表模型(明显模型,聚合模型,更新模型,主键模型),用户切换 0 成本

  • 物化视图能力,外表查询等能力与存算一体一致,湖仓加速毫不费力

可否灵活弹性?

部分社区小伙伴业务有比较明显的峰谷特点,看中了存算分离的弹性能力,验证了在节点扩容时性能也能同步提升: 搭建 StarRocks 3.0 存算分离版本,通过增加 BE 计算节点的方式,对 SSB 和 TPCH 进行压测,得到如下测试结果。通过下面的图表(横坐标为 BE 数量,纵坐标为响应时长,单位 s)可知: 集群整体的查询能力随计算节点数增加而提升

由此可见,StarRocks 存算分离不仅可以灵活弹性,并且性能可随节点增加而提升!

可否真的降本增效?

看完了性能,聊完了弹性。接下来让我们简单算算账,看看存算分离能为用户省多少 money! 以下是某在线教育头部客户的某个集群统计数据,其当前 StarRocks 规模大概如下:

  • 每日新增导入数据量约为 1.6TB(最大,日常大概新增约 500GB),每秒导入次数最大约为 2(15 秒导入20+ 次),Tablet 数量 15

  • BE 节点数目为 5,集群总节点数量为 6(FE 和 BE 有混部),节点规格为 32core 128G 内存

  • 每年元数据 PutObject 调用产生的次数为 2 * 2 * 15 * 3600 * 24 * 365 = 1892160000

  • 每年 Segment 上传而产生的 PutObject 调用次数为 2 * 15 * 3600 * 24 * 365 = 946080000

总的次数为 2838240000 存储介质成本对比(1 TB 数据年费用)

存储介质

PutObjetc访问次数费用($)

存储容量费用($)

总费用($)

AliYun OSS

2838240000 * 0.001563 / 10000 = 443

0.0173 * 1024 * 12 = 213

656

AliYun ESSD LP 1

0

1024 * 12 * 3(副本数) / 7.1(汇率)= 5192

5192

所以,在性能不变的情况下,用户存储成本整体下降到原来的 1/8!

存算分离稳定了吗?

这也是许多用户最为关心的问题,毕竟新特性需要经过大量用户场景的实践验证。自 StarRocks 3.0 版本推出存算分离以来,我们已接受了大量社区小伙伴的测试,验证了其稳定性。截止目前,已经有聚水潭,天道金科,芒果TV等用户开始在实际场景对存存算分离进行上线验证,并取得了不错的效果。业务也开始逐步体验新架构带来的极速、弹性等优点。接下来,我们将发布相关的用户案例,社区会陆续邀请用户对存算分离最佳实践进行深入分享,让更多人了解存算分离在实际用户侧的业务成果和效益。

存算分离怎么用?

StarRocks 的存算分离版本目前已经在3.0版本发布,用户可自行前往官网下载体验测试,且存算分离同时支持物理机和K8S环境部署。另外,社区也正积极和国内各大云厂商合作,即将在各公有云EMR服务上线存算分离版本,用户可以通过各种不同渠道体验存算分离新能力。
下载链接:https://www.mirrorship.cn/zh-CN/download/community

StarRocks 存算分离立刻行动,即刻上线!

💬 StarRocks Feature Group-存算分离: 对 StarRocks 存算分离功能感兴趣的小伙伴们欢迎加入我们的“StarRocks 存算分离用户小组”。

下方添加小助手,回复关键字“存算分离”即可加入,马上开启你的降本增效之路!👇🏻

https://842372.ma3you.cn/articles/Oz4kpdl/

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/825767.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

【技巧】学术Poster的制作要点,详细!

转载请注明出处:小锋学长生活大爆炸[xfxuezhang.cn] 内容零零散散均收集自网上,有点杂忘了引用。 内容技巧 https://posts.careerengine.us/p/5dac3e628c131b0541dd9171 展示内容包括(将信息分块) 可选择性删减,注意…

分享可以免费使用的5款好用小工具

​ 最近后台收到好多小伙伴的私信,今天继续推荐五款小工具,都是免费使用的,大家可以去试试看。 剪贴板管理器——ClipX ​ ClipX是一款微型剪贴板管理器,可以记录你复制的文本和图像,并让你随时通过快捷键或鼠标菜单…

git面试题

文章目录 git经常用哪些指令git出现代码冲突怎么解决你们团队是怎么管理git分支的如何实现Git的免密操作 git经常用哪些指令 产生代码库 新建一个git代码库 git init下载远程项目和它的整个代码历史 git clone 远程仓库地址配置 显示配置 git config --list [--global]编辑配置…

Python爬虫 从小白到高手 各种最新案例! request scrapy

Python爬虫 从小白到高手 各种最新案例! Urllib Xpath JsonPath BeautifulSoup requests 1.基本使用 1.官方文档: http://cn.python‐requests.org/zh_CN/latest/ 快速上手 http://cn.python‐requests.org/zh_CN/latest/user/quickstart.html 2.安装 pi…

数字运营、协同高效,为园区高质量发展插上“数字化”翅膀

园区,是产业集群的枢纽,是城市发展的基本要素。近年来,以大数据、人工智能、云计算等为代表的数字技术与城市的千行百业融合“发酵”,正在加速城市主体的智能升级。智慧园区作为数字化转型升级的一个缩影,上承智慧城市…

Rust dyn - 动态分发 trait 对象

dyn - 动态分发 trait 对象 dyn是关键字,用于指示一个类型是动态分发(dynamic dispatch),也就是说,它是通过trait object实现的。这意味着这个类型在编译期间不确定,只有在运行时才能确定。 practice tr…

阿里云ECS部署Mysql数据库

说明 首先需要到阿里云官方购买阿里云产品 ,如果有机会可以免费试用那会更好,跳过购买云服务步骤下面直接演示。 一、阿里云官网示意图 1.百度搜索 阿里云官方 2.点击控制台 3.展开更多 4. 选择云服务器ECS 5. 点击实例 可以看到服务器状态&#xff…

利用 USB 设备重定向实现无缝远程办公

随着当代工作环境的不断发展,对有效的、无缝的远程办公解决方案的需求日益增长。无论是创意人员、高级用户,还是游戏爱好者,能够随时随地工作或玩游戏都是一项显著优势。 但通常,这不仅需要能够远程访问工作站。创意人员和高级用…

Mybatis-Flex 是一个优雅的 Mybatis 增强框架

Mybatis-Flex 是一个优雅的 Mybatis 增强框架,它非常轻量、同时拥有极高的性能与灵活性。我们可以轻松的使用 Mybaits-Flex 链接任何数据库,其内置的 QueryWrapper^亮点 帮助我们极大的减少了 SQL 编写的工作的同时,减少出错的可能性。 总而…

初识mysql数据库之MVCC机制与视图

目录 一、数据库的三种并发场景 二、 MVCC 1. 建立共识 2. MVCC的作用 3. MVCC的三个前置知识 3.1 3个记录隐藏列字段 3.2 undo日志(undo log) 4. 模拟MVCC 4.1 图示模拟状况 4.2 不同操作的历史版本链形成 5. 当前读与快照读 6. 为什么要有…

QT实现中英文键盘

使用Qt中实现中英文键盘,支持各种linux嵌入式设备。 实现思路:需要一个中文字体库,将字体库加载到一个Hash容器,字母和拼音作为key值,对应的中文作为value值。 核心代码: #include "UKeyBoard.h"…

出海新篇章:品牌规划方法与海外市场拓展

品牌出海规划是确保企业在国际市场上获得成功的关键步骤,它涉及到对目标市场的深入研究和了解,同时需要明确的策略和目标。本文Nox聚星将和大家探讨品牌出海规划的关键要素,为品牌出海提供一些建议和指导。 一、市场调研与定位 在品牌出海之…

C++基础篇 第七天 异常、智能指针、nullptr,auto

目录 异常 异常概念: C和C中异常的区别 异常处理 1. throw抛出异常 2. try...catch 进行异常处理 3.try...catch抛出自建类的异常 4.自建类的异常延伸 捕获的扩展 提高异常捕获的概率 智能指针 auto_ptr(已废弃,只做了解&#xf…

【工具使用】git基础操作1

目录 一.拉取git代码1.首次拉取命令2.使用图形化拉取代码3.Idea 开发工具拉取代码 二.查看当前状态1.查看在你上次提交之后是否有对文件进行再次修改 三.创建分支3.1.创建分支3.2.创建分支并切换至分支3.3.提交分支至远程仓 远程没有自动创建 四.查看分支4.1.查看本地分支 当前…

智慧园区项目:数字化引领城市转型

随着科技的迅猛发展,智慧园区项目正日益成为城市数字化转型的关键组成部分。这些智慧园区项目借助先进的技术,将传统的园区升级为智能化、数字化的生态系统,为城市的可持续发展和人们的生活质量带来了巨大的变革。 在智慧园区项目中&#xff…

别不信,这才是交换机组网的正确打开方式

下午好,我的网工朋友。 俱乐部更新交换机和路由器相关技术点一直是更新得非常勤快,懂的朋友都懂,毕竟知识点太多。这不,前两天刚说一篇。 之前我们聊过交换机的配置命令,选型关键,配置步骤,部…

C语言数组笔试题(详解)

目录 插入知识: 一.指向函数指针数组的指针 二.回调函数 什么是回调函数? 三.数组笔试题 个人名片: 🐼作者简介:一名乐于分享在学习道路上收获的大二在校生🐻‍❄个人主页:GOTXX &#x1f4…

概率论与数理统计复习总结2

概率论与数理统计复习总结,仅供笔者复习使用,参考教材: 《概率论与数理统计》/ 荣腾中主编. — 第 2 版. 高等教育出版社《2024高途考研数学——概率基础精讲》王喆 概率论与数理统计实际上是两个互补的分支:概率论 在 已知随机…

亚像素到底能不能提高精度

01.什么是亚像素 亚像素(Sub Pixel),是面阵摄像机的成像面以像素为最小单位。 像素中心之间的距离有几个至十几个微米不等。为了最大限度利用图像信息来提高分辨率,有人提出了亚像素概念。意思是说,在两个物理像素之间还有像素,称之为亚像素,它完全是通过计算方法得出来的。…

three.js实现vr全景图(vue)

方法: 可以利用Threejs中的立方体或者球体实现全景图功能,把立方体或球体当成天空盒子,将无缝衔接的图片贴上,看起来就像在一个场景中,相机一般放置在中央。 three.js中文网 1、立方体实现 立方体6个面要贴上6个方向的图片&…