StarRocks 集群管理又添“猛将“ ,随配随用随时修改

news2024/11/13 9:41:25

前言

在存储业务数据时,StarRocks 存算分离支持使用各种外部独立存储系统。

在早期 3.0 版本中,用户需要在 fe.conf 中配置存储相关信息(如 endpoint 等),这种静态配置模式也给用户使用带来了很多的不便性。

为此,StarRocks 存算分离从 3.1.0 版本后推出了 Storage Volume 能力,支持用户动态地为集群创建存储资源。需要说明的是,Storage Volume 仅限于在存算分离集群中使用。


名词解释

Storage Volume 代表的是存储资源,例如在 S3 兼容类存储系统上可以是一个 Bucket,在 HDFS 上可以是一个存储目录。


优势

灵活使用 Storage Volume,可以给我们带来以下好处:

  1. 无需提前配置,随配随用,使用起来更方便
  2. 如果发现 Storage Volume 配置错误,可以随时使用命令修改,无需停服,可用性更高
  3. 可以在单个集群内创建多个 Storage Volume(数量无限制),且为不同的表指定不同的 Storage Volume,这样不同的表数据可以存储在不同的地方,可带来更好的数据隔离性
  4. 不同的 Storage Volume 还可以使用不同的存储系统(如 Volume A 使用 S3,Volume B 使用 HDFS),带来更多的灵活性


基本用法

创建 Storage Volume

具体可以参考文档 https://docs.mirrorship.cn/zh/docs/sql-reference/sql-statements/Administration/CREATE_STORAGE_VOLUME/


删除 Storage Volume

具体可以参考文档 https://docs.mirrorship.cn/zh/docs/sql-reference/sql-statements/Administration/DROP_STORAGE_VOLUME/


显示所有 Storage Volume

可参考下面链接的命令来展示系统中所有的 Storage Volumes https://docs.mirrorship.cn/zh/docs/sql-reference/sql-statements/Administration/SHOW_STORAGE_VOLUMES/


展示 Storage Volume 属性

具体可以参考文档 https://docs.mirrorship.cn/zh/docs/sql-reference/sql-statements/Administration/DESC_STORAGE_VOLUME/


修改 Storage Volume 属性

具体可以参考文档 https://docs.mirrorship.cn/zh/docs/sql-reference/sql-statements/Administration/ALTER_STORAGE_VOLUME/


创建表

我们可以为存算分离表每个表指定特定的 Storage Volume,可以在建表时通过属性设置,具体可参考文档 https://docs.mirrorship.cn/zh/docs/sql-reference/sql-statements/data-definition/CREATE_TABLE/


具体的写法如下:

849317f903c0c6cd3169a2645a724e1f.jpeg


设置默认 Storage Volume

我们可以为系统创建一个 Storage Volume 并将其设置为系统默认值,避免需要每次建表时指定,如果我们建表时不指定,就使用该默认 Volume 存储数据。具体可参考文档 https://docs.mirrorship.cn/zh/docs/sql-reference/sql-statements/Administration/SET_DEFAULT_STORAGE_VOLUME/



关于 builtin_storage_volume

Storage Volume 概念从 3.1 版本开始引入,在 3.0 版本中并没有,为了处理升级兼容性问题,如果用户从 3.0 升级至 3.1 版本,且在 fe.conf 中配置了 enable_load_volume_from_conf 为 true,系统会兼容 3.0 行为,根据 fe.conf 里配置的存储信息自动创建一个 builtin_storage_volume,且该 volume 会自动被设置为 default。  https://docs.mirrorship.cn/zh/docs/deployment/shared_data/s3/#enable_load_volume_from_conf


举个例子,如果 fe.conf 里配置了如下内容:

fe2f6bb4c6224de549f56cfa5abba841.jpeg

系统会使用上面的配置信息自动创建一个 S3 类型的 builtin_storage_volume。需要注意的是,该配置只会第一次加载。


注意事项

  1. 强烈建议不要在 fe.conf 中配置存储信息,均通过 Storage Volume 来配置系统的存储资源,后续我们也会将静态配置的方式禁用
  2. 删除 Storage Volume 前需要将引用它的 Table 或者 Database 先删除(注意使用 drop table xxx force)
  3. 为某个表切换 Storage Volume 的功能不支持,这涉及数据迁移



本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1917886.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

echarts中tooltip添加点击事件代码示例

echarts中tooltip添加点击事件代码示例_javascript技巧_脚本之家 点击事件无法使用this 或者 this无法使用:

【python】随机森林预测汽车销售

目录 引言 1. 数据收集与预处理 2. 划分数据集 3. 构建随机森林模型 4. 模型训练 5. 模型评估 6. 模型调优 数据集 代码及结果 独热编码 随机森林模型训练 特征重要性图 混淆矩阵 ROC曲线 引言 随机森林(Random Forest)是一种集成学习方法…

springboot餐饮管理系统-计算机毕业设计源码43667

摘 要 在信息化、数字化的时代背景下,餐饮行业面临着前所未有的挑战与机遇。为了提高运营效率、优化顾客体验,餐饮企业亟需一套高效、稳定且灵活的管理系统来支撑其日常运营。基于Spring Boot的餐饮管理系统应运而生,成为餐饮行业数字化转型的…

高仿imtoken钱包源码/获取助记词/获取私钥/自动归集

简介: 高仿imtoken钱包/获取助记词/获取私钥/自动归集 带双端,无纯源码 下载源码

企业网站源码系统 自主快速搭建响应式网站 海量模版随心选择 带完整的源代码包以及搭建教程

系统概述 企业网站源码系统,是一款专为中小企业量身定制的网站建设解决方案。该系统基于先进的Web开发技术,融合了模块化设计理念和用户友好的操作界面,旨在帮助企业用户无需编程基础,即可轻松搭建出符合自身需求的响应式网站。通…

太恐怖了,30秒录音,就能复刻你的声音

最近出的这一款AI文本转语音工具,太恐怖了! 只需要有你一段录音,就能直接复刻你的声音。 下边是我复刻的李云龙的声音 这个工具复刻声音非常简单 使用步骤: 打开网站后选择构建声音 上传封面 填写名字和描述 上传音频或录制…

本周六!上海场新能源汽车数据基础设施专场 Meetup 来了

本周六下午 14:30 新能源汽车数据基础设施专场 Meetup 在上海,点击链接报名 🎁 到场有机会获得 Greptime 和 AutoMQ 的精美文创周边哦~ 🔮 会后还有观众问答 & 抽奖环节等你来把神秘礼物带回家~ 🧁 更…

《信息技术时代》是什么级别的期刊?是正规期刊吗?能评职称吗?

​问题解答 问:《信息技术时代》是不是核心期刊? 答:不是,是万方维普收录的正规学术期刊。 问:《信息技术时代》级别? 答:省级。主管单位:深圳湾科技发展有限公司 主办单位&am…

Vue从零到实战

💝💝💝欢迎来到我的博客,很高兴能够在这里和您见面!希望您在这里可以感受到一份轻松愉快的氛围,不仅可以获得有趣的内容和知识,也可以畅所欲言、分享您的想法和见解。 非常期待和您一起在这个小…

web安全及内网安全知识

本文来源无问社区(wwlib.cn)更多详细内容可前往观看http://www.wwlib.cn/index.php/artread/artid/7506.html Web安全 1、sql注入 Web程序中对于用户提交的参数未做过滤直接拼接到SQL语句中执行,导致参数中的特殊字符破坏了SQL语句原有逻…

新品牌快速成长指南:揭秘品牌成功的黄金法则

打造一个新品牌是一个系统性工程,不是一两句话就能说清楚的。 作为一个13年的营销人,今天试图给大家以最简练和通俗的文字,详细讲讲打造一个全新的品牌都需要做些啥?码字不易,请多给点支持哦。 一、市场调研与定位&a…

顶顶通呼叫中心中间件实现随时启动和停止质检(mod_cti基于FreeSWITCH)

文章目录 前言联系我们拨号方案启动停止ASR执行FreeSWITCH 命令接口启动ASR接口停止ASR接口 通知配置cti.json配置质检结果写入数据库 前言 顶顶通呼叫中心中间件的实时质检功能是由两个模块组成:mod_asr 和 mod_qc。 mod_asr:负责调用ASR将用户们在通…

CDGA|创新数据治理工具:推动数据治理标准规范化之路

在数字化时代,数据已经成为企业运营和社会发展的重要资产。然而,随着数据量的激增和来源的多样化,如何有效地管理和利用这些数据成为了一个亟待解决的问题。为了应对这一挑战,创新数据治理工具应运而生,它们不仅提高了…

【简历】吉林某985大学:JAVA实习简历指导,面试通过率相当低

注:为保证用户信息安全,姓名和学校等信息已经进行同层次变更,内容部分细节也进行了部分隐藏 简历说明 这份简历是一个顶级985吉林大学的同学投Java职位的简历。因为学校是顶级985,所以他的大厂简历通过率是比较高的,…

qdma enable jtag debugger

ip上的m_axi_lite 是连接到qdma_v4_0_11_dma5_rtl_top这个ip的 和jtag debugger没有关系 qdma enable jtag debugger 读取的是ip内部reg ///home/nic626/smart_nic/build_dir/qdma_no_sriov_ex/qdma_no_sriov_ex.srcs/sources_1/ip/qdma_no_sriov.xcix!/qdma_no_sriov/ip_0/so…

经典文献阅读之--DEviLOG(使用合成数据和真实世界数据的数据驱动占用网格映射基于Transformer的BEV方案量产方案)

Tip: 如果你在进行深度学习、自动驾驶、模型推理、微调或AI绘画出图等任务,并且需要GPU资源,可以考虑使用UCloud云计算旗下的Compshare的GPU算力云平台。他们提供高性价比的4090 GPU,按时收费每卡2.6元,月卡只需要1.7元每小时&…

【中项第三版】系统集成项目管理工程师 | 第 11 章 规划过程组② | 11.3 - 11.5

前言 第 11 章对应的内容选择题和案例分析都会进行考查,这一章节属于10大管理的内容,学习要以教材为准。本章上午题分值预计在15分。 目录 11.3 收集需求 11.3.1 主要输入 11.3.2 主要工具与技术 11.3.3 主要输出 11.4 定义范围 11.4.1 主要输入…

Hi3861 OpenHarmony嵌入式应用入门--HTTPD

httpd 是 Apache HTTP Server 的守护进程名称,Apache HTTP Server 是一种广泛使用的开源网页服务器软件。 本项目是从LwIP中抽取的HTTP服务器代码; Hi3861 SDK中已经包含了一份预编译的lwip,但没有开启HTTP服务器功能(静态库无法…

C# 解析省份、城市、区域 json文件

一、json文件内容如下,(小程序里好像有用到...): 二、读取包含省份城市区域的json文件,并整理成想要的结果: string path Server.MapPath("/js"); string file System.IO.Path.Combine(path, "数据.…

Hi3861 OpenHarmony嵌入式应用入门--华为 IoTDA 设备接入

华为云物联网平台(IoT 设备接入云服务)提供海量设备的接入和管理能力,可以将自己的 IoT 设备 联接到华为云,支撑设备数据采集上云和云端下发命令给设备进行远程控制,配合华为云物联网平台的服 务实现设备与设备之间的控…