StarRock3.3 安装部署

news2024/11/17 8:16:37

服务器前置要求：

1、内存>=32GB

2、JDK 8 is not supported, please use JDK 11 or 17

1、安装

wget https://releases.starrocks.io/starrocks/StarRocks-3.3.0.tar.gz

tar zxvf StarRocks-3.3.0.tar.gz

2、FE服务启动

2.1 配置FE节点(默认配置，如果是自定义，可以修改配置，否则配置无需变动fe/conf/fe.conf

meta_dir = ${STARROCKS_HOME}/meta
mkdir ${STARROCKS_HOME}/meta

2.2 java环境安装fe/conf/fe.conf

如果本地默认是java8环境，可以单独对sr进行环境配置

# Replace <path_to_JDK> with the path where the chosen JDK is installed.
JAVA_HOME = /root/jdk-17.0.11

2.3 验证端口服务是否需要修改

  • 8030: FE HTTP server port (http_port)
  • 9020: FE Thrift server port (rpc_port)
  • 9030: FE MySQL server port (query_port)
  • 9010: FE internal communication port (edit_log_port)
  • 6090: FE cloud-native metadata server RPC listen port (cloud_native_meta_port)

执行下面命令：

netstat -tunlp | grep 8030
netstat -tunlp | grep 9020
netstat -tunlp | grep 9030
netstat -tunlp | grep 9010
netstat -tunlp | grep 6090

如果出现端口冲突，需要修改配置fe.conf

我本地8030端口冲突，修改fe.conf配置如下：

http_port = 8040

2.4 启动FE服务（sr3.3需要 jdk11或者jdk17，建议提前安装）

./bin/start_fe.sh --daemon

./bin/stop_fe.sh --daemon

2.3 验证服务

2.3.1 查看FE节点服务是否正常

cat fe/log/fe.log | grep thrift

2024-07-28 15:35:12.676+08:00 INFO (UNKNOWN 10.177.54.201_9010_1722151478821(-1)|1) [FrontendThriftServer.start():65] thrift server started with port 9020

2.3.2 查看web ui是否正常

在浏览器访问http://ip:http_port（默认 http_port 为 8030）,用户名为 root，密码为空

3、BE服务启动

-存算分离模式服务不需要启动，CN的配置需要和BE配置保持一致

3.1 创建数据存储目录

# Replace <storage_root_path> with the data storage directory you want to create.
mkdir -p <storage_root_path>

3.2 服务端口检测

  • 9060: BE Thrift server port (be_port)
  • 8040: BE HTTP server port (be_http_port)
  • 9050: BE heartbeat service port (heartbeat_service_port)
  • 8060: BE bRPC port (brpc_port)
  • 9070: An extra agent service port for BE and CN (starlet_port)

检测BE服务的端口是否被占用

netstat -tunlp | grep 9060
netstat -tunlp | grep 8040
netstat -tunlp | grep 9050
netstat -tunlp | grep 8060
netstat -tunlp | grep 9070

如果出现端口冲突对应的服务端口需要做调整，否则使用默认端口部署

3.3  修改be配置be/conf/be.conf

# Replace <storage_root_path> with the data storage directory you want to create.
mkdir -p <storage_root_path>

storage_root_path = /root/StarRocks-3.3.0-rc01/be/storage

3.4 设置单独的java环境be/conf/be.conf

如果本地默认是java8环境，可以单独对sr进行环境配置

# Replace <path_to_JDK> with the path where the chosen JDK is installed.
JAVA_HOME = /root/jdk-17.0.11

3.5 启动BE服务

./be/bin/start_be.sh --daemon

3.6 验证BE服务是否启动正常

cat be/log/be.INFO | grep heartbeat

I0728 17:26:12.504830 465572 thrift_server.cpp:383] heartbeat has started listening port on 9050

I0728 17:26:12.504838 465572 starrocks_be.cpp:267] BE start step 13: start heartbeat server successfully

4、启动CN服务

（存算分离模式）需要启动，请保证BE服务在同一节点没有启动

4.1 CN 配置通BE配置，保持be/conf/be.conf和be/conf/cn.conf一致

增加：

storage_root_path = /root/StarRocks-3.3.0-rc01/be/storage

JAVA_HOME = /root/jdk-17.0.11

4.2 启动CN服务

./be/bin/start_cn.sh --daemon

4.2 检查CN服务是否正常

cat be/log/cn.INFO | grep heartbeat

I0728 17:48:29.443526 474653 thrift_server.cpp:383] heartbeat has started listening port on 9050

I0728 17:48:29.443535 474653 starrocks_be.cpp:267] CN start step 13: start heartbeat server successfully

5、集群部署

5.1 在mysql客户端连接fe服务

# Replace <fe_address> with the IP address (priority_networks) or FQDN
# of the Leader FE node, and replace <query_port> (Default: 9030)
# with the query_port you specified in fe.conf.
mysql -h <fe_address> -P<query_port> -uroot

然后执行下面命令，可以看到FE节点的状态

SHOW PROC '/frontends'\G

5.2  把BE节点加入到集群中来

-- Replace <be_address> with the IP address (priority_networks) 
-- or FQDN of the BE nodes, and replace <heartbeat_service_port> 
-- with the heartbeat_service_port (Default: 9050) you specified in be.conf.
ALTER SYSTEM ADD BACKEND "<be_address>:<heartbeat_service_port>";

5.3 查看BE节点状态-存算分离状态可以不用加入

SHOW PROC '/backends'\G

5.4 把CN节点加入到集群

-- Replace <cn_address> with the IP address (priority_networks) 
-- or FQDN of the CN node, and replace <heartbeat_service_port> 
-- with the heartbeat_service_port (Default: 9050) you specified in cn.conf.
ALTER SYSTEM ADD COMPUTE NODE "<cn_address>:<heartbeat_service_port>";

看到Alive都是true后表示服务加入成功

6、hdfs相关配置

  • 如果 HDFS 集群开启了高可用（High Availability，简称为“HA”）模式，则需要将 HDFS 集群中的 hdfs-site.xml 文件放到每个 FE 的 $FE_HOME/conf 路径下、以及每个 BE 的 $BE_HOME/conf 路径（或每个 CN 的 $CN_HOME/conf 路径）下。

  • 如果 HDFS 集群配置了 ViewFs，则需要将 HDFS 集群中的 core-site.xml 文件放到每个 FE 的 $FE_HOME/conf 路径下、以及每个 BE 的 $BE_HOME/conf 路径（或每个 CN 的 $CN_HOME/conf 路径）下

7、hadoop集群开启kerbos情况下，需要进行配置修改

  • 在每个 FE 和 每个 BE（或 CN）上执行 kinit -kt keytab_path principal 命令，从 Key Distribution Center (KDC) 获取到 Ticket Granting Ticket (TGT)。执行命令的用户必须拥有访问 HMS 和 HDFS 的权限。注意，使用该命令访问 KDC 具有时效性，因此需要使用 cron 定期执行该命令。
  • 在每个 FE 的 $FE_HOME/conf/fe.conf 文件和每个 BE 的 $BE_HOME/conf/be.conf 文件（或每个 CN 的 $CN_HOME/conf/cn.conf 文件）中添加 JAVA_OPTS="-Djava.security.krb5.conf=/etc/krb5.conf"。其中，/etc/krb5.conf 是 krb5.conf 文件的路径，可以根据文件的实际路径进行修改

8、创建hive catalog

CREATE EXTERNAL CATALOG hive_catalog
PROPERTIES ("type"="hive",
"enable_metastore_cache" = "true",
"metastore_cache_refresh_interval_sec"="30",
            "hive.metastore.type" = "hive",
            "hive.metastore.uris"="thrift://198.28.1.83:9083,thrift://198.28.1.84:9083");
            
SHOW CATALOGS;
SHOW DATABASES FROM hive_catalog;
SELECT * from hive_catalog.ods01.ods_uf20_hs_asset_clientInfo LIMIT 10;

社区文档参考：

Deploy StarRocks manually | StarRocks

Hive catalog | StarRocks

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1955922.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

dns和 openELB

dns和 openELB

DNS yum -y install bind允许其他的主机来监听&#xff0c;允许其他的主机来查询&#xff0c;改这两个地方就行了。 把需要解析的文件都添加进来&#xff0c;cp -p的意思是保留原来的权限控制 注意本地dns放在 DNS1 二、负载均衡 OpenELB Layer2 模式 BGP模式 OpenELB …
阅读更多...
DBeaver使用SQL脚本编辑器

DBeaver使用SQL脚本编辑器

文章目录 1 新建脚本2 选择数据库3 编写脚本【按行执行】参考 1 新建脚本 2 选择数据库 3 编写脚本【按行执行】 光标放到需要执行的行上&#xff0c;点击【最上面的按钮】 或者选中某片代码&#xff0c;然后执行 也可以编写一个脚本然后执行 参考 dbeaver安装和使用教程 …
阅读更多...
Linux文件恢复

Linux文件恢复

很麻烦 一般还是小心最好 特别恢复的时候 可能不能选择某个文件夹去扫描恢复 所以 删除的时候 用rm -i代替rm 一定小心 以及 探索下linux的垃圾箱机制 注意 一定要恢复到不同文件夹 省的出问题 法1 系统自带工具 debugfs 但是好像不能重启&#xff1f; testdisk 1、安装 …
阅读更多...
酒店智能门锁接口pro[0922]D801 对接收银-SAAS本地化-未来之窗行业应用跨平台架构

酒店智能门锁接口pro[0922]D801 对接收银-SAAS本地化-未来之窗行业应用跨平台架构

proUSB接口函数[0922中性版]-D801 调用函数库&#xff1a; 提供Windows下的32位动态连接库proRFL.DLL&#xff0c;函数使用详细说明 //-----------------------------------------------------------------------------------// 功能&#xff1a;读DLL版本&#xff0c;不涉…
阅读更多...
【大数据】：hdfs相关进程启停管理命令

【大数据】：hdfs相关进程启停管理命令

HADOOP_HOME/sbin/start-dfs.sh&#xff0c;一键启动HDFS集群 执行原理&#xff1a; 在执行此脚本的机器上&#xff0c;启动SecondaryNameNode 读取core-site.xml内容&#xff08;fs.defaultFS项&#xff09;&#xff0c;确认NameNode所在机器&#xff0c;启动NameNode 读取wor…
阅读更多...
AI变现：科技与商业化的交织

AI变现：科技与商业化的交织

随着科技的飞速发展&#xff0c;人工智能&#xff08;AI&#xff09;已经从科幻电影中的概念走进了现实生活的各个领域&#xff0c;深刻影响着经济、社会与科技的发展。AI不仅代表着技术的革新&#xff0c;更是推动商业变现的重要力量。本文将深入剖析AI的发展历程&#xff0c;…
阅读更多...
数据结构(5.3_5)——二叉树的线索化

数据结构(5.3_5)——二叉树的线索化

第一种寻找中序前驱方法 中序线索化 本质上就是一次中序遍历&#xff0c;只不过需要在一边遍历一边处理结点线索化 代码&#xff1a; //全局变量pre 指向当前访问结点的前驱 ThreadNode* pre NULL;struct ElemType {int value; };//线索二叉树结点 typedef struct ThreadNode…
阅读更多...
姜夔，师法自然的不仕道人

姜夔，师法自然的不仕道人

姜夔&#xff08;ku&#xff09;&#xff0c;字尧章&#xff0c;号白石道人&#xff0c;约生于南宋绍兴二十四年&#xff08;公元1154年&#xff09;&#xff0c;卒于南宋嘉定十四年&#xff08;公元1221年&#xff09;&#xff0c;享年67岁。他的艺术成就涵盖了诗词、散文、书…
阅读更多...
JAVA (IO流) day7.25

JAVA (IO流) day7.25

ok了家人们今天继续学习io流&#xff0c;废话不多说&#xff0c;我们一起看看吧 一.File类 1.1 File类的概述 通过 File 类与 IO 流进行搭配使用就可以通过 Java 代码将数 据从内存写入到硬盘文件 或者从硬盘文件读取到内存 中。 File 类就是文件和目录路径名的抽象表示形式…
阅读更多...
ElasticSearch（es）倒排索引

ElasticSearch（es）倒排索引

目录 一、ElasticSearch 二、倒排索引 1. 正向索引 2. 倒排索引 具体细节 1. 文档分析 2. 索引构建 3. 索引存储 4. 词条编码 5. 索引优化 6. 查询处理 示例 总结 3. 正向和倒排 三、总结 倒排索引的基本概念 为什么倒排索引快 一、ElasticSearch Elasticsear…
阅读更多...
让开发者生活更轻松的 JavaScript 字符串方法

让开发者生活更轻松的 JavaScript 字符串方法

前端岗位内推来了 JavaScript 最初被引入作为一种简单的客户端脚本语言&#xff0c;但现在&#xff0c;它已经成为一种真正的 WORA&#xff08;一次编写到处运行&#xff09;语言&#xff0c;使开发者能够构建桌面、移动、电视、CLI 和嵌入式应用程序。JavaScript 的初学者友好…
阅读更多...
HiveSQL题——炸裂+开窗

HiveSQL题——炸裂+开窗

一、每个学科的成绩第一名是谁&#xff1f; 0 问题描述 基于学生成绩表输出每个科目的第一名是谁呢&#xff1f; 1 数据准备 with t1 as(selectzs as name,[{"Chinese":80},{"Math":70}],{"English"…
阅读更多...
IOS-04 Swift 中数组、集合、字典、区间、元组和可选类型

IOS-04 Swift 中数组、集合、字典、区间、元组和可选类型

在 Swift 编程语言中&#xff0c;数据结构和类型的合理运用对于高效编程至关重要。接下来&#xff0c;我们将深入探讨数组、集合、字典、区间、元组和可选类型的相关知识。 一、数组&#xff08;Array&#xff09; &#xff08;一&#xff09;元素定义 可以通过多种方式定义数…
阅读更多...
关于 OSPF 序列号范围 0x80000001-0x7FFFFFFF 正本清源

关于 OSPF 序列号范围 0x80000001-0x7FFFFFFF 正本清源

注&#xff1a;机翻&#xff0c;未校对。 正本&#xff1a;RFC 2328 OSPF Version 2 中相关解释 April 1998 12.1.6. LS sequence number 12.1.6. 序列号 The sequence number field is a signed 32-bit integer. It is used to detect old and duplicate LSAs. The space …
阅读更多...
【React】详解 React Hooks 使用规则

【React】详解 React Hooks 使用规则

文章目录 一、Hooks 的基本原则1. 只在最顶层调用 Hooks2. 只在 React 函数组件和自定义 Hooks 中调用 Hooks 二、常见 Hooks 及其使用规则1. useState2. useEffect3. useContext4. useReducer5. useMemo6. useCallback 三、常见错误及其解决方案1. 在条件语句中调用 Hooks2. 在…
阅读更多...
「C++系列」数组

「C++系列」数组

文章目录 一、数组1. 声明数组2. 初始化数组3. 访问数组元素4. 遍历数组注意事项示例代码 二、多维数组1. 声明二维数组2. 初始化二维数组3. 访问二维数组元素4. 遍历二维数组注意事项示例代码 三、指向数组的指针1. 声明指向数组的指针2. 通过指针访问数组元素3. 指针和数组的…
阅读更多...
文件上传漏洞（ctfshow web151-161）

文件上传漏洞（ctfshow web151-161）

Web151 F12修改源代码 exts后面png改为php 这样就可以上传php的文件了 Web152&#xff1a; 考点&#xff1a;后端不能单一校验 就是要传图片格式&#xff0c;抓个包传个png的图片 然后bp抓包修改php后缀解析 然后放包 Web153-web156 在php代码中可以使用“{}”代替“[]” …
阅读更多...
Go语言实战：基于Go1.19的站点模板爬虫技术解析与应用

Go语言实战：基于Go1.19的站点模板爬虫技术解析与应用

一、引言 1.1 爬虫技术的背景与意义 在互联网高速发展的时代&#xff0c;数据已经成为新的石油&#xff0c;而爬虫技术则是获取这种“石油”的重要工具。爬虫&#xff0c;又称网络蜘蛛、网络机器人&#xff0c;是一种自动化获取网络上信息的程序。它广泛应用于搜索引擎、数据分…
阅读更多...
机械学习—零基础学习日志（高数14——函数极限概念）

机械学习—零基础学习日志（高数14——函数极限概念）

零基础为了学人工智能&#xff0c;真的开始复习高数 后续的速度要加快了~&#xff01;~~~&#xff01;&#xff01; 概念 如何理解 方法一&#xff1a;吴军老师——无穷小是一种动态概念 函数极限&#xff0c;更多表达的是一种动态趋势&#xff0c;而不是一种静态的数值。以…
阅读更多...
linux脚本：自动检测的bash脚本，用于检查linux的系统性能

linux脚本：自动检测的bash脚本，用于检查linux的系统性能

目录 一、要求 二、脚本介绍 1、脚本内容 2、解释 3、使用方法&#xff1a; &#xff08;1&#xff09;脚本文件 &#xff08;2&#xff09;赋予权限 &#xff08;3&#xff09;执行结果 三、相关命令介绍 1、top &#xff08;1&#xff09;定义 &#xff08;2&…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023