大数据Kudu(四):Kudu集群搭建

news2024/11/30 12:27:19

 文章目录

Kudu集群搭建

一、kudu 安装包

二、节点规划及安装

1、首先在每个节点上传安装包

2、在node1、node2节点上安装如下rpm安装包

3、在node3节点上安装如下rpm安装包

4、配置Master Server

5、配置Tablet Server

6、Master节点配置所有Master Server

7、Server节点配置所有Master Server

三、​​​​​​​​​​​​​​Kudu集群启动及停止

1、启动Kudu

2、检查kudu是否启动成功

3、访问Kudu WebUI页面

4、停止Kudu


Kudu集群搭建

一、​​​​​​​kudu 安装包

Kudu官网没有提供好编译好的Kudu安装包,我们可以下载源码进行编译获取安装包,这里为了方便我们直接使用Cloudera 提供的CDH版本kudu安装包:

  • centos7下载地址:

http://archive.cloudera.com/kudu/redhat/7/x86_64/kudu/5/RPMS/x86_64/

下载对应如下几个rpm安装包即可:

kudu-1.4.0+cdh5.12.2***.x86_64.rpm
kudu-master-1.4.0+cdh5.12.2***.x86_64.rpm
kudu-tserver-1.4.0+cdh5.12.2***.x86_64.rpm
kudu-client0-1.4.0+cdh5.12.2***.x86_64.rpm
kudu-client-devel-1.4.0+cdh5.12.2***.x86_64.rpm

 此外,我们也可以在yum中配置cloudera yum源来使用yum方式安装Kudu,或者直接基于Cloudera Manager平台安装管理Kudu,需要注意的是基于Cloudera managera安装则需要Cloudera Manager 5.4.3或更高版本。

二、节点规划及安装

安装Kudu使用的Linux系统需要至少是Centos6及以上,这里选择Centos7安装,以下是节点角色划分:

节点名称

节点ip

节点角色

node1

192.168.179.4

Master Server,Tablet Server

node2

192.168.179.5

Master Server,Tablet Server

node3

192.168.179.6

Tablet Server

1、首先在每个节点上传安装包

在每台节点上创建/software/kudu目录,将rpm安装包上传到此路径下。

 

2、在node1、node2节点上安装如下rpm安装包

rpm -ivh kudu-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el7.x86_64.rpm
rpm -ivh kudu-master-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el7.x86_64.rpm
rpm -ivh kudu-tserver-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el7.x86_64.rpm
rpm -ivh kudu-client0-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el7.x86_64.rpm
rpm -ivh kudu-client-devel-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el7.x86_64.rpm

3、在node3节点上安装如下rpm安装包

rpm -ivh kudu-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el7.x86_64.rpm
rpm -ivh kudu-tserver-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el7.x86_64.rpm
rpm -ivh kudu-client0-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el7.x86_64.rpm
rpm -ivh kudu-client-devel-1.4.0+cdh5.12.2+0-1.cdh5.12.2.p0.8.el7.x86_64.rpm

4、配置Master Server

修改node1、node2节点/etc/default/kudu-master文件,配置Master Server绑定的IP为对应的节点:

#在node1节点配置如下:
export FLAGS_log_dir=/var/log/kudu
export FLAGS_rpc_bind_addresses=node1:7051

#在node2节点配置如下:
export FLAGS_log_dir=/var/log/kudu
export FLAGS_rpc_bind_addresses=node2:7051

5、配置Tablet Server

修改node1、node2、node3节点/etc/default/kudu-tserver文件,配置Tablet Server绑定的IP为对应的节点:

#在node1节点配置如下:
export FLAGS_log_dir=/var/log/kudu
export FLAGS_rpc_bind_addresses=node1:7050

#在node2节点配置如下:
export FLAGS_log_dir=/var/log/kudu
export FLAGS_rpc_bind_addresses=node2:7050

#在node3节点配置如下:
export FLAGS_log_dir=/var/log/kudu
export FLAGS_rpc_bind_addresses=node3:7050

 

6、Master节点配置所有Master Server

在node1、node2 Master节点修改/etc/kudu/conf/master.gflagfile文件,在文件最后配置Master Server节点:

--fromenv=rpc_bind_addresses
--fromenv=log_dir

--fs_wal_dir=/var/lib/kudu/master
--fs_data_dirs=/var/lib/kudu/master #数据存储路径
--master_addresses=node1:7051,node2:7051 #配置Master Server

7、Server节点配置所有Master Server

在node1、node2、node3节点上修改/etc/kudu/conf/tserver.gflagfile文件,在文件最后配置Master Server节点:

--fromenv=rpc_bind_addresses
--fromenv=log_dir

--fs_wal_dir=/var/lib/kudu/tserver
--fs_data_dirs=/var/lib/kudu/tserver #数据存储路径
--tserver_master_addrs=node1:7051,node2:7051 #配置Master Server

三、​​​​​​​​​​​​​​Kudu集群启动及停止

1、启动Kudu

在每台Master Server节点上启动master:

service kudu-master start

在每台Tablet Server 节点上启动tserver:

service kudu-tserver start

2、检查kudu是否启动成功

在每台节点可以执行“ps aux|grep kudu”来查看对应的Kudu进程。如果启动Kudu出错或者没有对应的Kudu进程,可以在/var/log/kudu目录下查看日志。

3、访问Kudu WebUI页面

Kudu启动成功后,可以通过访问http://Master Server IP:8051来访问Kudu WebUI。Master Server 默认的WebUI端口为8051。这里访问任意的master节点都可以访问WebUI:

可以点击“Masters”标签查看Leader Master信息:

可以点击“Tablet Server”查看Tablet Server信息:

 

4、停止Kudu

在每台Master Server节点上停止master:

service kudu-master stop

在每台Tablet Server 节点上停止tserver:

service kudu-tserver stop

  •  📢博客主页:https://lansonli.blog.csdn.net
  • 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正!
  • 📢本文由 Lansonli 原创,首发于 CSDN博客🙉
  • 📢停下休息的时候不要忘了别人还在奔跑,希望大家抓紧时间学习,全力奔赴更美好的生活✨

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/84825.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

对DataFrame中元素进行定位并修改的DataFrame.iat[]方法

【小白从小学Python、C、Java】 【计算机等级考试500强双证书】 【Python-数据分析】 根据指定的行和列的位置号 显示或修改DataFrame中相应位置的元素 DataFrame.iat[x,y] 选择题 关于以下python代码说法错误的一项是? import pandas as pd df pd.DataFrame({"A"…

手把手教你搭建自己的FTP文件服务器

大家好,我是小豪,今天我来给大家分享如何在虚拟机上搭建自己的文件服务器 文章目录Linux上安装文件服务器FTP安装VSFTP下载dnf下载VSFTP清除防火墙的iptables缓存下载FTP匿名访问模式本地用户模式Linux上安装文件服务器FTP 由于FTP、HTTP、Telnet等协议…

【阿里实践】基于深度学习的个性化推荐系统实时化改造与升级

省时查报告-专业、及时、全面的行研报告库省时查方案-专业、及时、全面的营销策划方案库【免费下载】2022年11月份热门报告盘点推荐技术在vivo互联网商业化业务中的实践.pdf推荐系统基本问题及系统优化路径.pdf大规模推荐类深度学习系统的设计实践.pdf荣耀推荐算法架构演进实践…

doom emacs如何安装新插件和自定义快捷键

doom emacs如何安装新插件和自定义快捷键 最近在学习和使用doom emacs,遇到了2个问题。 问题1: 虽然doom emacs已经配置了很多的三方插件,但是还有些个性化的插件如何按doom风格添加? 问题2: 有些快捷键自己已经熟悉,如何修改&am…

双目密集匹配及SGM算法

提示: 双目密集匹配及SGM算法前言一、双目密集匹配1、双目密集匹配概述2.、双目密集匹配四大步骤代价计算(per-pixel-cost):释义:代价聚集(cost-aggregation):释义:分类:…

以就业为目标,Python到底应该学什么?

前言 很多小伙伴知道Python火爆薪资高,开始自学,可是并不知道Python应该学哪些技术、学到什么程度才能找到工作。今天我们就来分析一下,Python学到什么程度才能找到工作。 相关:我是今年刚刚毕业的不入流大学的本科生&#xff0…

KingbaseES Create Index Concurrently 过程探究

前言: 我们知道Oracle 可以通过create index online 在线创建索引,而不影响其他会话修改数据,但Oracle 实际在online 创建索引的最后一步,实际还是需要进行锁升级,申请表级的S锁,因此,最后还是有…

STM32CUBEMX开发GD32F303(17)----内部Flash读写

概述 本章STM32CUBEMX配置STM32F103,并且在GD32F303中进行开发,同时通过开发板内进行验证。 本例程主要讲解如何对芯片自带Flash进行读写,用芯片内部Flash可以对一些需要断电保存的数据进行保存,无需加外部得存储芯片&#xff0c…

广告公司到底干什么的?欣奥诚分享

广告公司到底干什么的? 这篇文章从产业的角度拆分广告业,还原一个真实的广告业出来。 01. 它们是谁? 早年广告业有4类公司:品牌咨询类公司;设计创意类公司;媒介投放类公司;活动执行类公司。 …

[附源码]Python计算机毕业设计电子病历系统Django(程序+LW)

该项目含有源码、文档、程序、数据库、配套开发软件、软件安装教程 项目运行 环境配置: Pychram社区版 python3.7.7 Mysql5.7 HBuilderXlist pipNavicat11Djangonodejs。 项目技术: django python Vue 等等组成,B/S模式 pychram管理等…

前端大全之JavaScript(简称JS)

目录 一、概念 1.总体概要 2.来源说明 3.JavaScript和java的关系 4.JS的特点 5.浏览器执行JS的简介 6.JS的组成 二、引入方式 1.内部脚本例子 2. 外部脚本例子 三、使用规则 1.书写语法 2.报错的查看方式 3.输出语句 (1)写入警告框 &am…

SecXOps 中的数据集存储方式

安全数据资产 统一管理DataOps,即 Data 和 Operations 的集成,于 2014 年首次提出。Gartner 将 DataOps 定义为“一种协作性的数据管理 实践,专注于改进组织内数据管道的通信、集成和自动化”[7]。DataOps 是一种面向流程的自动化方法&#x…

基于Java开发的(控制台)模拟的多用户多级目录的文件系统【100010035】

多级文件系统 1 设计目的 为了加深对文件系统内部功能和实现过程的理解,设计一个模拟的多用户多级目录的文件系统,并实现具体的文件物理结构、目录结构以及较为完善的文件操作命令集。 2 设计内容 2.1系统操作 操作命令风格:本文件系统的…

110115-07-6,Ac-LLM-CHOCalpain 抑制剂

Ac-LLM-CHO (ALLM) is a potent competitive inhibitor of cathepsin L (Ki0.6 nM) and cathepsin B (Ki100 nM). Ac-LLM-CHO (ALLM)是组织蛋白酶L (Ki0.6 nM)和组织蛋白酶B (Ki100 nM)的有效竞争性抑制剂。 编号: 124055中文名称: Calpain 抑制剂 II: Ac-Leu-Leu-M…

[附源码]Node.js计算机毕业设计点餐系统设计Express

项目运行 环境配置: Node.js最新版 Vscode Mysql5.7 HBuilderXNavicat11Vue。 项目技术: Express框架 Node.js Vue 等等组成,B/S模式 Vscode管理前后端分离等等。 环境需要 1.运行环境:最好是Nodejs最新版,我…

游戏开发59课 性能优化

7. 耗电优化 游戏耗电和游戏卡并无必然联系,有些游戏在某些设备上虽然运行很流畅,但发现耗电很厉害,玩了不到半个小时,电量已经出现警报。游戏耗电的原因主要是因为:CPU占用普遍高,内存操作频繁&#xff0…

Spring MVC学习 | 获取请求参数

文章目录一、ServletAPI获取二、控制器方法形参获取2.1 不使用RequestParam注解2.2 使用RequestParam注解2.2.1 简介&使用2.2.2 相关注解2.3 实体类类型的形参三、中文乱码问题3.1 在tomcat中设置编码(了解)3.2 使用Spring MVC内部过滤器设置编码学习…

【PortSwiggerのWeb Security Academy靶场】SQL Injection系列 9th

Subject Lab: Blind SQL injection with conditional responses Url: portswigger.net/web-securit… Mind Palace 在带着 cookies的后续访问网页时会找到出现的 Welcome back! 标志 > 无法回显 > 采用盲注的方式 0x01 确认注入点 0x02 爆破数据库名 # 测试informati…

qiankun 部署微前端-vue2(一)

自从前后端分离以来,一直都有个困惑,就是随着项目的功能的不断拓展,项目变得不断臃肿,每次打包编译,都要把整个项目编译,非常耗时。如果前端也能像后端一样,在项目搭建初期,有类似微…

C++11【包装器】

包装器📖1. 为什么需要包装器📖2. 如何使用包装器📖3. bind函数📖1. 为什么需要包装器 包装器也叫做适配器,C中的function本质是一个类模板,也是一个包装器. 为什么需要function呢? 我们来看…