大数据-158 Apache Kylin 安装配置详解 集群模式启动

news2024/10/9 23:18:33

点一下关注吧!!!非常感谢!!持续更新!!!

目前已经更新到了:

  • Hadoop(已更完)
  • HDFS(已更完)
  • MapReduce(已更完)
  • Hive(已更完)
  • Flume(已更完)
  • Sqoop(已更完)
  • Zookeeper(已更完)
  • HBase(已更完)
  • Redis (已更完)
  • Kafka(已更完)
  • Spark(已更完)
  • Flink(已更完)
  • ClickHouse(已更完)
  • Kudu(已更完)
  • Druid(已更完)
  • Kylin(正在更新…)

章节内容

上节我们完成了如下的内容:

  • Kylin 历史
  • Kylin 历程
  • Kylin 特点
  • Kylin 架构
  • Kylin 组件

在这里插入图片描述

依赖环境

在这里插入图片描述

集群规划

在这里插入图片描述
我这里就不根据上图来做了,因为我的服务器资源比较紧张,我就自由安排了。
需要注意:要求HBase的hbase.zookeeper.quorum值必须只能是 host1、host2这种,不允许host1:2181、host2:2181这种。

cd /opt/servers/hbase-1.3.1/conf
vim hbase-site.xml

(之前HBase实验已经做过了,配置就是这样的)

保险起见,放一个截图:
在这里插入图片描述

项目下载

下载地址如下:

https://archive.apache.org/dist/kylin/

这里使用的是:

https://archive.apache.org/dist/kylin/apache-kylin-3.1.1/apache-kylin-3.1.1-bin-hbase1x.tar.gz

你可以通过wegt或者本地下载完传到服务器上,按照需求,我这里是上传到 h122 节点上

cd /opt/software
wget https://archive.apache.org/dist/kylin/apache-kylin-3.1.1/apache-kylin-3.1.1-bin-hbase1x.tar.gz

等待下载完毕
在这里插入图片描述

解压移动

cd /opt/software
tar -zxvf apache-kylin-3.1.1-bin-hbase1x.tar.gz

运行结果如下图所示:
在这里插入图片描述

接着将其移动到servers目录,方便后续的管理:
在这里插入图片描述

环境变量

vim /etc/profile

我们需要加入Kylin的环境变量:(记得刷新环境变量)

export KYLIN_HOME=/opt/servers/apache-kylin-3.1.1-bin-hbase1x
export PATH=$PATH:$KYLIN_HOME/bin

配置环境变量如下图所示:
在这里插入图片描述

依赖组件

cd $KYLIN_HOME/conf
ln -s $HADOOP_HOME/etc/hadoop/hdfs-site.xml hdfs-site.xml
ln -s $HADOOP_HOME/etc/hadoop/core-site.xml core-site.xml
ln -s $HBASE_HOME/conf/hbase-site.xml hbase-site.xml
ln -s $HIVE_HOME/conf/hive-site.xml hive-site.xml
ln -s $SPARK_HOME/conf/spark-defaults.conf spark-defaults.conf

执行的结果如下图所示:
在这里插入图片描述

配置环境

我们需要修改 kylin.sh

cd $KYLIN_HOME/bin
vim kylin.sh

# 需要写入这些依赖 防止后续报错
export HADOOP_HOME=/opt/servers/hadoop-2.9.2
export HIVE_HOME=/opt/servers/apache-hive-2.3.9-bin
export HBASE_HOME=/opt/servers/hbase-1.3.1
export SPARK_HOME=/opt/servers/spark-2.4.5-bin-without-hadoop-scala-2.12

配置结果如下图所示:
在这里插入图片描述

检查依赖

$KYLIN_HOME/bin/check-env.sh

我这里报错了,可能是之前的环境变量有问题:
在这里插入图片描述
我找了一圈,看到 Flink YARN 这里HADOOP_CONF_DIR可能配置错了:

# Flink YRAN
# export HADOOP_CONF_DIR=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_CLASSPATH=`hadoop classpath`

修改完的结果为如下:(这里我暂时注释了,防止我的FlinkYRAN以后不能用了)
在这里插入图片描述
重新进行测试环境,检查顺利通过,看里边还有一些和Flink、Kafka的配置等,你需要的话可以加入:
在这里插入图片描述

启动集群

ZooKeeper

启动 h121 h122 h123集群模式
需要每个节点都运行

zkServer.sh start

HDFS

启动 h121 h122 h123
h121运行即可,但是要检查确认

start-dfs.sh

YRAN

启动 h121 h122 h123
h121运行即可,但是要检查确认

start-yarn.sh

HBase

启动 h121 h122 h123
h121运行即可,但是要检查确认

start-hbase.sh

Metastore

启动 h121 即可

nohup hive --service metastore > /tmp/metastore.log 2>&1 &

运行结果如下图:
在这里插入图片描述

history server

启动 h121 即可

mr-jobhistory-daemon.sh start historyserver

Kylin

启动 h122

kylin.sh start

运行过程如下图所示:
在这里插入图片描述

节点详情

h121

在这里插入图片描述
与上图对应一下:

  • Metastore
  • Zookeeper
  • HBase
  • HDFS
  • JPS跳过
  • YARN
  • Hadoop

h122

在这里插入图片描述

  • JPS跳过
  • YRAN
  • ZooKeeper
  • HBase
  • 好像是Kylin
  • HDFS

h123

在这里插入图片描述

  • YARN
  • JPS跳过
  • HBase
  • ZooKeeper
  • Hadoop
  • HDFS

启动结果

http://h122.wzk.icu:7070/kylin/login

我们访问之后可以看到如下的内容:
在这里插入图片描述

登录进入

默认都是大写
账号 ADMIN
密码 KYLIN

登录进入之后,就是如下的结果:
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/2200327.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

无线麦克风什么牌子的音质效果好?选购中必须警惕劣质产品

在音频设备不断推陈出新、日益丰富多样的今天,无线领夹麦克风以其独有的优点崭露头角。它的设计非常精巧,佩戴起来既舒适又方便,并且在各种不同的环境下都能保证音质稳定以及传输效果良好。 无论是在户外进行拍摄、室内开展直播,…

uniapp学习(003-3 vue3学习 Part.3)

零基础入门uniapp Vue3组合式API版本到咸虾米壁纸项目实战,开发打包微信小程序、抖音小程序、H5、安卓APP客户端等 总时长 23:40:00 共116P 此文章包含第21p-第p25的内容 文章目录 双向绑定的实现原理例子 计算属性例子1双向绑定格式改成计算属性 例子2 watchwatc…

STM32 -- USB通信 ( 虚拟串口)

本篇操作: 通过CubeMX Keil,配置STM32作为USB设备端,与电脑进行通信(CDC);通用带USB功能的 STM32 芯片 (如F1、F4等,系统时钟配置不同,代码通用)。 目录 一、 STM32内…

高质量带货短视频素材来源推荐

在抖音带货时,寻找高质量视频素材至关重要。今天,我为大家分享五个可以下载高清无水印带货短视频素材的网站,帮助你轻松获取灵感和素材! 蛙学网 蛙学网作为国内领先的短视频素材平台,提供多种类的带货短视频素材。无论…

[QT GUI Tips] Qt creator + PySide6 如何让图像控件的尺寸变化和窗口一致

前言:【这是个AI不会回答的问题】 Qt Creator 新的版本又发出了,Pyside6 有很多新功能。但是,一些传统的方法要被淘汰了。 一个经典的例子是: 我有个一个图像要显示在Form里面的图像控件上,OK, 我现在拖…

操作系统-系统调用

应用程序调用printf(),会触发系统调用write() 1、概念 操作系统服务的编程接口,通常由高级语言编写(C/C),程序访问通常是通过高层次的API接口而不是直接进行系统调用。 2、三种最常用的应用程序编程接口(API&#xf…

从零开始:网页在线制作入门指南

如果你对网页在线制作感兴趣,想学习如何从零开始创建一个网页,这个教程将带你了解基础步骤、所需工具以及如何将设计交付给开发人员的完整过程。接下来,让我们开始吧! 一、 明确目标群体与网站用途 在启动网页制作之前&#xff…

【UE】简单介绍“Extra Win Function”插件的功能

“Extra Win Function”插件包含32个C类封住成的蓝图节点供用户使用,下面简单介绍19个可能常用的节点的功能。 1. “Is Internet Available” 检查是否可接入互联网 2. “Get Device Platform” 获取设备平台名称 3. “Get Android Device RAMSize” 获取RAM 大小 …

Leetcode 486. 预测赢家

1、心路历程 这道题最开始想到的做法是回溯,因为看起来遍历就可以做,但是又想到同时需要维护两个人的数据就有点懵了。后来提示说用动态规划做是OK的。 这道题最难的地方在于,需要把输赢建模成“净胜分”,这样就能把两个主体合并…

如何在Android Studio中找到CMakeLists.txt的打印信息

根据Android Studio 中的 CMake message 输出位置在哪里? - 简书 (jianshu.com) 的描述,MESSAGE函数打印的STATUS级别的信息在android studio中是看不到的。所以采用WARNING级别打印。 下面使用android studio 2023.2.1打印信息。编译之后,点…

[实用工具]Docker安装nextcloud实现私有云服务

Nextcloud是一款开源的云存储和协作平台,允许用户在自己的服务器上存储和访问文件,同时提供强大的协作工具。它可以替代商业云存储服务,让用户拥有完全控制和自主管理自己的数据。 Nextcloud支持文件上传和下载,可以通过Web界面、…

指针 (八)例题深度解析

有关于指针的基本知识点我们都已经讲解完了,不出意外的话,这一篇就是我们指针的最后一期了,今天我们就来看一看一些有关于指针运算的例题: 每一道题诸君都应该有着自己先独立思考的能力,咱们不要怕面对,不…

算法笔记day02

目录 游游的you 腐烂的苹果 孩子们的游戏 游游的you 游游的you__牛客网 这里需要注意 oooo 是3分而不是两分。 算法思路: 拼出you可以得2分,先拼出所有的you,在将所有的o拼在一起即可。 选3个字母个数最小的就是能拼出you的个数。 #in…

LeetCode讲解篇之34. 在排序数组中查找元素的第一个和最后一个位置

文章目录 题目描述题解思路题解代码题目链接 题目描述 题解思路 这题让我们求目标值的左边界和右边界,我们可以采用二分查找搜索有序数组内大于等于目标值的最左边的下标 然后我们只需要在有序数组查找一下大于等于target的最左边下标 如果该下标越界或者下标对应…

陈奂仁「仓鼠艺术奥德赛」游戏体验上线:踏上沉浸式艺术之旅

今年 2 月,陈奂仁(Hanjin)在 The Sandbox 推出「仓鼠涂鸦」系列,将艺术与实用性融为一体。该系列包括 1,500 个以仓鼠为灵感的人物化身,其中更包括 8 款向著名艺术家致敬、独一无二的 NFT。这些人物化身通过「表情」&a…

芝法酱学习笔记(0.6)——nexus与maven私库

一、私库的需求 在一个公司中,后端程序员通常几十上百个。在没有镜像私库的情况下,每当引入新库时,大家都会从maven中央仓库下载一遍这个库。这样无疑十分浪费。再加之国家的防火墙政策,许多人下载lib包可能还会十分缓慢。不同程…

【黑马点评】8-12达人探店、好友关注、附近商户、用户签到、UV统计功能

【黑马点评】8-12达人探店、好友关注、附近商户、用户签到、UV统计功能 8 达人探店8.1 达人探店-发布探店笔记8.2 达人探店-查看探店笔记8.3 达人探店-点赞功能8.4 点赞排行榜 9 好友关注9.1 好友关注-关注和取消关注9.2 好友关注-共同关注9.3 好友关注-Feed流实现方案9.4 好友…

懒人笔记-QT程序UOS打包篇

懒人笔记-uos打包篇 前言1、deploy2、组织打包目录2.1 控制文件2.1.1 control的内容:2.1.2 postinst的内容:2.1.3 postrm的内容: 2.2 执行程序2.3 开机自启(可选项) 3、输出deb安装包4、服务卸载4.1 服务卸载4.2 程序按…

信息论笔记

知识点 学习视频链接 信息论简介和概率论复习 信息的定义 信息、信号、消息的概念 香农信息 信息论的研究对象和目的 信源:产生消息和消息序列的源编码器:将消息变为适合信道传输的物理量信道:传输或者储藏信号的媒介译码器&#xf…

mysql事务使用和事务隔离级别与sqlserver的比较

在 MySQL 中,事务 (Transaction) 是一个将一组 SQL 语句作为一个整体执行的机制。事务确保要么所有操作都执行成功,要么在遇到错误时回滚到之前的状态,从而保证数据库数据的一致性和完整性。 事务的四大特性(ACID) 事…