1相比于 Kylin 3.x,Kylin 4.0 实现了全新 spark 构建引擎和 parquet 存储,使 kylin 不依赖 hadoop 环境部署成为可能。无Hadoop环境也降低了运维成本,减少了系统资源占用。
以下操作基于centos7.6 单机版本
部署版本信息如下
- JDK 1.8
- Hive 2.3.9
- Zookeeper 3.4.13
- Kylin 4.0.3 for spark3
- Spark 3.1.1
- Hadoop 3.2.0(不需要启动)
如有需要可以上传。
1.前期准备
1.1关闭防火墙
systemctl stop firewalld.service
systemctl disable firewalld.service
systemctl status firewalld.service
1.2关闭SELinux
vi /etc/selinux/config
-
将
SELINUX=enforcing
指令更改为SELINUX=disabled
1.3修改文件句柄数和用户最大进程数
1.3.1
vim /etc/systemd/system.conf
查找并修改下列两行的值或直接添加:
DefaultLimitNOFILE=1024000
DefaultLimitNPROC=1024000
1.3.2
vim /etc/security/limits.conf
在文件中末尾添加:
星号为任意用户 或者*替换为root 为指定root用户
* soft fsize unlimited
* hard fsize unlimited
* soft cpu unlimited
* hard cpu unlimited
* soft as unlimited
* hard as unlimited
* soft nofile 1024000
* hard nofile 1024000
* soft nproc 1024000
* hard nproc 1024000
1.3.3
vim /etc/security/limits.d/20-nproc.conf
* soft nproc 1024000
root soft nproc unlimited
2.JDK8安装
mkdir -p /usr/local/java/
cp /opt/install_bin/jdk-8u321-linux-x64.tar.gz /usr/local/java/
cd /usr/local/java/
tar -xzvf ./jdk-8u321-linux-x64.tar.gz
vi /etc/profile
追加以下内容
export JAVA_HOME=/usr/local/java/jdk1.8.jdk1.8.0_321
export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar
export PATH=$PATH:${JAVA_HOME}/bin
3.Mysql安装
基于docker安装,先安装docker
yum install -y docker
systemctl enable docker.service
systemctl start docker
sudo docker run -p 3306:3306 --name mysql \
-v /mydata/mysql/log:/var/log/mysql \
-v /mydata/mysql/data:/var/lib/mysql \
-v /mydata/mysql/conf:/etc/mysql \
-e MYSQL_ROOT_PASSWORD=root \
-d mysql:5.7