Zeppelin安装教程
安装zeppelin必须基于Hadoop和Hive上
文章目录
- Zeppelin安装教程
- 简介
- 安装步骤
- 1.上传zeppelin压缩包
- 2.解压并更名
- 3.修改配置文件
- 编辑zeppelin-site.xml---将配置文件的ip地址和端口号进行修改
- 编辑 zeppelin-env.sh---添加JDK和Hadoop环境
- 拷贝hive文件
- 切换目录拷贝文件
- 需要外部jar拷贝
- 编写环境配置
- 启动
- 可视化界面
- 配置hive
- 操作
简介
它提供了一个非常友好的 WebUI 界面,操作相关指令。它可以用于做数据分析和可视化。其后面可以接入不同的数据处理引擎。包括 Flink,Spark,Hive 等。支持原生的 Scala,Shell,Markdown 等。
Zeppelin是一个Apache的孵化项目
一个基于web的笔记本,支持交互式数据分析。你可以用SQL、Scala等做出数据驱动的、交互、协作的文档。(类似于ipython notebook,可以直接在浏览器中写代码、笔记并共享),可以看作一个多用途笔记本。
安装步骤
1.上传zeppelin压缩包
这里直接用xftp上传到/opt/install----没有的可以单独建一个
2.解压并更名
这里解压到/opt/soft
[root@hadoop install]# tar -zxf zeppelin-0.10.0-bin-all.tgz -C ../soft/
# 切换目录
[root@hadoop install]# cd ../soft
# 更名
[root@hadoop soft]# mv zeppelin-0.10.0-bin-all/ zeppelin
3.修改配置文件
切换到/opt/soft/zeppelin/conf
# 拷贝
[root@hadoop conf]# cp zeppelin-site.xml.template zeppelin-site.xml
[root@hadoop conf]# cp zeppelin-env.sh.template zeppelin-env.sh
编辑zeppelin-site.xml—将配置文件的ip地址和端口号进行修改
[root@hadoop conf]# vim ./zeppelin-site.xml
编辑 zeppelin-env.sh—添加JDK和Hadoop环境
[root@hadoop conf]# vim ./zeppelin-env.sh
拷贝hive文件
[root@hadoop conf]# cp /opt/soft/hive312/conf/hive-site.xml ./
切换目录拷贝文件
[root@hadoop conf]# cd ../interpreter/jdbc/
[root@hadoop jdbc]# pwd
/opt/soft/zeppelin/interpreter/jdbc
# 拷贝
[root@hadoop jdbc]# cp /opt/soft/hadoop313/share/hadoop/common/hadoop-common-3.1..3.jar ./
[root@hadoop jdbc]# cp /opt/soft/hive312/lib/curator-client-2.12.0.jar ./
[root@hadoop jdbc]# cp /opt/soft/hive312/lib/guava-27.0-jre.jar ./
[root@hadoop jdbc]# cp /opt/soft/hive312/lib/hive-common-3.1.2.jar ./
[root@hadoop jdbc]# cp /opt/soft/hive312/lib/hive-jdbc-3.1.2.jar ./
[root@hadoop jdbc]# cp /opt/soft/hive312/lib/hive-serde-3.1.2.jar ./
[root@hadoop jdbc]# cp /opt/soft/hive312/lib/hive-service-3.1.2.jar ./
[root@hadoop jdbc]# cp /opt/soft/hive312/lib/hive-service-rpc-3.1.2.jar ./
[root@hadoop jdbc]# cp /opt/soft/hive312/lib/libthrift-0.9.3.jar ./
[root@hadoop jdbc]# cp /opt/soft/hive312/lib/protobuf-java-2.5.0.jar ./
需要外部jar拷贝
用xftp上传到/opt/soft/zeppelin/interpreter/jdbc
编写环境配置
[root@hadoop jdbc]# vim /etc/profile
[root@hadoop jdbc]# source /etc/profile
启动
[root@hadoop jdbc]# zeppelin-daemon.sh start
Log dir doesn't exist, create /opt/soft/zeppelin/logs
Pid dir doesn't exist, create /opt/soft/zeppelin/run
Zeppelin start [ OK ]
可视化界面
打开浏览器 输入设置的ip+端口号
配置hive
操作
create 新建
名字自定义
选择hive
%hive----执行HQL语句
%hive
show databases;
%sh-----执行linux命令
%sh
ls /opt/soft
cd /opt/install
ls