0 说明
本文基于本地虚拟机从零开始搭建ambari集群
1 前置条件
1.1 本地虚拟机环境
| 节点 | 角色 |
|---|---|
| ambari-1 | ambari-server ambari-agent |
| ambari-2 | ambari-agent |
| ambari-3 | ambari-agent |
1.2 安装包
1.3 修改主机名并配置hosts文件
hostnamectl set-hostname ambari-1
hostnamectl set-hostname ambari-2
hostnamectl set-hostname ambari-3
配置hosts,添加如下内容
192.168.2.51 ambari-1
192.168.2.52 ambari-2
192.168.2.53 ambari-3
1.4 配置节点间免密
所有节点执行
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
ssh-copy-id -i ~/.ssh/id_rsa.pub ambari-1
ssh-copy-id -i ~/.ssh/id_rsa.pub ambari-2
ssh-copy-id -i ~/.ssh/id_rsa.pub ambari-3
1.5 关闭防火墙
systemctl stop firewalld.service
systemctl disable firewalld.service
1.6 关闭selinux(所有节点)
vim /etc/sysconfig/selinux
修改
SELINUX=disabled
查看修改是否成功
sestatus -v
1.7 设置安全限制(所有节点)
vim /etc/security/limits.conf
添加如下内容：
* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072
1.8 修改系统最大文件打开数(所有节点)
vim /etc/systemd/system.conf
1.9 安装pssh(非必须)
pssh基于Python编写的并发在多台服务器上批量执行命令的工具，它支持文件并行复制、远程并行执行命令、杀掉远程主机上的进程等,这里介绍安装及常用命令。
wget http://peak.telecommunity.com/dist/ez_setup.py
wget https://pypi.python.org/packages/60/9a/8035af3a7d3d1617ae2c7c174efa4f154e5bf9c24b36b623413b38be8e4a/pssh-2.3.1.tar.gz
- 解压
tar -zxvf pssh-2.3.1.tar.gz
build & install
python setup.py build
python setup.py install
- 创建nodes文件
添加需要批处理的服务器节点
ambari-1:22
ambari-2:22
ambari-3:22
- 使用示例
pssh -h /root/node.txt -i -P 'date'
1.10 配置ntpd同步(所有节点)
1.11 设置swap(所有节点)
pssh -h /root/nodes.txt -i 'echo vm.swappiness = 1 >> /etc/sysctl.conf'
pssh -h /root/nodes.txt -i 'sysctl vm.swappiness=1'
pssh -h /root/nodes.txt -i 'sysctl -p'
1.12 安装http服务(主节点)
yum -y install httpd
设置开机自启
systemctl start httpd
systemctl enable httpd.service
浏览器访问测试，出现如下页面说明安装成功
安装完成后，会生成 /var/www/html目录（相当于Tomcat的webapps目录），进入到/var/www/html目录下，创建ambari和hdp目录，用来存放安装文件.
1.13 安装httpd服务(主节点)
mkdir /var/www/html/ambari
mkdir /var/www/html/hdp
mkdir /var/www/html/hdp/HDP-UTILS-1.1.0.22
mkdir /var/www/html/hdp/HDP-GPL-3.1.5.0
tar -zxvf ambari-2.7.5.0-centos7.tar.gz -C /var/www/html/ambari/
tar -zxvf HDP-3.1.5.0-centos7-rpm.tar.gz -C /var/www/html/hdp/
tar -zxvf HDP-UTILS-1.1.0.22-centos7.tar.gz -C /var/www/html/hdp/HDP-UTILS-1.1.0.22/
tar -zxvf HDP-GPL-3.1.5.0-centos7-gpl.tar.gz -C /var/www/html/hdp/HDP-GPL-3.1.5.0/
重启httpd服务
systemctl restart httpd
测试访问：
http://ambari-1:/ambari
http://ambari-1:/hdp
1.14 配置离线yum源(主节点)
cd /var/www/html/ambari/ambari/centos7/2.7.5.0-72
vim ambari.repo
复制到/etc/yum.repos.d目录下，并同步到其他节点
查看yum源是否配置成功
pssh -h /root/nodes.txt -i 'yum repolist'
1.15 安装jdk(所有节点)
注：安装在/usr/local/java目录下或在该目录下建立软连接，因为ambari默认会去该目录找java。
2 安装Mysql
2.1 卸载mariadb
rpm -qa | grep mariadb | xargs rpm -e --nodeps
2.2 下载mysql5.7的yum源
wget https://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.rpm
2.3 安装Mysql的yum源
rpm -ivh mysql57-community-release-el7-9.noarch.rpm
2.4 安装Mysql
yum -y install mysql-server
安装过程中可能报错如下：
执行如下命令，再次安装即可
rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022
2.5 启动mysql
service mysqld start
2.6 查看root密码
grep 'temporary password' /var/log/mysqld.log
2.7 执行Mysql脚本
mysql_secure_installation
2.8 配置新密码
2.9 配置root远程登录
mysql -uroot -p密码
grant all privileges on *.* to 'root' @'%' identified by 'Chen.123456';
flush privileges;
2.10 拷贝mysql驱动
将mysql-connector-java-5.1.27-bin.jar拷贝到/usr/share/java路径下，并重命名mysql-connector-java.jar
注：这里需要将mysql的驱动jar包拷贝到/usr/share/java目录下，如果该目录不存在，则新建目录。因为ambari-server启动后会默认到该位置找jar包，如果/usr/share/java不存在该jar包，则会报错如下：
3 安装Ambari&HDP
3.1 安装ambari-server
yum -y install ambari-server
3.2 配置ambari.properties
配置/etc/ambari-server/conf/ambari.properties
vim /etc/ambari-server/conf/ambari.properties
添加如下配置
server.jdbc.driver.path=/root/software/mysql/mysql-connector-java.jar
3.3 配置ambari-server
ambari-server setup
3.4 登录mysql创建ambari安装所需要的库
1）创建ambari数据库和ambari用户
CREATE DATABASE ambari DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
use ambari;
CREATE USER 'ambari'@'%' IDENTIFIED BY 'ambari123';
GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';
CREATE USER 'ambari'@'localhost' IDENTIFIED BY 'ambari123';
GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'localhost';
CREATE USER 'ambari'@'ambari-1' IDENTIFIED BY 'ambari123';
GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'ambari-1';
可能包如下错：
ERROR 1819 (HY000): Your password does not satisfy the current policy requirements
这是由于mysql策略设置的问题，解决方案如下：
① 查看mysql当前密码设置策略
SHOW VARIABLES LIKE 'validate_password%';
② 执行如下命令，即可
set global validate_password_policy=0;
2）执行初始化sql语句
use ambari;
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql
- 创建hive数据库和hive用户
注：这里创建的hive账户主要用来后续安装hive组件时使用，如果不需要安装hive，则可跳过此步
CREATE DATABASE hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
use hive;
CREATE USER 'hive'@'%' IDENTIFIED BY 'hive1234';
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';
CREATE USER 'hive'@'localhost' IDENTIFIED BY 'hive1234';
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'localhost';
CREATE USER 'hive'@'ambari-1' IDENTIFIED BY 'hive1234';
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'ambari-1';
- 创建oozie数据库和oozie账户
注：这里创建的oozie账户主要用来后续安装hive组件时使用，如果不需要安装oozie，则可跳过此步
CREATE DATABASE oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
use oozie;
CREATE USER 'oozie'@'%' IDENTIFIED BY 'oozie123';
GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'%';
CREATE USER 'oozie'@'localhost' IDENTIFIED BY 'oozie123';
GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'localhost';
CREATE USER 'oozie'@'ambari-1' IDENTIFIED BY 'oozie123';
GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'ambari-1';
5）刷新
FLUSH PRIVILEGES;
3.5 启动ambari-server
ambari-server start
查看/var/log/ambari-server/ambari-server.out日志，发现正常
3.6 所有节点安装ambari-agent
pssh -h /root/nodes.txt -i 'yum -y install ambari-agent'
修改配置文件ambari-agent.ini
vi /etc/ambari-agent/conf/ambari-agent.ini
启动ambari-agent
pssh -h /root/nodes.txt -i 'systemctl start ambari-agent'
4 部署集群
登录ambari-1:8080可看到如下页面,账户和密码均为admin
ambari-1:8080
4.1 设置集群名
4.2 设置正确版本
选择HDP-3.1和Use Local Repository
删除其他镜像源，选择Redhat,并输入HDP的url地址
4.3 配置节点并验证
设置ambari集群的节点，选择手动(这里需要保证集群其他节点的ambari-agent均正常启动)
等待准备完成
4.4 选择需要安装的服务
注：点击下一步如发生报错，说明ambari用户对目录没有执行权限，在后台执行如下命令即可
Error message: Error occured during stack advisor command invocation: Cannot create /var/run/ambari-server/stack-recommendations
sudo chown -R ambari /var/run/ambari-server
4.5 配置
按默认配置
4.6 配置服务slaves
4.7 设置相关服务密码
4.8 测试数据库连接
注：如果测试连接失败，报错如下：
这里是由于mysql的jar包没有识别到，在server节点执行如下命令
ambari-server setup --jdbc-db=mysql --jdbc-driver=/root/software/mysql/mysql-connector-java.jar
然后再点击测试即能正常连接
保持默认，点击下一步
保持默认，下一步
保持默认，下一步
4.9 部署
等待部署完成
安装完成(这里报黄是由于，当前安装是虚拟机安装，内存不足显示为黄色，没有问题)
4.10 完成安装
5 附ambari汉化
5.1 汉化的文件
| 模块 | 源码文件目录 | 编译后目录 | 安装后目录 |
|---|---|---|---|
| 仪表盘主界面 | ambari-web/app/messages.js | ambari-web/public/javascripts/app.js | /usr/lib/ambari-server/web/javascripts/app.js |
| 管理员界面 | ambari-admin/src/main/resources/ui/admin-web/app/scripts/i18n.config.js/main.js | 不变 | /var/lib/ambari-server/resources/views/work/ADMIN_VIEW{2.7.5.0}/scripts |
| 主页底部版权信息 | ambari-web/app/assets/index.html | ambari-web/public/index.html /usr/lib/ambari-server/web/index.html | |
| 登录框 | ambari-web/app/templates/login.hbs | public/javascripts/app.js | /usr/lib/ambari-server/web/javascripts/app.js |
| DashBoard 页头 | /ambari-web/app/templates/application.hbs | public/javascripts/app.js | /usr/lib/ambari-server/web/javascripts/app.js |
| 仪表盘的关于信息 | ambari-web/app/templates/common/about.hbs | public/javascripts/app.js | |
| 管理页面的关于信息 | /ambari-admin/src/main/resources/ui/admin-web/app/views/modals/AboutModal.html | 不变 | /var/lib/ambari-server/resources/views/work/ADMIN_VIEW{2.7.5.0}/views/modals/AboutModal.html |
5.2 替换app.js
给出参考app.js汉化包如下：
链接：https://pan.baidu.com/s/1FOajkxocFSKxAg_huAowXw
提取码：25wu
5.3 修改logo
根据自身需要自定义/usr/lib/ambari-server/web/
5.4 修改仪表盘AboutModal.html
5.5 修改Index.html
版权信息
修改完成后重启ambari-server即可
