Ambari-2.7.4和HDP-3.1.4安装

news2024/11/24 19:41:45

提示：Ambari-2.7.4和HDP-3.1.4安装

Hadoop集群安装目录

  • 一、所需机器
  • 二、系统环境配置
    • 2.1准备
    • 2.2配置5台主机的SSH免密登录（`所有机器` ）
    • 2.3同步时钟，开启NTP服务（`所有机器`）
    • 2.4每台节点里配置FQDN，如下以主节点（master.hadoop）为例（`所有机器`）
    • 2.5 修改文件打开限制（`所有机器`）
    • 2.6关闭防火墙，关闭SELinux（`所有机器`）
    • 2.7修改配置文件后重启所有五台机器
  • 三、安装ambari，使用ambari安装hadoop集群
    • 3.1制作本地源
    • 3.2安装Mysql 5.7.27数据库
    • 3.3安装JDK1.8（`所有机器`）
    • 3.4安装配置Ambari

一、所需机器

部署5台Centos 7.6虚拟机
注意：安装的centos系统必须选择英文版本，最小化安装

二、系统环境配置

2.1准备

(1)修改本机名（所有机器）

  • 第一种
[root@localhost ~]# vi /etc/hostname

主节点：master (192.168.31.11)
从节点：slave1 (192.168.31.12)
从节点：slave2 (192.168.31.13)
从节点：slave2 (192.168.31.14)
从节点：slave2 (192.168.31.15)

执行reboot，让主机名生效

reboot
  • 第二种
#1.使用`hostnamectl`命令更新主机名：
sudo hostnamectl set-hostname <new_hostname>
#将`<new_hostname>`替换为您想要设置的新主机名。
#2.重新启动系统：
sudo reboot
#重新启动系统会使新的主机名生效。
#3.确认主机名已经修改：
hostname
#执行`hostname`命令，确认输出的主机名是否是您设置的新主机名。

(2)修改5台机器hosts（所有机器）
ambari在安装时需要配置全域名，所以需要检查
为了减轻DNS的负担, 建议在节点里用 Name Service Caching Daemon (NSCD)

vi /etc/hosts

192.168.31.11 master master.hadoop
192.168.31.12 slave1 slave1.hadoop
192.168.31.13 slave2 slave2.hadoop
192.168.31.14 slave3 slave3.hadoop
192.168.31.15 slave4 slave4.hadoop

在这里插入图片描述

2.2配置5台主机的SSH免密登录（所有机器 ）

  • 主节点(master.hadoop)里root用户登录执行命令（注释：主节点创建密钥）
[root@master ~]# ssh-keygen

在这里插入图片描述

[root@master ~]# cd ~/.ssh/
[root@master ~]# cat id_rsa.pub >> authorized_keys
[root@master ~]# chmod 700 ~/.ssh
[root@master ~]# chmod 600 ~/.ssh/authorized_keys
  • 在从节点(slave1.hadoop,slave2.hadoop,slave3.hadoop,slave4.hadoop) 里root用户登录执行命令（注释：从节点上新建.ssh文件夹，用来接收主节点分发过来的密钥）
[root@slave1 ~]# mkdir ~/.ssh/
  • 分发主节点里配置好的authorized_keys到各从节点
[root@master ~]# 
scp /root/.ssh/authorized_keys root@192.168.31.11:/root/.ssh/authorized_keys
[root@master ~]# 
scp /root/.ssh/authorized_keys root@192.168.31.12:/root/.ssh/authorized_keys
[root@master ~]# 
scp /root/.ssh/authorized_keys root@192.168.31.13:/root/.ssh/authorized_keys
[root@master ~]# 
scp /root/.ssh/authorized_keys root@192.168.31.14:/root/.ssh/authorized_keys
[root@master ~]# 
scp /root/.ssh/authorized_keys root@192.168.31.15:/root/.ssh/authorized_keys

在这里插入图片描述

（注释：第一次分发密钥，需要输入从节点root账户的密码）

  • 在主节点上测试是否实现了无密码登录
[root@master ~]# ssh master date;ssh slave1 date;ssh slave2 date; ssh slave3 date; ssh slave4 date;

在这里插入图片描述

  • 将主节点上创建的秘钥拷贝出来，因为后面ambari安装的时候需要上传这个秘钥。创建秘钥是在隐藏文件夹/root/.ssh/下面的，所以需要先把秘钥拷贝到可见区域，然后拷贝到本地电脑上。
[root@ master ~]# cd /root/.ssh/
[root@ master ~]# cp id_rsa /root/
[root@ master ~]# ls /root/

2.3同步时钟，开启NTP服务（所有机器）

[root@localhost ~]# yum -y install ntp
[root@localhost ~]# systemctl is-enabled ntpd
[root@localhost ~]# systemctl enable ntpd.service
[root@localhost ~]# systemctl start ntpd.service

2.4每台节点里配置FQDN，如下以主节点（master.hadoop）为例（所有机器）

[root@localhost ~]# vi /etc/sysconfig/network

#master
NETWORKING=yes
HOSTNAME= master.hadoop

在这里插入图片描述

其他几台,操作同master

# slave1
NETWORKING=yes
HOSTNAME= slave1.hadoop
# slave2
NETWORKING=yes
HOSTNAME= slave2.hadoop
# slave3
NETWORKING=yes
HOSTNAME= slave3.hadoop
# slave4
NETWORKING=yes
HOSTNAME= slave4.hadoop

2.5 修改文件打开限制（所有机器）

[root@localhost ~]# vi /etc/security/limits.conf

# End of file
* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072

在这里插入图片描述

2.6关闭防火墙，关闭SELinux（所有机器）

  • 关闭防火墙，所有节点都要设置
[root@localhost ~]# systemctl status firewalld		
[root@localhost ~]# systemctl stop firewalld
[root@localhost ~]# systemctl disable firewalld
  • 关闭SELinux，所有节点都要设置
    查看SELinux状态：
[root@localhost ~]# sestatus

如果SELinuxstatus参数为enabled即为开启状态
在这里插入图片描述
修改为：SELINUX=disabled
在这里插入图片描述

2.7修改配置文件后重启所有五台机器

[root@localhost ~]# reboot

三、安装ambari，使用ambari安装hadoop集群

3.1制作本地源

ps：制作本地源只需在主节点(master.hadoop)上进行即可

#安装HTTP服务器，允许http服务通过防火墙(永久)
[root@localhost ~]# yum -y install httpd
#添加Apache 服务到系统层使其随系统自动启动
[root@localhost ~]# systemctl start httpd.service
[root@localhost ~]# systemctl enable httpd.service
#安装本地源制作相关工具
[root@localhost ~]# yum -y install yum-utils createrepo yum-plugin-priorities
[root@localhost ~]# createrepo  ./
  • 在httpd网站根目录,默认是即/var/www/html/，创建目录ambari， 并且将下载的压缩包解压到/var/www/html/ambari目录
[root@localhost ~]# cd /var/www/html/
[root@localhost ~]# mkdir ambari
[root@localhost ~]# cd /var/www/html/ambari/
[root@localhost ~]# tar -zxvf ambari-2.7.4.0-centos7.tar.gz
[root@localhost ~]# tar -zxvf HDP-3.1.4.0-centos7-rpm.tar.gz
[root@localhost ~]# tar -zxvf HDP-UTILS-1.1.0.22-centos7.tar.gz
  • 验证httd网站是否可用，可以使用links 命令或者浏览器直接访问下面的地址：
    http://192.168.31.11/ambari/
  • 配置ambari、HDP、HDP-UTILS的本地源
# 配置ambari源
vi /etc/yum.repos.d/ambari.repo

#内容如下
[ambari]
name=ambari
baseurl=http://192.168.31.11/ambari/ambari/centos7/2.7.4.0-118/
gpgcheck=0

# 配置hdp和hdp-utils源
vi /etc/yum.repos.d/hdp.repo

# 内容如下
[HDP]
name=HDP
baseurl=http://192.168.31.11/ambari/HDP/centos7/3.1.4.0-315/
gpgcheck=0
[HDP-UTILS]
name=HDP_UTILS
baseurl=http://192.168.31.11/ambari/HDP-UTILS/centos7/1.1.0.22/
gpgcheck=0
  • 分发到其他机器
cd /etc/yum.repos.d
scp ambari.repo slave1:/etc/yum.repos.d/
scp ambari.repo slave2:/etc/yum.repos.d/
scp ambari.repo slave3:/etc/yum.repos.d/
scp ambari.repo slave4:/etc/yum.repos.d/
scp hdp.repo slave1:/etc/yum.repos.d/
scp hdp.repo slave2:/etc/yum.repos.d/
scp hdp.repo slave3:/etc/yum.repos.d/
scp hdp.repo slave4:/etc/yum.repos.d/
  • 上面就创建好了主机上的文件，然后每台机器yum配置
[root@localhost ~]# yum clean all
[root@localhost ~]# yum makecache
[root@localhost ~]# yum repolist

3.2安装Mysql 5.7.27数据库

3.3安装JDK1.8（所有机器）

  • 安装解压版JDK，jdk-8u212-linux-x64.tar.gz
  • 再执行下面命令：
[root@localhost ~]# mkdir /opt/java
#将jdk-8u91-linux-x64.tar.gz文件放到/opt/java下
[root@localhost ~]# tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/java/
[root@localhost ~]# vi /etc/profile

# ---Set Java Environment---
JAVA_HOME=/opt/java/jdk1.8.0_212
JRE_HOME=/opt/java/jdk1.8.0_212/jre
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export JAVA_HOME JRE_HOME CLASS_PATH PATH
# ---Set Java Environment---

[root@localhost ~]# source /etc/profile

3.4安装配置Ambari

注意：在主节点(master.hadoop)上完成以下操作

  • 1.安装ambari-server
[root@localhost ~]# yum -y install ambari-server

在这里插入图片描述

  • 2.配置MySQL
    -(1)登录主节点（master.hadoop）上的MySQL
mysql -uroot -pMysql-502

create database ambari character set utf8; 
use ambari;
CREATE USER 'ambari'@'%'IDENTIFIED BY 'Ambari-123';
GRANT ALL PRIVILEGES ON *.* TO 'ambari'@'%';
FLUSH PRIVILEGES;
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

在这里插入图片描述

(2)如果需要安装hive就执行，不装hive不管
登录从节点（slave1.hadoop）上的MySQL

[root@localhost ~]# mysql -uroot -pMysql-502

#因为要安装Hive，再创建Hive数据库和用户：
create database hive character set utf8;
use hive;
CREATE USER 'hive'@'%'IDENTIFIED BY 'Hive-123';
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';
FLUSH PRIVILEGES;

(3)切换到主节点(master.hadoop)上操作，实现ambari-server与mysql的连接

[root@localhost ~]# cp /usr/share/java/mysql-connector-java.jar /var/lib/ambari-server/resources/mysql-jdbc-driver.jar
[root@localhost ~]# ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar

在这里插入图片描述

(4)初始化ambari配置

[root@localhost ~]# ambari-server setup

选择注意: ambari-server用户是root
JDK路径是自定义路径 /opt/java/jdk1.8.0_212
数据库地址192.168.31.121:306
数据库的账户和密码ambari/Ambari-123

在这里插入图片描述
在这里插入图片描述
（5）执行启动命令，启动Ambari服务
在这里插入图片描述
（6）所有机器安装ambari-agent

[root@localhost ~]# yum -y install ambari-agent

(7)成功启动后在浏览器输入Ambari地址：
http://192.168.31.11:8080/
出现登录界面，默认管理员账户登录，账户：admin 密码：admin

在这里插入图片描述
(8)Ambari配置安装Hadoop集群

  • a
    在这里插入图片描述

  • b
    在这里插入图片描述

  • c
    在这里插入图片描述

  • d
    机架：
    master.hadoop
    slave1.hadoop
    slave2.hadoop
    slave3.hadoop
    slave4.hadoop
    在这里插入图片描述

  • e
    在这里插入图片描述

  • f 安装HDFS
    在这里插入图片描述

  • g
    在这里插入图片描述

  • h
    在这里插入图片描述

  • i
    在这里插入图片描述

  • j
    在这里插入图片描述

  • k
    在这里插入图片描述

  • l
    在这里插入图片描述

  • m
    在这里插入图片描述

  • n
    在这里插入图片描述

  • o
    在这里插入图片描述

  • p 完成安装
    在这里插入图片描述

  • q HDFS访问页面

http://192.168.31.11:50070/dfshealth.html#tab-overview

在这里插入图片描述

（9）修改配置

  • a 修改DataNode文件夹权限
    在这里插入图片描述
  • b 修改Custom core-site.xml,配置staticuser.user
hadoop.http.staticuser.user

在这里插入图片描述

  • c 配置NameNode HA高可用

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1163033.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

10个技巧，确保项目团队按时完成任务

10个技巧，确保项目团队按时完成任务

作为项目经理&#xff0c;你的绩效取决于有效的截止日期管理&#xff0c;以便按时交付项目。 然而&#xff0c;我们都知道&#xff0c;项目很少会按计划进行&#xff0c;因此&#xff0c;在时间和截止日期方面&#xff0c;能够驾驭项目中出现的众多不确定因素非常重要。本文将…
阅读更多...
指针运算笔试题解析(1)

指针运算笔试题解析(1)

指针运算笔试题解析 题目一解析 题目二解析 题目三解析 题目四解析 题目五解析 题目一 #include<stdio.h> int main() {int a[5]{1,2,3,4,5};int *p(int*)(&a1);printf("%d %d",*(a1),*(p-1));return 0; } 答案&#xff1a;2 5 解析 int a[5]{1,2,3,4,5…
阅读更多...
vscode1.83远程连接失败

vscode1.83远程连接失败

&#xff08;报错信息忘记截图了 总之卡在vscode-server.tar.gz的下载那里&#xff0c;一直404&#xff0c;删了C:\Users\Administrator\.ssh\known_hosts也不管用 看了一下vscode1.83的commitID为a6606b6ca720bca780c2d3c9d4cc3966ff2eca12&#xff0c;网友说可以通过以下网…
阅读更多...
XUnit单元测试（实用项目）——看完不会用你打我

XUnit单元测试（实用项目）——看完不会用你打我

一、简介 xUnit.net 是针对 .NET 的免费、开源单元测试框架&#xff0c;可并行测试、数据驱动测试。测试项目需要同时引用 xUnit和被测试项目&#xff0c;从而对其进行测试。测试编写完成后&#xff0c;用 Test Runner 来测试项目&#xff0c;Test Runner 可以读取测试代码&am…
阅读更多...
最新版付费进群源码带自动定位和分销以及分站功能完整版无加密

最新版付费进群源码带自动定位和分销以及分站功能完整版无加密

简介 看到别人发那些不是挂羊头卖狗肉&#xff0c;要么就是发的缺少文件引流的。非常滴恶心 这源码是我付费花钱买的免费分享给大家&#xff0c;功能完整。而且无加密 功能&#xff1a;新建分销会员&#xff0c;设置账号密码&#xff0c;收款方式等 说明&#xff1a; 分站…
阅读更多...
opengl基础笔记1

opengl基础笔记1

1、opengl运行模式及opengl规范 运行模式&#xff1a;核心模式与立即渲染模式&#xff08;弃用&#xff09; 由于OpenGL的大多数实现都是由显卡厂商编写的&#xff0c;当产生一个bug时通常可以通过升级显卡驱动来解决。这些驱动会包括你的显卡能支持的最新版本的OpenGL&#xf…
阅读更多...
算法题：99.恢复二叉搜索树

算法题：99.恢复二叉搜索树

&#xff08;为不影响大家的观感&#xff0c;完整题目附在了最后&#xff09; 二叉搜索树的定义 二叉搜索树&#xff08;BST&#xff0c;Binary Search Tree&#xff09;&#xff0c;也称二叉排序树或二叉查找树。 二叉搜索树&#xff1a;一棵二叉树&#xff0c;可以为空&…
阅读更多...
二叉树题目：在二叉树中增加一行

二叉树题目：在二叉树中增加一行

文章目录 题目标题和出处难度题目描述要求示例数据范围 解法一思路和算法代码复杂度分析 解法二思路和算法代码复杂度分析 题目 标题和出处 标题&#xff1a;在二叉树中增加一行 出处&#xff1a;623. 在二叉树中增加一行 难度 5 级 题目描述 要求 给定一个二叉树的根结…
阅读更多...
WiFi模块的环境可持续性：可再生能源、材料创新与碳足迹管理

WiFi模块的环境可持续性：可再生能源、材料创新与碳足迹管理

随着数字化时代的到来&#xff0c;WiFi模块已经成为我们日常生活和工作中不可或缺的一部分。然而&#xff0c;这种便利也伴随着对环境的一定影响。本文将深入研究WiFi模块在环境可持续性方面的挑战和机遇&#xff0c;重点关注可再生能源的应用、材料创新以及碳足迹管理。 1. 可…
阅读更多...
NB-IoT水表和LoRa水表有什么区别？

NB-IoT水表和LoRa水表有什么区别？

在众多物联网技术中&#xff0c;NB-IoT和LoRa脱颖而出&#xff0c;广泛应用于智能水表的制造。那么&#xff0c;这两种水表究竟有何区别呢&#xff1f;下面&#xff0c;小编来为大家详细的讲下NB-IoT和LoRa这两者的工作原理以及两者的区别之处&#xff0c;一起来看下吧&#xf…
阅读更多...
图片路径名动态生成

图片路径名动态生成

写成这样也可以 :src"./src/assets/ScreenLeft/btn${isShowLeft ? Show : Hide}.png"为了节省开销&#xff0c;这种小图标&#xff0c;可以用i标签 const imgUrl ref("icon1");<iclass"w-50px h-50px":style"{backgroundImage: url(./…
阅读更多...
老师们看过来，成绩发布原来可以这么简单

老师们看过来，成绩发布原来可以这么简单

成绩发布不再让你头大&#xff01;不再需要每次都要手动查找学生成绩&#xff0c;浪费宝贵的休息时间!现在&#xff0c;只需要掌握一些小技巧&#xff0c;就能轻松实现学生自助查询成绩&#xff01; 引入数据库管理软件 可以引入一些数据库管理软件&#xff0c;例如MySQL、Pos…
阅读更多...
Scala 泛型编程

Scala 泛型编程

1. 泛型 Scala 支持类型参数化&#xff0c;使得我们能够编写泛型程序。 1.1 泛型类 Java 中使用 <> 符号来包含定义的类型参数&#xff0c;Scala 则使用 []。 class Pair[T, S](val first: T, val second: S) {override def toString: String first ":" sec…
阅读更多...
高压放大器的作用和优势是什么

高压放大器的作用和优势是什么

高压放大器是一种专门用于放大高电压信号的设备&#xff0c;它具有许多重要的作用和优势。在以下的文章中&#xff0c;我们将详细介绍高压放大器的作用和优势。 高压放大器的作用之一是在实验室和工程应用中提供对高压信号的放大和控制。许多应用领域&#xff0c;如实验物理、电…
阅读更多...
C/C++数据结构-链表-链表合并排序输出

C/C++数据结构-链表-链表合并排序输出

文章目录 前言例题题解带头结点不带头结点 前言 这个小例题涵盖的知识点还是非常多的。包括链表的定义&#xff0c;链表的尾插法&#xff0c;链表的遍历&#xff0c;冒泡排序用链表实现。链表可以使用带头结点和不带头结点的形式&#xff0c;各有千秋。 本文完整版使用带头结点…
阅读更多...
美团圈圈私域加群app拉新 单价高一手渠道整理

美团圈圈私域加群app拉新 单价高一手渠道整理

美团圈圈为我们现在主推产品 可以通过”聚量推客“ 申请推广 一手数据&#xff0c;外面很多其它的数据都会阉割的很厉害&#xff0c;可以对比 下面介绍下圈圈的优势&#xff0c;我们目前圈圈对外结算时间为11天&#xff08;因为美团官方有个要求 10天内退群无效&#xff09;&…
阅读更多...
技能证里的天花板—阿里云云计算架构师ACE认证！

技能证里的天花板—阿里云云计算架构师ACE认证！

在当今的社会中&#xff0c;想要获得一份好工作、得到丰厚的报酬&#xff0c;唯一的方法就是证明自己优秀&#xff0c;能给公司创造价值&#xff0c;是大多数公司想要看到的。 那么在面试过程中&#xff0c;怎么样才能让面试官一眼就记住呢&#xff1f;那一定是有一份足够优秀…
阅读更多...
Java生成二维码并打印二维码和文字信息

Java生成二维码并打印二维码和文字信息

目录 1、生成二维码&#xff0c;并调用画布进行二维码和文字的描绘。 2、主程序&#xff1a;获取打印机&#xff0c;并打印内容 3、打印效果 参考文献&#xff1a; 前期工作是安装好打印机驱动&#xff0c;可连接打印机。 添加三个依赖jar&#xff1a; 具体见文底的参考文献…
阅读更多...
什么情况会造成电表不走数？

什么情况会造成电表不走数？

电表是衡量用电量的重要设备&#xff0c;一旦出现不走数的情况&#xff0c;不仅会影响用户对用电量的准确计算&#xff0c;还可能造成电费纠纷。那么&#xff0c;究竟什么情况下会造成电表不走数呢&#xff1f;接下来&#xff0c;小编来为大家介绍下&#xff0c;一起来看下吧&a…
阅读更多...
学习使用php实现汉字验证码

学习使用php实现汉字验证码

学习使用php实现汉字验证码 <?php //开启session &#xff0c;方便验证 session_start(); //创建背景画布 $image imagecreatetruecolor(200, 60); $background imagecolorallocate($image, 255, 255, 255); imagefill($image, 0, 0, $background);//创建背景画布 for ($…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023