Hadoop的安装

1.拖拽安装包上传到/opt/software

2.解压文件到/opt/module

[itwise@node2 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

3查看文件

drwxr-xr-x. 2 itwise itwise   4096 9月  12 2019 bin
drwxr-xr-x. 3 itwise itwise   4096 9月  12 2019 etc
drwxr-xr-x. 2 itwise itwise   4096 9月  12 2019 include
drwxr-xr-x. 3 itwise itwise   4096 9月  12 2019 lib
drwxr-xr-x. 4 itwise itwise   4096 9月  12 2019 libexec
-rw-rw-r--. 1 itwise itwise 147145 9月   4 2019 LICENSE.txt
-rw-rw-r--. 1 itwise itwise  21867 9月   4 2019 NOTICE.txt
-rw-rw-r--. 1 itwise itwise   1366 9月   4 2019 README.txt
drwxr-xr-x. 3 itwise itwise   4096 9月  12 2019 sbin
drwxr-xr-x. 4 itwise itwise   4096 9月  12 2019 share

4.配置环境变量法

[itwise@node2 ~]$ sudo vim /etc/profile.d/my_env.sh

#HADOOP
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=:$PATH:$HADOOP_HOME/bin
export PATH=:$PATH:$HADOOP_HOME:/sbin

重置环境变量

[itwise@node2 ~]$ source /etc/profil

记得测试

5.HADOOP的配置文件修改

(1)hadoop_env.sh 默认目录,不需要修改

(2)修改配置文件core_site.xml

[itwise@node2 hadoop-3.1.3]$ cd etc/hadoop/

vim core-site.xml

<!-- 指定NameNode的地址 -->
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://node2:8020</value>
</property>
<!-- 指定hadoop数据的存储目录 -->
<property>
	<name>hadoop.tmp.dir</name>
	<value>/opt/module/hadoop-3.1.3/data</value>
</property>
<!-- 配置HDFS网页登录使用的静态用户为itwise -->
<property>
	<name>hadoop.http.staticuser.user</name>
	<value>itwise</value>
</property>
<!-- 配置该itwise(superUser)允许通过代理访问的主机节点 -->
<property>
	<name>hadoop.proxyuser.itwise.hosts</name>
	<value>*</value>
</property>
<!-- 配置该itwise(superUser)允许通过代理用户所属组 -->
<property>
	<name>hadoop.proxyuser.itwise.groups</name>
	<value>*</value>
</property>
<!-- 配置该itwise(superUser)允许通过代理的用户-->
<property>
	<name>hadoop.proxyuser.itwise.users</name>
	<value>*</value>
</property>

配置文件分析

(3)修改hdfs-site.xml

执行命令:

vim hdfs-site.xml

配置文件节点分配角色:

<!-- nn web端访问地址-->
<property>
	<name>dfs.namenode.http-address</name>
	<value>node2:9870</value>
</property>
<!-- 2nn web端访问地址-->
<property>
	<name>dfs.namenode.secondary.http-address</name>
	<value>node4:9868</value>
</property>
<!-- 测试环境指定HDFS副本的数量1 -->
<property>
	<name>dfs.replication</name>
	<value>3</value>
</property>

(4)修改mapred-site.xml

执行命令:

vim mapred-site.xml

配置文件:

<!-- 指定MapReduce程序运行在Yarn上 -->
<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>

(5)yarn-site.xml

执行命令:

vim yarn-site.xml

配置文件:

<!-- 指定MR走shuffle -->
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>
<!-- 指定ResourceManager的地址-->
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>node3</value>
</property>
<!-- 环境变量的继承 -->
<property>
	<name>yarn.nodemanager.env-whitelist</name>
	<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
<!-- yarn容器允许分配的最大最小内存 -->
<property>
	<name>yarn.scheduler.minimum-allocation-mb</name>
	<value>512</value>
</property>
<property>
	<name>yarn.scheduler.maximum-allocation-mb</name>
	<value>4096</value>
</property>
<!-- yarn容器允许管理的物理内存大小 -->
<property>
	<name>yarn.nodemanager.resource.memory-mb</name>
	<value>4096</value>
</property>
<!-- 关闭yarn对物理内存和虚拟内存的限制检查 -->
<property>
	<name>yarn.nodemanager.pmem-check-enabled</name>
	<value>false</value>
</property>
<property>
	<name>yarn.nodemanager.vmem-check-enabled</name>
	<value>false</value>
</property>

配置集群的信息1个：

修改workers

vim workers

录入内容如下：

node2
node3
node4

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

1.7 配置历史服务器

为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：

修改mapred_site.xml

执行命令：

vim mapred-site.xml

录入内容

<!-- 历史服务器端地址 -->
<property>
	<name>mapreduce.jobhistory.address</name>
	<value>node2:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property>
	<name>mapreduce.jobhistory.webapp.address</name>
	<value>node2:19888</value>
</property>

1.8 配置日志的聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。

日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。

注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryManager。

开启日志聚集功能具体步骤如下：

修改yarn_site.xml

执行命令

vim yarn-site.xml

录入内容

<!-- 开启日志聚集功能 -->
<property>
	<name>yarn.log-aggregation-enable</name>
	<value>true</value>
</property>
<!-- 设置日志聚集服务器地址 -->
<property>
	<name>yarn.log.server.url</name>
	<value>http://node2:19888/jobhistory/logs</value>
</property>
<!-- 设置日志保留时间为7天 -->
<property>
	<name>yarn.log-aggregation.retain-seconds</name>
	<value>604800</value>
</property>

9同步分发文件**

将hadoop安装报和环境变量分发到 node3、node4节点上：

cd /opt/module
rsync.sh hadoop-3.1.3/
cd /etc/profile.d/
scp my_env.sh root@node3:$PWD
scp my_env.sh root@node4:$PWD

10重新加载环境

ssh node3 source /etc/profile
ssh node4 source /etc/profile

11验证环境变量

ssh node3 hadoop version
ssh node4 hadoop version

12启动集群：

如果集群是第一次启动，需要在node2节点格式化NameNode（注意格式化之前，一定要先停止上次启动 的所有namenode和datanode进程，然后再删除data和log数据

初始化启动集群:

[itwise@node2 hadoop-3.1.3]$ bin/hdfs namenode -format

开启dfs node3 node4自动生产了目录

[itwise@node2 hadoop-3.1.3]$ sbin/start-dfs.sh

在resourceManage节点

[itwise@node2 hadoop-3.1.3]$ sbin/start-yarn.sh

e2 hadoop-3.1.3]$ bin/hdfs namenode -format

开启dfs node3 node4自动生产了目录

[itwise@node2 hadoop-3.1.3]$ sbin/start-dfs.sh

在resourceManage节点

[itwise@node2 hadoop-3.1.3]$ sbin/start-yarn.sh