8.下面我们开始安装配置Hadoop
1）首先下载hadoop-2.7.2的jar包 并添加到我们的jtxy1的/root/目录下
2）yum install在线安装软件
-
yum install net-tools //支持ifconfig
-
yum install vim //支持vim
-
yum install glibc.i686 --java命令不好使
3）因为Hadoop是Java做的 所以我们需要jdk的支持 我们下载上传一下jdk到我们的jtxy1的/root/目录下
上传完成以后 我们开始安装jdk 首先解压
tar -zxvf jdk-8u144-linux-x64.tar.gz -C /usr/local/
-zxvf：z 解压 x 抽取 v 查看进度 -C 到xx目录下
修改一下jdk的名字 方便后续操作
4）下面我们配置一下Java的环境变量
vim /etc/profile 按i 进入到INSERT状态下
添加以下两行代码 完成后点击Esc Shift+: 输入wq 保存并退出
export JAVA_HOME=/usr/local/jdkexport PATH=$PATH:$JAVA_HOME/bin
$：指的是取变量值 然后与后面输入的进行拼接
在shell编程中 我们可以定义一个变量 如v=33 那么 如果我们在它的前面加一个export 我们就可以在所有路径中访问它了
添加完以后 我们输入source /etc/profile 使里面的变量生效 生效以后 这个变量变成一个全局变量 我们就可以访问Java了
注意：我们在java下面 如果输入cd before 我们是进不去的 因为这样他会认为是进入java下面的目录 所以我们要加绝对路径 cd d:/before
5）下面我们安装Hadoop
a.配置主机名和ip地址映射
vim /etc/hosts
b.解压
tar -zxvf hadoop-2.7.2.tar.gz -C /usr/local/
c.修改名字
mv hadoop-2.7.2 hadoop
d.进入到hadoop中 配置xml文件
cd /usr/local/hadoop/etc/hadoop/
①首先 修改vim hadoop-env.sh
export JAVA_HOME=/usr/local/jdk
②然后 修改vim core-site.xml
<property><name>fs.defaultFS</name><value>hdfs://centos1:9000</value></property><!-- 指定hadoop运行时产生文件的存储目录,最终分片的块数据 --><property><name>hadoop.tmp.dir</name><value>/usr/local/hadoop/tmp</value></property>
③然后 修改vim hdfs-site.xml
<property><name>fs.checkpoint.period</name><value>3000</value></property><!-- 指定HDFS副本的数量 （集群下，有多台机，可多份，目前就一台）--><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.permissions</name><value>false</value></property>
④然后 修改vim mapred-site.xml
先修改一下名字 mv mapred-site.xml.template mapred-site.xml
<!-- 告诉hadoop 指定mr运行在yarn上 --><property><name>mapreduce.framework.name</name><value>yarn</value></property>
⑤最后 修改yarn-site.xml
<!-- 指定YARN的老大（ResourceManager）的地址 yarn --><property><name>yarn.resourcemanager.hostname</name><value>centos1</value></property><!-- reducer获取数据的方式是shuffle方式 --><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>
e.配置Hadoop环境变量
export HADOOP_HOME=/usr/local/hadoopexport PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
配置完成后 我们source /etc/profile 使变量生效一下
到这里 Hadoop的安装配置我们就完成啦 下面就可以开始Hadoop的学习了
