CentOS7中安装Hadoop3详细步骤

CentOS7中安装Hadoop3详细步骤

news2024/11/18 7:29:28

目录

(一)新建一个虚拟机

(二)配置网络

(三)安装vim工具

(四)设置ssh免密登录

(五)设置时间同步

(六)修改主机名

1.方法一

2.方法二

(七)给主机文件添加IP名称映射

(八)安装JDK8

(九)安装Hadoop

1.打开Xftp，连接虚拟机，在/opt目录下新建两个文件夹

2.将Hadoop压缩包传输到install文件夹中

3.解压文件到指定目录

4.更改/opt/soft/目录下hadoop的文件名

5.修改hadoop313文件及子目录文件的所有权为root

6. 切换当前目录

7.修改core-site.xml文件

8.创建data文件

9.配置JAVA_HOME

10.修改hdfs-site.xml文件

11.data文件夹下创建文件

12.修改mapred-site.xml文件

13.修改yarn-site.xml

14.创建yarndata文件

15.配置HADOOP_HOME环境变量

16.重启/etc/profile文件

17.初始化

18.启动服务

19.jps

20.网页连接服务

21.上传一个文件

22.停用服务

(一)新建一个虚拟机

配置如下，具体步骤可以参考我的另一篇博文《CentOS7中新建虚拟机详细步骤》

(二)配置网络

参考我的博文：《Linux网关设置》

(三)安装vim工具

[root@localhost ~]# yum -y install vim

(四)设置ssh免密登录

参考我的博文《Linux设置ssh免密登录》

(五)设置时间同步

参考我的博文《Linux中CentOS7时间与网络时间orWindows同步的方法》

(六)修改主机名

1.方法一

[root@localhost .ssh]# vim /etc/hostname

2.方法二

[root@localhost .ssh]# hostnamectl set-hostname lxm148

再次进行登录主机名就会更改：

此时ping ip地址或主机名都可以连接上

[root@localhost .ssh]# ping 192.168.180.148

[root@localhost .ssh]# ping lxm148

(七)给主机文件添加IP名称映射

[root@localhost .ssh]# vim /etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.180.148 lxm148
192.168.180.141 lxm141

修改后就可以直接ping主机名连接其他虚拟机

[root@localhost .ssh]# ping lxm141

(八)安装JDK8

参考我的博文《Linux安装JDK8详细步骤》

(九)安装Hadoop

1.打开Xftp，连接虚拟机，在/opt目录下新建两个文件夹

2.将Hadoop压缩包传输到install文件夹中

3.解压文件到指定目录

[root@localhost install]# tar -zxvf ./hadoop-3.1.3.tar.gz -C ../soft/

4.更改/opt/soft/目录下hadoop的文件名

[root@localhost soft]# mv hadoop-3.1.3/ hadoop313

5.修改hadoop313文件及子目录文件的所有权为root

[root@lxm148 soft]# chown -R root:root /opt/soft/hadoop313/

6. 切换当前目录

[root@lxm148 hadoop]# pwd
/opt/soft/hadoop313/etc/hadoop

7.修改core-site.xml文件

[root@lxm148 hadoop]# vim ./core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://lxm148:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/soft/hadoop313/data</value>
    <description>namenode上本地的hadoop临时文件夹</description>
  </property>
  <property>
    <name>hadoop.http.staticuser.user</name>
    <value>root</value>
  </property>
  <property>
    <name>io.file.buffer.size</name>
    <value>131072</value>
    <description>读写队列缓存：128K</description>
  </property>
  <property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
  </property>
</configuration>

8.创建data文件

切换目录

[root@lxm148 hadoop313]# pwd
/opt/soft/hadoop313

创建data文件

[root@lxm148 hadoop313]# mkdir data
[root@lxm148 hadoop313]# ll
total 176
drwxr-xr-x. 2 root root    183 Sep 12  2019 bin
drwxr-xr-x. 2 root root      6 Feb  2 15:11 data
drwxr-xr-x. 3 root root     20 Sep 12  2019 etc
drwxr-xr-x. 2 root root    106 Sep 12  2019 include
drwxr-xr-x. 3 root root     20 Sep 12  2019 lib
drwxr-xr-x. 4 root root    288 Sep 12  2019 libexec
-rw-rw-r--. 1 root root 147145 Sep  4  2019 LICENSE.txt
-rw-rw-r--. 1 root root  21867 Sep  4  2019 NOTICE.txt
-rw-rw-r--. 1 root root   1366 Sep  4  2019 README.txt
drwxr-xr-x. 3 root root   4096 Sep 12  2019 sbin
drwxr-xr-x. 4 root root     31 Sep 12  2019 share

9.配置JAVA_HOME

[root@lxm148 hadoop]# vim ./hadoop-env.sh

10.修改hdfs-site.xml文件

[root@lxm148 hadoop]# vim ./hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
    <description>hadoop中每一个block文件的备份数量</description>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/soft/hadoop313/data/dfs/name</value>
    <description>namenode上存储hdfsq名字空间元数据的目录</description>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/soft/hadoop313/data/dfs/data</value>
    <description>datanode上数据块的物理存储位置目录</description>
  </property>
  <property>
    <name>dfs.permissions.enabled</name>
    <value>false</value>
    <description>关闭权限验证</description>
  </property>
</configuration>

11.data文件夹下创建文件

[root@lxm148 data]# mkdir -p ./dfs/name
[root@lxm148 data]# mkdir -p ./dfs/data

12.修改mapred-site.xml文件

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    <description>job执行框架： local, classic or yarn</description>
    <final>true</final>
  </property>
  <property>
    <name>mapreduce.application.classpath</name>
    <value>/opt/soft/hadoop313/etc/hadoop:/opt/soft/hadoop313/share/hadoop/common/lib/*:/opt/soft/hadoop313/share/hadoop/common/*:/opt/soft/hadoop313/share/hadoop/hdfs/*:/opt/soft/hadoop313/share/hadoop/hdfs/lib/*:/opt/soft/hadoop313/share/hadoop/mapreduce/*:/opt/soft/hadoop313/share/hadoop/mapreduce/lib/*:/opt/soft/hadoop313/share/hadoop/yarn/*:/opt/soft/hadoop313/share/hadoop/yarn/lib/*</value>
  </property>

  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>lxm148:10020</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>lxm148:19888</value>
  </property>

  <property>
    <name>mapreduce.map.memory.mb</name>
    <value>1024</value>
  </property>
  <property>
    <name>mapreduce.reduce.memory.mb</name>
    <value>1024</value>
  </property>

</configuration>

13.修改yarn-site.xml

[root@lxm148 hadoop]# vim ./yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->

  <property>
    <name>yarn.resourcemanager.connect.retry-interval.ms</name>
    <value>20000</value>
  </property>

  <property>
    <name>yarn.resourcemanager.scheduler.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
  </property>

  <property>
    <name>yarn.nodemanager.localizer.address</name>
    <value>lxm148:8040</value>
  </property>

  <property>
    <name>yarn.nodemanager.address</name>
    <value>lxm148:8050</value>
  </property>

  <property>
    <name>yarn.nodemanager.webapp.address</name>
    <value>lxm148:8042</value>
  </property>

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>

  <property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>/opt/soft/hadoop313/yarndata/yarn</value>
  </property>

  <property>
    <name>yarn.nodemanager.log-dirs</name>
    <value>/opt/soft/hadoop313/yarndata/log</value>
  </property>

</configuration>

14.创建yarndata文件

回到这个路径：/opt/soft/hadoop313/

[root@lxm148 hadoop313]# mkdir yarndata

15.配置HADOOP_HOME环境变量

[root@lxm148 hadoop]# vim /etc/profile

在JAVA_HOME下面接着配置HADOOP_HOME

# HADOOP_HOME
export HADOOP_HOME=/opt/soft/hadoop313
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export HDFS_JOURNALNODE_USER=root
export HDFS_ZKFC_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_LIBEXEC_DIR=$HADOOP_HOME/libexec
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

16.重启/etc/profile文件

[root@lxm148 hadoop]# source /etc/profile

17.初始化

[root@lxm148 yarndata]# hdfs namenode -format

18.启动服务

[root@lxm148 yarndata]# start-all.sh

19.jps

这里要注意：

如果输入jps命令后启动的数量少于6个，可能是缺少的那个xml文件或/etc/profile中的配置出错，需要仔细检查

如果配置没问题，可以输入命令单独启用服务
hdfs --daemon start datanode

20.网页连接服务

http://192.168.180.148:9870

21.上传一个文件

切换到这个目录下：

/opt/soft/hadoop313/etc/hadoop

[root@lxm148 hadoop]# hdfs dfs -put mapred-env.cmd /
2023-02-02 16:03:55,911 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
2023-02-02 16:03:58,392 INFO sasl.SaslDataTransferClient: SASL encryption trust check: localHostTrusted = false, remoteHostTrusted = false

刷新网页

Block默认所占空间为128MB

22.停用服务

[root@lxm148 hadoop]# stop-all.sh

下次启动直接输入以下命令即可：

[root@lxm148 hadoop]# start-all.sh

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/195267.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

[引擎开发] 现代图形API - metal篇

[引擎开发] 现代图形API - metal篇

Metal是苹果开发的图形计算接口，它是在移动端出现的比较早的现代图形API。本文将更侧重于移动端（IOS），对metal的API做一个大致的引入介绍。 Apple GPU概述在我们对Metal进行介绍前，先来了解一下Apple GPU。 Apple GP…

阅读更多...

Linux常用命令——printf命令

Linux常用命令——printf命令

在线Linux命令查询工具(http://www.lzltool.com/LinuxCommand) printf 格式化并输出结果补充说明 printf命令格式化并输出结果到标准输出。语法 printf(选项)(参数) --help：在线帮助； --version：显示版本信息。参数输出格式&#x…

阅读更多...

第1讲谈谈你对Java平台的理解？

第1讲谈谈你对Java平台的理解？

第1讲 | 谈谈你对Java平台的理解？ 从你接触 Java 开发到现在，你对 Java 最直观的印象是什么呢？是它宣传的 “Write once, run anywhere”，还是目前看已经有些过于形式主义的语法呢？你对于 Java 平台到底了解到什么程度…

阅读更多...

《你不会还没入门jvm调优吧》之前置知识

《你不会还没入门jvm调优吧》之前置知识

该文章为科普文，所以很多细节涉及不到，旨在指引入门，同事在聊的时候不至于插不上话，顺带回顾部分JVM相关知识。准备好了吗，开始发车。如有不正确的地方，欢迎批评指正。目录 JVM调优调的到底是什么回顾…

阅读更多...

Linux(CentOS 7)--gdb的基本调试指令

Linux(CentOS 7)--gdb的基本调试指令

一下面的代码为例介绍一下linux中，gdb调试的基本指令创建一个文件myfile.c，文件代码内容如下 1 #include <stdio.h>2 3 int Add(int x, int y)4 {5 6 return xy; …

阅读更多...

高性能消息队列中间件MQ_part2

高性能消息队列中间件MQ_part2

接上一篇part1的内容 RabbitMQ通配符模式_编写消费者接下来我们编写通配符模式的消费者： // 站内信消费者 public class Customer_Station {public static void main(String[] args) throws IOException, TimeoutException {// 1.创建连接工厂ConnectionFactory…

阅读更多...

springboot引入flink，maven打包插件需替换

springboot引入flink，maven打包插件需替换

目录说明说明 springboot引入flink后，如果要打包，传统的maven不行，要更换指定插件 <build><finalName>flink</finalName><plugins><plugin><groupId>org.apache.maven.plugins</groupId><art…

阅读更多...

CMake 混编c和c++代码

CMake 混编c和c++代码

准备工作 wsl 或者有linux 系统(购买阿里云或者其他云服务器）cmake, gcc, git 等一些必要的软件安装环境 windows 下的 wsl wsl 安装下载例子拿 Unix网络编程举例, 作者对原生接口进行了封装, 我们需要编译使用在自己的工程 1. 创建空文件 cd E:\githu…

阅读更多...

网络流量监控对OA系统性能分析案例

网络流量监控对OA系统性能分析案例

需求简介某外高桥公司的OA系统是其重要的业务系统，OA系统负责人表示，部分用户反馈，访问OA系统时比较慢。需要通过分析系统看一下实际情况。报告内容本报告内容主要为：OA性能整体分析分析时间报告分析时间范围为&#xf…

阅读更多...

同一条好友邀请信息给大量的人发，会导致领英账号被封吗？

同一条好友邀请信息给大量的人发，会导致领英账号被封吗？

做外贸的领英新人经常有一个问题：领英上添加好友时，同一条好友邀请信息给大量的人发，会导致领英账号被封吗？ 这是一个被一部分人所忽略，也在被一部分人所担心的问题，因为很多领英新手都是在复制粘贴发送相…

阅读更多...

游戏开发者的视觉盲区

游戏开发者的视觉盲区

本文首发于微信公众号： 小蚂蚁教你做游戏。欢迎关注领取更多学习做游戏的原创教程资料，每天学点儿游戏开发知识。嗨！大家好，我是小蚂蚁。前天我刚发布了一个新的游戏作品——经典宝石方块。仍然是掌机模式，仍然是简约风…

阅读更多...

JAVA开发（Web应用境外访问慢问题）

JAVA开发（Web应用境外访问慢问题）

背景： 最近公司做的小程序出现在香港地区访问慢的问题。因为我们的应用是部署在大陆的腾讯服务器（北京）上，所以在香港地区访问大陆应用会比较慢。初步体验是4-5秒的响应速度。影响的原因： 1、网络的原因&#xff0…

阅读更多...

【HBase高级】7. HBase调优、常见问题处理

【HBase高级】7. HBase调优、常见问题处理

HBase调优 6.1 通用优化 NameNode的元数据备份使用SSD 定时备份NameNode上的元数据每小时或者每天备份，如果数据极其重要，可以5~10分钟备份一次。备份可以通过定时任务复制元数据目录即可。为NameNode指定多个元数据目录使用dfs.name.dir或者dfs…

阅读更多...

4.5--贪心--单源最短路径问题

4.5--贪心--单源最短路径问题

设置顶点集合S并不断地作贪心选择--（不属于这个集合S中距离"源"最短的顶点）来扩充这个集合--更新最短距离这张图需要放在最前面，就是经典dijkstra的主要思想。为什么这样贪心是对的？ 1、问题描述给定带权有向图G (…

阅读更多...

C++ 入门

C++ 入门

C是在C的基础之上，容纳进去了面向对象编程思想，并增加了许多有用的库，以及编程范式等文章目录一、命名空间二、输入输出三、缺省参数四、函数重载五、引用1. 引用的用法2. 常引用3. 引用的使用场景4. 引用的底层实现六、内联函数七、auto 关…

阅读更多...

数组

循环队列中元素个数计算方法是固定的，即(尾-头)%长度，但是由于是循环队列所以尾可能会小于头，所以要加上长度，使尾-头保持是正整数，然后再对长度求余，即元素个数。循环队列中：头指针指向队列头元…

阅读更多...

基于Java+Spring+Html的图书借阅管理系统详细设计和实现

基于Java+Spring+Html的图书借阅管理系统详细设计和实现

博主介绍：✌全网粉丝20W,csdn特邀作者、博客专家、CSDN新星计划导师、java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ 🍅文末获取源码联系🍅 👇🏻 精彩专…

阅读更多...

seo：百度统计

seo：百度统计

一、百度统计官网https://tongji.baidu.com/web5/welcome/login二、理解百度统计个人理解，添加这段代码到网站首页，有人访问该网站，即会加载这段代码，接着把信息发送到百度统计id 对应的百度统计账号，可从百度统计查看…

阅读更多...

OpenMMLab AI实战课笔记 -- 第2节课

OpenMMLab AI实战课笔记 -- 第2节课

OpenMMLab AI实战课笔记 -- 第2节课1. 第二节课(图像分类)1.1 深度学习模型1.2 网络进化过程1.3 ResNet （残差网络）1.4 卷积的参数量1.5 卷积的计算量（乘加次数）1.6 降低模型参数量和计算量的方法1.7 可分离卷积1.8 注意力机制 At…

阅读更多...

常见正则表达式使用参考

常见正则表达式使用参考

目录一、正则函数 1.REGEXP 2.regexp_replace 3.regexp_extract 二、正则表达式三、特殊字符转义一、正则函数 1.REGEXP 语法格式： A REGEXP B （A是需要匹配的字符串，B是正则表达式字符串） 操作类型: strings 描述: …

阅读更多...

推荐文章

最新文章