centos7安装hadoop 单机版

news2025/4/9 0:58:34

1.解压

(1)将hadoop压缩包复制到/opt/software路径下

(2)解压hadoop到/opt/module目录下

[root@kb135 software]# tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

(3)修改hadoop属主和属组

[root@kb135 module]# chown -R root:root ./hadoop-3.1.3/

2.配置环境变量

[root@kb135 module]# vim /etc/profile

# HADOOP_HOME

export HADOOP_HOME=/opt/soft/hadoop313

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib

export HDFS_NAMENODE_USER=root

export HDFS_DATANODE_USER=root

export HDFS_SECONDARYNAMENODE_USER=root

export HDFS_JOURNALNODE_USER=root

export HDFS_ZKFC_USER=root

export YARN_RESOURCEMANAGER_USER=root

export YARN_NODEMANAGER_USER=root

export HADOOP_MAPRED_HOME=$HADOOP_HOME

export HADOOP_COMMON_HOME=$HADOOP_HOME

export HADOOP_HDFS_HOME=$HADOOP_HOME

export HADOOP_YARN_HOME=$HADOOP_HOME

export HADOOP_INSTALL=$HADOOP_HOME

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_LIBEXEC_DIR=$HADOOP_HOME/libexec

export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

修改完之后[root@kb135 module]# source /etc/profile

3.在hadoop目录创建data目录

[root@kb135 module]# cd ./hadoop-3.1.3/

创建目录data

[root@kb135 hadoop-3.1.3]# mkdir ./data

4.修改配置文件

进入/opt/module/hadoop-3.1.3/etc/hadoop目录,查看目录下的文件,配置几个必要的文件

(1)配置core-site.xml

[root@kb135 hadoop]# vim ./core-site.xml

<configuration>

    <property>

      <name>fs.defaultFS</name>

      <value>hdfs://kb135:9000</value>

    </property>

    <property>

      <name>hadoop.tmp.dir</name>

      <value>/opt/module/hadoop-3.1.3/data</value>

    </property>

    <property>

      <name>hadoop.http.staticuser.user</name>

      <value>root</value>

    </property>

    <property>

      <name>io.file.buffer.size</name>

      <value>131073</value>

    </property>

    <property>

      <name>hadoop.proxyuser.root.hosts</name>

      <value>*</value>

    </property>

    <property>

      <name>hadoop.proxyuser.root.groups</name>

      <value>*</value>

    </property>

 </configuration>

(2)配置hadoop-env.sh

[root@kb135 hadoop]# vim ./hadoop-env.sh

修改第54行

export JAVA_HOME=/opt/module/jdk1.8.0_381

(3)配置hdfs-site.xml

[root@kb135 hadoop]# vim ./hdfs-site.xml

<configuration>

   <property>

     <name>dfs.replication</name>

     <value>1</value>

   </property>

   <property>

     <name>dfs.namenode.name.dir</name>

     <value>/opt/module/hadoop-3.1.3/data/dfs/name</value>

   </property>

   <property>

     <name>dfs.datanode.data.dir</name>

     <value>/opt/module/hadoop-3.1.3/data/dfs/data</value>

   </property>

   <property>

     <name>dfs.permissions.enabled</name>

     <value>false</value>

   </property>

</configuration>

(4)配置mapred-site.xml

[root@kb135 hadoop]# vim ./mapred-site.xml

<configuration>

    <property>

      <name>mapreduce.framework.name</name>

      <value>yarn</value>

    </property>

    <property>

      <name>mapreduce.jobhistory.address</name>

      <value>kb135:10020</value>

    </property>

    <property>

      <name>mapreduce.jobhistory.webapp.address</name>

      <value>kb135:19888</value>

    </property>

    <property>

      <name>mapreduce.map.memory.mb</name>

      <value>2048</value>

    </property>

    <property>

      <name>mapreduce.reduce.memory.mb</name>

      <value>2048</value>

    </property>

    <property>

      <name>mapreduce.application.classpath</name>

      <value>/opt/module/hadoop-3.1.3/etc/hadoop:/opt/module/hadoop-3.1.3/share/hadoop/common/*:/opt/module/hadoop-3.1.3/share/hadoop/common/lib/*:/opt/module/hadoop-3.1.3/share/hadoop/hdfs/*:/opt/module/hadoop-3.1.3/share/hadoop/hdfs/lib/*:/opt/module/hadoop-3.1.3/share/hadoop/mapreduce/*:/opt/module/hadoop-3.1.3/share/hadoop/mapreduce/lib/*:/opt/module/hadoop-3.1.3/share/hadoop/yarn/*:/opt/module/hadoop-3.1.3/share/hadoop/yarn/lib/*</value>

    </property>

</configuration>

(5)配置yarn-site.xml

[root@kb135 hadoop]# vim ./yarn-site.xml

<configuration>

   <property>

     <name>yarn.resourcemanager.connect.retry-interval.ms</name>

     <value>20000</value>

   </property>

   <property>

     <name>yarn.resourcemanager.scheduler.class</name>

     <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>

   </property>

   <property>

     <name>yarn.nodemanager.localizer.address</name>

     <value>kb135:8040</value>

   </property>

   <property>

     <name>yarn.nodemanager.address</name>

     <value>kb135:8050</value>

   </property>

   <property>

     <name>yarn.nodemanager.webapp.address</name>

     <value>kb135:8042</value>

   </property>

  <property>

     <name>yarn.nodemanager.aux-services</name>

     <value>mapreduce_shuffle</value>

   </property>

   <property>

     <name>yarn.nodemanager.local-dirs</name>

     <value>/opt/module/hadoop-3.1.3/yarndata/yarn</value>

   </property>

   <property>

     <name>yarn.nodemanager.log-dirs</name>

     <value>/opt/module/hadoop-3.1.3/yarndata/log</value>

   </property>

   <property>

     <name>yarn.nodemanager.vmem-check-enabled</name>

     <value>false</value>

   </property>

</configuration>

(6)配置workers

[root@kb135 hadoop]# vim ./workers

修改为kb135

5.初始化hadoop

进入/opt/module/hadoop-3.1.3/bin路径

[root@kb135 bin]# hadoop namenode -format

6.设置免密登录

[root@kb135 ~]# ssh-keygen -t rsa -P ""

[root@kb135 ~]# cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

[root@kb135 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub -p22 root@kb135

7.启动hadoop

[root@kb135 ~]# start-all.sh

查看进程

[root@kb135 ~]# jps

8.测试

网页中输入网址:http://192.168.142.135:9870/

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/924202.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

VirtualBox虚拟机安装Centos7详细教程图解

一、前期准备工作&#xff1a; 1、虚拟机下载 VirtualBox版本&#xff1a;7.0.6 下载 VirtualBox 的下载页面&#xff1a;https://www.virtualbox.org/wiki/Downloads VMWare 虚拟机软件&#xff08;收费的&#xff0c;要使用请购买正版软件&#xff09;的官网&#xff1a;…

Springboot中sharding-jdbc的API模式并使用自定义算法

Springboot中sharding-jdbc的API模式并使用自定义算法 可配合AbstractRoutingData使用切换数据源 程序用到了AbstractRoutingData来切换数据源&#xff08;数据源是自定义的格式编写并没有用springboot的自动装配的格式写&#xff09;&#xff0c;但是又用到sharding-jdbc进行…

pycharm添加虚拟环境以及虚拟环境安装pytorch

file、settings、interpreter、add interpreter、add local interpreter 记住不要勾选inherit&#xff0c;不然会把主环境的东西继承到虚拟环境。 创建前可以先点existing看看有没有已经建好的虚拟环境 有的时候pycharm有问题&#xff0c;创建了虚拟环境没有显示。找一个.py文…

交通网络分析性能再升级,SuperMap iServer新增开启SSC分析模型

导语 SSC分析模型&#xff0c;全名SuperMap Short Cut&#xff0c;底层采用Contraction Hierarchies&#xff08;简称CH&#xff09;算法&#xff0c;该算法旨在通过对图形进行预处理和优化来降低最佳路径分析的时间复杂度。SuperMap iServer 11i&#xff08;2023&#xff09;&…

scikit-learn中OneHotEncoder用法

One-Hot编码&#xff0c;又称为一位有效编码&#xff0c;是分类变量作为二进制向量的表示。这首先要求将分类值映射到整数值&#xff0c;然后&#xff0c;每个整数值被表示为二进制向量&#xff0c;将整数索引标记为1&#xff0c;其余都标为0。 OneHotEncoder()常用参数解释 …

【Winform学习笔记(十)】TextBox文本框控件 光标定位到文本末尾的方法

TextBox文本框控件 光标定位到文本末尾的方法 前言正文1、具体代码2、使用示例 前言 本文中主要介绍实现 TextBox 文本框控件的光标定位到文本末尾的方法. 正文 1、具体代码 /// <summary> /// TextBox文本框控件 光标定位到文本末尾的方法 /// </summary> ///…

next.js报错点

next.js报错点 1.类型“{ children: ReactNode; }”与类型“IntrinsicAttributes”不具有相同的属性。2. 不能将类型“void[]”分配给类型“ReactNode”&#xff1f;3.useRouter only works in Client Components. Add the "use client" directive at the top of the…

IDEA的maven想显示层级关系,而非平级

新版和旧版的IDEA的位置不一样&#xff0c;2023.2.1的版本在右上角的“” 这个位置 如图所示&#xff1a; 然后点击按模块分组&#xff1a;

[Stable Diffusion教程] 第一课 原理解析+配置需求+应用安装+基本步骤

第一课 原理解析配置需求应用安装基本步骤 本次内容记录来源于B站的一个视频 以下是自己安装过程中整理的问题及解决方法&#xff1a; 问题&#xff1a;stable-diffusion-webui启动No Python at ‘C:\xxx\xxx\python.exe‘ 解答&#xff1a;打开webui.bat 把 if not de…

从零开始的自动化测试框架——Web篇01

Selenium 谈到web自动化&#xff0c;逃不开的一定会是Selenium。这是最为主流&#xff0c;也是最广为人知的一项web自动化产物。但目前业内web自动化其实主要分为以下方向&#xff1a; Selenium&#xff0c;核心主流自动化技术&#xff0c;功能齐全&#xff0c;一般是搭配web…

【算法日志】动态规划刷题:01背包问题,多重背包问题(day37,day38)

代码随想录刷题60Day 目录 前言 目标和&#xff08;01背包&#xff09; 一和零&#xff08;01背包&#xff09; 零钱兑换&#xff08;多重背包&#xff09; 排列总和&#xff08;多重背包&#xff09; 前言 这两天都是背包问题&#xff0c;其中的01背包的一些应用问题需要…

迈步从头越——同为科技(TOWE)22周年庆典活动圆满举行

8月23日&#xff0c;同为科技&#xff08;TOWE&#xff09;迎来公司成立22周年纪念日&#xff0c;这是属于TOWE品牌的又一里程碑时刻。从2001到2023&#xff0c;从产品到品牌&#xff0c;从技术到服务&#xff0c;同为科技&#xff08;TOWE&#xff09;始终秉承着专注于终端设备…

电子合同9问9答,君子签为您答疑解惑

随着互联网的发展&#xff0c;人们交易行为的改变、电子合同的推广&#xff0c;买卖合同、租房合同、采购合同、劳动合同、招投标文件等都开始在线上签署。签署过程中&#xff0c;君子签针对大家的一些疑虑&#xff0c;整理了相关解答。 1、 签电子合同时&#xff0c;如何确…

MMEdu库的下载和安装(Python版)

为保证程序的顺利运行&#xff0c;这里提供MMEdu库的下载安装包。 OpenXLabEdu开源资源&#xff1a;OpenXLabEdu帮助文档 — OpenXLabEdu 文档 现MMEdu一键安装包已升级为XEdu一键安装包&#xff0c;下文提到的MMEdu文件&#xff0c;应理解为XEdu一键安装包。 第一步&#x…

融合算法综述

融合算法 前言一、概念二、原理三、融合的先决条件四、融合分类4.1、前融合和后融合4.2 、数据级融合、特征级融合和决策级融合 五、典型融合算法 多传感器信息融合&#xff08;Multi-sensor Information Fusion,MSIF&#xff09;&#xff1a;利用计算机技术将来自多传感器或多…

小红书旅游种草笔记:如何打造爆款内容,吸引万千粉丝?

随着社交媒体的飞速发展&#xff0c;小红书作为国内知名的分享平台&#xff0c;已经成为越来越多人展示生活、交流心得的阵地。在众多分类中&#xff0c;旅游种草笔记尤为热门&#xff0c;吸引了大量用户关注。那么&#xff0c;如何在这片竞争激烈的红海中&#xff0c;打造出爆…

Spring Boot:让你轻松掌握自动装配的奥秘

Spring Boot是基于Spring框架开发的一种应用框架&#xff0c;它通过自动装配机制&#xff0c;大大简化了Spring应用的开发和部署&#xff0c;使开发者可以更加专注于业务逻辑的实现&#xff0c;而无需过多关注Bean的实例化和装配过程。本文将从以下几个方面介绍Spring Boot的自…

计算机竞赛 基于RSSI的室内wifi定位系统

0 前言 &#x1f525; 优质竞赛项目系列&#xff0c;今天要分享的是 &#x1f6a9; wifi室内定位系统 该项目较为新颖&#xff0c;适合作为竞赛课题方向&#xff0c;学长非常推荐&#xff01; &#x1f947;学长这里给一个题目综合评分(每项满分5分) 难度系数&#xff1a;…

掌握这20条你将超过90%的测试员

1、不断学习 不管是“软技能”&#xff0c;比如公开演讲&#xff0c; 或者编程语言&#xff0c;亦或新的测试技术&#xff0c;成功的软件测试工程师总是会从繁忙中抽出时间来坚持学习。 2、管理你的时间 我们的时间很容易被大块的工作和不断的会议所占据&#xff0c;导致我们…

数据库mysql导入导出数据需要注意的问题,作者只有600~800个表的处理经验

文章目录 一、新建数据库的时候编码和排序规则尽量和原数据库完全一样二、表结构和表数据分开导入&#xff0c;不要同时导入Navicat导出表结构Navicat导入表结构Navicat导出表数据Navicat导入表数据 三、编码问题四、执行顺序的问题五、迁移数据大小和速度的问题六、数据库分区…