CentOS7 Hadoop3.3.0 安装与配置

news2024/11/18 13:32:12

一、安装JDK

1、创建文件夹tools和training用于存放压缩包和解压使用，tools存放压缩包，training用于解压后安装jdk和hadoop的路径。

1）回到路径为 / 的位置
cd /

在这里插入图片描述

2) 创建 tools 和 training
mkdir tools

mkdir training
3) 进入tools文件夹
cd tools

在这里插入图片描述

4) 左边mobaxterm里面点击进入/tools文件夹,将发给大家的压缩包直接鼠标拖入进去，拖的是tar.gz压缩包，不要在电脑里面解压过了！，拖的时候有进度条，上传完后如图所示

在这里插入图片描述

2、JDK解压

1) 在控制台输入以下命令，将文件解压至training文件夹，如图所示，路径在tools里面，会有一堆进度条，等他运行停止以后进行下一步
tar -zvxf jdk-8u144-linux-x64.tar.gz  -C /training/

在这里插入图片描述

2) 查看mobaxterm左边，点击文件夹进到training里面查看解压情况,有这个文件夹了就说明解压成功了。

在这里插入图片描述

3、JDK安装

1）控制台输入此命令回车进行环境配置
 vi ~/.bash_profile

在这里插入图片描述

2) 进入文件后是不可编辑的阅读状态，使用键盘上下左右键将光标移动到蓝色的export PATH 的H上面，按一下电脑的 i 键盘，进入编辑模式，按右键挪到H的后面，然后回车两次，在进行下一步。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

3) 在文件中添加此配置，直接复制粘贴，若java版本不是从我这下的，和我不同，请自行在配置里更改版本编号144，具体如图
#java
export JAVA_HOME=/training/jdk1.8.0_144
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

在这里插入图片描述

4) 按一下esc退出编辑模式

在这里插入图片描述

5) 输入 冒号wq，然后回车, 不可复制，直接键盘自己输，此操作是保存文件并退出，w是保存，q是退出，后面不会讲这么细，忘记可以翻回来看，如果不下心改错了，不想保存退出，则使用 :wq! ,就是不保存退出。
:wq

在这里插入图片描述
在这里插入图片描述

6) 环境变量更改以后，需要让他生效，所以输入一下命令让环境变量生效。
source ~/.bash_profile

在这里插入图片描述

7) 输入此命令，检查java是否安装完毕，如果弹出对应版本信息则成功安装java。
 java -version

在这里插入图片描述

二、安装Hadoop

1、关闭centos的防火墙，不然影响后面hadoop远程连接

systemctl stop firewalld.service

在这里插入图片描述

systemctl disable firewalld.service

在这里插入图片描述

2、更改主机名为niit和我一样，方便后续文件直接复制粘贴不用更改，更改后不会马上显示，关掉mobaxterm重新连接一下就好了。

 hostnamectl --static set-hostname niit

3、配置映射关系

1）进入centos的hosts映射文件
 vi /etc/hosts
2）添加ip编号 空格 主机名

（每个人ip都不一样，自己用自己的）
具体怎么添加的参考上面的详细环境变量文件更改和保存操作，一样的。

192.168.163.137 niit

在这里插入图片描述

3）：wq保存退出
:wq

4、配置另一个映射文件

1）进入文件
vi /etc/sysconfig/network
2）添加主机名在这个文件里
niit

在这里插入图片描述

3) :wq 保存退出
:wq

5、进入/tools文件夹

cd /tools

6、解压hadoop压缩包到training文件夹

tar -zvxf /tools/hadoop-3.3.0.tar.gz -C /training/

在这里插入图片描述
在这里插入图片描述

7、Hadoop环境配置

1）再次进入环境变量配置文件
vi ~/.bash_profile
2）添加如下配置,别动到之前的java,在后面换行添加就行
#hadoop
export HADOOP_HOME=/training/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

在这里插入图片描述

3）：wq保存退出
4）生效环境变量
source ~/.bash_profile

在这里插入图片描述

5）输入hdfs检查hadoop是否安装成功,如果有这些东西出来了，说明成功安装，接下来去进行hadoop配置文件的配置。
hdfs

在这里插入图片描述

三、Hadoop免密登录配置

1、创建免密登录数据存放文件

1）在hadoop安装路径下创建一个tmp文件夹用于存放配置数据
mkdir /training/hadoop-3.3.0/tmp

在这里插入图片描述

2、免密配置

1）进行hadoop ssh免密配置

a、输入以下代码，回车四次，什么都不要输入，快速回车4次，然后你会得到一个密码图形，每个人不一样，不用看我的图，有图形就好了

ssh-keygen -t rsa

在这里插入图片描述
在这里插入图片描述

b、输入以下命令

cd ~/.ssh/

在这里插入图片描述
c、输入以下命令（niit是主机名，和我不一样得换自己的）

具体如图所示

 ssh-copy-id -i id_rsa.pub root@niit

在这里插入图片描述

四、Hadoop5个配置文件设置

1、进入Hadoop配置文件地址

cd /training/hadoop-3.3.0/etc/hadoop/

2、第一个配置文件：hadoop-env.sh，用于设置jdk的

1）输入命令进入编辑
vi hadoop-env.sh

在这里插入图片描述

2）进去后长这样

在这里插入图片描述

3）往下滑动鼠标找到

在这里插入图片描述

4）进入编辑模式，在这一行下面一行添加此内容
export JAVA_HOME=/training/jdk1.8.0_144
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

在这里插入图片描述

5）:wq保存退出

3、第二个配置文件：hdfs-site.xml，用于设置权限和数据块备份数量

1）进入文件
vi hdfs-site.xml

在这里插入图片描述

2）进去长这样，在两个configuration中间添加配置

在这里插入图片描述

3）进入编辑模式添加内容
<property>
	<name>dfs.replication</name>
	<value>1</value>
</property>
<property>
	<name>dfs.permissions</name>
	<value>false</value>
</property>

在这里插入图片描述

4）：wq保存退出

4、第三个配置文件：core-site.xml，用于设置主节点和临时文件夹

1）进入文件
vi core-site.xml

在这里插入图片描述

2）进去长这样，在configuration中间加

在这里插入图片描述

3）添加内容，niit是主机名，不一样记得改，8020不用动
<property>
	<name>fs.defaultFS</name>
	<value>hdfs://niit:8020</value>
</property>			
<property>
	<name>hadoop.tmp.dir</name>
	<value>/training/hadoop-3.3.0/tmp</value>
</property>

在这里插入图片描述

4）：wq保存退出

5、第四个配置文件：mapred-site.xml，用于设置mapreduce的运行环境

1）进入文件
vi mapred-site.xml

在这里插入图片描述

2）进去长这样，在configuration中间加

在这里插入图片描述

3）添加内容
<property>	
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>

在这里插入图片描述

6、第五个配置文件：yarn-site.xml，用于设置yarn

1）进入文件
vi yarn-site.xml

在这里插入图片描述

2）进入长这样，在箭头处添加

在这里插入图片描述

3）添加内容
<property>
	<name>yarn.resourcemanager.hostname</name>
	<value>niit</value>
</property>
<property>
	<name>yarn.nodemanager.aux-services</name>
	<value>mapreduce_shuffle</value>
</property>

在这里插入图片描述

4）：wq保存退出

五、Hadoop格式化主节点

hdfs namenode -format

#注意: 如果格式化成功，你可以看到如下信息:
common.Storage: Storage directory /training/hadoop-3.3.0/tmp/dfs/name has been successfully formatted.

在这里插入图片描述

六、Hadoop启动与关闭

1、启动Hadoop

1）启动命令
start-all.sh

在这里插入图片描述

2）是否启动成功进程检查
jps

成功会有5个进程，1个jps进程
在这里插入图片描述
如果成功看到5个hadoop进程恭喜你成功了，只要少了任何一个进程说明上述所有步骤一点点小问题都会有影响，从头检查一遍。

2、关闭Hadoop

stop-all.sh

在这里插入图片描述
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/972117.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

47、TCP的流量控制

47、TCP的流量控制

从这一节开始&#xff0c;我们学习通信双方应用进程建立TCP连接之后&#xff0c;数据传输过程中&#xff0c;TCP有哪些机制保证传输可靠性的。本节先学习第一种机制&#xff1a;流量控制。 窗口与流量控制 首先&#xff0c;我们要知道的是&#xff1a;什么是流量控制&#xff…
阅读更多...
AI篇-chatgpt基本用法（文心一言也适用）

AI篇-chatgpt基本用法（文心一言也适用）

目录 &#xff08;1&#xff09;基本规则 &#xff08;2&#xff09;例子1-文章摘要 &#xff08;3&#xff09;例子2-代码生成 &#xff08;4&#xff09;文心一言链接 &#xff08;1&#xff09;基本规则 相比于搜索引擎&#xff0c;ChatGPT的优势在于其高效的想法关联和…
阅读更多...
Passwork 和 KeePass 密码管理器对比和选择

Passwork 和 KeePass 密码管理器对比和选择

互联网蓬勃发展的今天&#xff0c;基本上我们能够想到的功能都可以找到相似的软件辅助工作效率。包括我们日常用到比较多的各种网站、软件账户的管理&#xff0c;如果用密码管理器管理可以确保信息的安全以及提高密码的安全性。在前面的文章中&#xff0c;乐小虎有写过”横向评…
阅读更多...
ES6中导入import导出export

ES6中导入import导出export

ES6使用 export 和 import 来导出、导入模块 用法 /** 导出 export *///分别导出 export let name 孙悟空; export function sum(a, b) {return a b; } } //先定义再导出 let age 18 export {age}/** 默认导出 export default */const a 默认导出; export default a;/**…
阅读更多...
CS420 课程笔记 P4 - 以16进制形态编辑游戏文件

CS420 课程笔记 P4 - 以16进制形态编辑游戏文件

文章目录 IntroductionFinding save filesStringsUnicodeExample!Value searchHealth searchConclusion Introduction 这节课我们将学习编辑十六进制&#xff0c;主要用于编辑保存文件&#xff0c;但十六进制编辑涉及的技能可以很好地转移到&#xff1a; Save file editingRe…
阅读更多...
CG MAGIC分享3d Max中的Corona渲染器材质如何成转换VRay材质？

CG MAGIC分享3d Max中的Corona渲染器材质如何成转换VRay材质？

大家无论是使用Corona渲染器还是Vray渲染器时&#xff0c;进行材质问题时&#xff0c;都会遇到转化材质问题。 如何将CR转换成VR或者将VR转换CR材质呢&#xff1f; 对于这两者之间转换最好最好的方法只能是材质转换器。 CG MAGIC小编&#xff0c;梳理了两种方法&#xff0c;大…
阅读更多...
python-wordcloud词云

python-wordcloud词云

导入模块 from wordcloud import WordCloud import jieba import imageio import matplotlib.pyplot as plt from PIL import ImageGrab import numpy as npwordcloud以空格为分隔符号&#xff0c;来将文本分隔成单词 PIL pillow模块 img imageio.imread(image.png)这行代码…
阅读更多...
ToBeWritten之ATTCK实践的常见误区与最佳实践

ToBeWritten之ATTCK实践的常见误区与最佳实践

也许每个人出生的时候都以为这世界都是为他一个人而存在的&#xff0c;当他发现自己错的时候&#xff0c;他便开始长大 少走了弯路&#xff0c;也就错过了风景&#xff0c;无论如何&#xff0c;感谢经历 转移发布平台通知&#xff1a;将不再在CSDN博客发布新文章&#xff0c;敬…
阅读更多...
阿里云大数据实战记录9：MaxCompute RAM 用户与授权

阿里云大数据实战记录9：MaxCompute RAM 用户与授权

文章目录 问题来源&#xff1a;maxcompute 管理员无法访问敏感列&#xff1f;主线问题&#xff1a;如何提高用户等级衍生问题1&#xff1a;怎么知道自己的等级和表单的等级衍生问题2&#xff1a;为什么 dataworks 空间管理员也没有设置等级的权限&#xff1f;衍生问题3&#xf…
阅读更多...
通过IP地址和子网掩码与运算计算相关地址

通过IP地址和子网掩码与运算计算相关地址

通过IP地址和子网掩码与运算计算相关地址 知道ip地址和子网掩码后可以算出&#xff1a; 1、 网络地址 2、 广播地址 3、 地址范围 4、 本网有几台主机 例1&#xff1a;下面例子IP地址为1921681005 子网掩码是2552552550。算出网络地址、广播地址、地址范围、主机数。 一&…
阅读更多...
Python 操作 Excel

Python 操作 Excel

之前看过一篇文章&#xff0c;说一个工作多年的老员工&#xff0c;处理数据时只会用复制粘贴到 Excel &#xff0c;天天加班工作还完不成&#xff0c;后来公司就招了一个会 Python 的新人&#xff0c;结果分分钟就处理完成。所以工作中大家经常会使用 Excel 去处理以及展示数据…
阅读更多...
SSRF漏洞复现（redis）

SSRF漏洞复现（redis）

文章目录 启动环境漏洞复现探测存活IP和端口服务计划任务反弹shell 前提条件&#xff1a; 1.安装docker docker pull medicean/vulapps:j_joomla_22.安装docker-compose docker run -d -p 8000:80 medicean/vulapps:j_joomla_23.下载vulhub 安装环境已完成&#xff0c;故此省略…
阅读更多...
C头文件只引用一次的方法

C头文件只引用一次的方法

我们自己在写头文件的时候&#xff0c;如果不加入一些独特的方法&#xff0c;有可能造成重复引用的可能&#xff0c;造成代码的冗余&#xff0c;占用空间大&#xff0c;降低效率。所以要保证只引用一次就变的非常重要&#xff0c;此处介绍两种方法&#xff1a; 1、#pragma onc…
阅读更多...
窗口函数-分组排序：row_number()、rank() 、dense_rank()、ntile()

窗口函数-分组排序：row_number()、rank() 、dense_rank()、ntile()

窗口函数语法结构&#xff1a; 分析函数() over(partition by 分组列名 order by 排序列名 rows between 开始位置 and 结束位置) 开窗函数和聚合函数区别&#xff1a; 聚合函数会对一组值进行计算并返回一个值&#xff0c;常见的比如sum()&#xff0c;count()&#xff0c;ma…
阅读更多...
在Cisco设备上配置接口速度和双工

在Cisco设备上配置接口速度和双工

默认情况下&#xff0c;思科交换机将自动协商速度和双工设置。将设备&#xff08;交换机、路由器或工作站&#xff09;连接到 Cisco 交换机上的端口时&#xff0c;将发生协商过程&#xff0c;设备将就传输参数达成一致&#xff0c;当今的大多数网络适配器都支持此功能。 在本文…
阅读更多...
第三章 USB应用笔记之USB鼠标（以STM32 hal库为例）

第三章 USB应用笔记之USB鼠标（以STM32 hal库为例）

第三章 USB应用笔记之USB鼠标&#xff08;以STM32 hal库为例&#xff09; 提示&#xff1a;写完文章后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 第三章 USB应用笔记之USB鼠标&#xff08;以STM32 hal库为例&#xff09;前言一、STM32 U…
阅读更多...
连接全球金融网络 探索SCF公链的多元价值

连接全球金融网络 探索SCF公链的多元价值

在当今数字时代&#xff0c;区块链技术正迅速演变成为驱动各行业创新的重要引擎。公链作为区块链技术的核心之一&#xff0c;正在逐步展现其在金融和技术领域的巨大潜力。与此同时&#xff0c;SCF金融公链作为这一领域的新秀&#xff0c;正以其独特的优势和前瞻性的技术构建起一…
阅读更多...
Rasa 多轮对话机器人

Rasa 多轮对话机器人

Rasa 开源机器人 目录 Rasa 开源机器人 1. 学习资料 2. Rasa 安装 2.1. rasa 简介 2.2. Rasa系统结构 ​编辑 2.3. 项目的基本流程 ​编辑 2.4. Rasa安装 2.5. 组件介绍 3. Rasa NLU 3.0. NLU 推理输出格式 3.1. 训练数据 ./data/nlu.yml 数据文件 3.2. ./confi…
阅读更多...
使用 Amazon SageMaker 微调和部署 ChatGLM 模型

使用 Amazon SageMaker 微调和部署 ChatGLM 模型

本篇文章主要介绍如何使用 Amazon SageMaker 进行 ChatGLM 模型部署和微调的示例。 这个示例主要包括: ChatGLM 总体介绍ChatGLM 微调介绍ChatGLM 环境设置ChatGLM 微调训练ChatGLM 部署测试 前言 大语言模型是一种基于深度学习技术的人工智能模型&#xff0c;可以追溯到早期的…
阅读更多...
Python使用pymysql三方库操作 mysql数据库

Python使用pymysql三方库操作 mysql数据库

为什么要使用pymysql 在使用Python工作与学习中难免会使用到mysql数据库&#xff0c;使用pymysql三方库可以让我们轻松的对数据库的记录进行操作&#xff0c;如创建、修改&#xff0c;删除表&#xff0c;如增加、删除、修改、查询数据表中的记录&#xff0c;下边记录一下pymysq…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023