hadoop-3.3.5安装过程

news2025/1/11 21:50:02

准备资源三台虚拟机:

1)准备3台服务器(关闭防火墙、静态IP、主机名称

2)安装JDK

3)配置环境变量

4)安装Hadoop

5)配置环境变量

安装虚拟机(略)--1台即可,执行完毕下述内容,再克隆2台。

虚拟机准备完毕,开始安装——

1-通过yum安装epel-release

[root@kk ~]# yum install -y epel-release

注意:如果Linux安装的是最小系统版,还需要安装如下工具;如果安装的是Linux桌面标准版,不需要执行如下操作

Ø net-tool:工具包集合,包含ifconfig等命令,vim:编辑器

[root@kk ~]# yum install -y net-tools

[root@kk ~]#yum install -y vim 

2-关闭防火墙,关闭防火墙开机自启

 [root@kk ~]# systemctl stop firewalld

[root@kk ~]# systemctl disable firewalld.service

3-创建other用户,并修改other用户的密码

 [root@kk ~]# useradd others

[root@kk ~]# passwd others

4-配置others用户具有root权限,方便后期加sudo执行root权限的命令

[root@kk ~]# vim /etc/sudoers

修改/etc/sudoers文件,在%wheel这行下面添加一行,如下所示:

%wheel  ALL=(ALL)       ALL

others   ALL=(ALL)     NOPASSWD:ALL

5-在/opt目录下创建文件夹,并修改所属主和所属组

(1)在/opt目录下创建modulesoftware文件夹

[root@kk ~]# mkdir /opt/{module,sofeware}

(2)修改modulesoftware文件夹的所有者和所属组均为others用户

[root@kk ~]# chown others:others /opt/module

[root@kk ~]# chown others:others /opt/software

(3)查看modulesoftware文件夹的所有者和所属组

[root@kk ~]# cd /opt/

[root@kk opt]# ll

 6-卸载虚拟机自带的JDK 

注意:如果你的虚拟机是最小化安装不需要执行这一步。

[root@kk ~]# rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

Ø rpm -qa查询所安装的所有rpm软件包

Ø grep -i:忽略大小写

Ø xargs -n1:表示每次只传递一个参数

Ø rpm -e –nodeps:强制卸载软件

7-重启虚拟机

[root@kk ~]# reboot

 8-使用固定IP

1)查看自己主机的IP地址网段和DNS--这一步在自己电脑的网络属性中查看即可

2)修改静态的IP地址

[root@kk ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33

改成

BOOTPROTO=static

IPADDR=192.168.193.170

GATEWAY=192.168.193.2

DNS1=192.168.193.2

DNS2=8.8.8.8

另外两台的IP地址也如此修改 分别为:192.168.193.176192.168.193.177

每个人的都不同,自己设置即可。

9-修改主机名,以下以kk 为例子

[root@kk ~]# vim /etc/hostname

hadoop1

配置Linux主机名称映射hosts文件,打开/etc/hosts

[root@hadoop1 ~]# vim /etc/hosts

192.168.193.170 hadoop1

192.168.193.176 hadoop2

192.168.193.177 hadoop3

重启 hadoop1

[root@kk ~]# reboot

10-JDK和hadoop 3.3.5 导入到opt目录下面的software文件夹下面

JDK需要到oracle 官方下载-

Java Downloads | Oracle

这里本人下载了 (jdk-8u391-linux-x64.tar.gz)

hadoop3.3.5 版本比较稳定,也到官方下载

https://dlcdn.apache.org/hadoop/common/hadoop-3.3.5/hadoop-3.3.5.tar.gz

查看软件包下面已经上传好的软件包

[root@hadoop1 software]$ ls
hadoop-3.3.5.tar.gz  jdk-8u391-linux-x64.tar.gz

11-切换为配置的others 用户来做其他的操作

[root@hadoop1 software]$ su others

[others@hadoop1 software]$ tar -zxvf jdk-8u391-linux-x64.tar.gz  -C /opt/module

[others@hadoop1 software]$ tar -zxvf hadoop-3.3.5.tar.gz  -C /opt/module

12-配置环境变量

[others@hadoop1 hadoop-3.3.5]$ sudo vim /etc/profile.d/my_env.sh

#JAVA_HOME

  export JAVA_HOME=/opt/module/jdk1.8.0_371

  export PATH=$PATH:$JAVA_HOME/bin

#HADOOP_HOME

export HADOOP_HOME=/opt/module/hadoop-3.3.5

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbin

配置完毕,需要进行source ,之后配置文件才会生效

[others@hadoop1 hadoop-3.3.5]$ source /etc/profile

若还有问题,直接进行下重启-[others@hadoop1 hadoop-3.3.5]$ sudo reboot

之后进入系统查询 java -version  和  hadoop version

可用后表示已经成功配置。

13-hadoop 文件夹重要目录说明 

[others@hadoop2 hadoop-3.3.5]$ ll
total 116
drwxr-xr-x. 2 others others 4096 Mar 16  2023 bin
drwxr-xr-x. 3 others others4096 Mar 15  2023 etc
drwxr-xr-x. 2  others others 4096 Mar 16  2023 include
drwxr-xr-x. 3 others others 4096 Mar 16  2023 lib
drwxr-xr-x. 4 others others   4096 Mar 16  2023 libexec
-rw-rw-r--. 1 others others 24496 Feb 25  2023 LICENSE-binary
drwxr-xr-x. 2 others others   4096 Mar 16  2023 licenses-binary
-rw-rw-r--. 1 others others 15217 Jul 17  2022 LICENSE.txt
-rw-rw-r--. 1 others others 29473 Jul 17  2022 NOTICE-binary
-rw-rw-r--. 1 others  others 1541 Apr 22  2022 NOTICE.txt
-rw-rw-r--. 1 others  others 175 Apr 22  2022 README.txt
drwxr-xr-x. 3 others others 4096 Mar 15  2023 sbin
drwxr-xr-x. 4 others others 4096 Mar 16  2023 share
drwxrwxr-x. 2 others  others 4096 Dec  1 14:24 wcinput

1bin目录:存放对Hadoop相关服务(hdfsyarnmapred)进行操作的脚本

2etc目录:Hadoop的配置文件目录,存放Hadoop的配置文件

3lib目录:存放Hadoop的本地库(对数据进行压缩解压缩功能)

4sbin目录:存放启动或停止Hadoop相关服务的脚本

5share目录:存放Hadoop的依赖jar文档和官方案例

 Hadoop官方网站:https://hadoop.apache.org/

https://hadoop.apache.org/docs/r3.3.5/hadoop-project-dist/hadoop-common/SingleCluster.html

2Hadoop运行模式包括:本地模式伪分布式模式以及完全分布式模式

Ø 本地模式:单机运行,只是用来演示一下官方案例。生产环境不用。

Ø 伪分布式模式:也是单机运行,但是具备Hadoop集群的所有功能一台服务器模拟一个分布式的环境个别缺钱的公司用来测试,生产环境不用。

Ø 完全分布式模式:多台服务器组成分布式环境。生产环境使用。

 14-克隆已经部署好的这台资源,修改克隆机的hostname即可。

[root@hadoop1 ~]# vim /etc/hostname

hadoop2

另外一台修改为 hadoop3 即可。

以上就是hadoop 的部署。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1274821.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

第二证券:趋势线是画最低点还是收盘价?

趋势线是股票分析中最底子的技术指标之一。趋势线是一种可帮忙股票生意者辨认价格趋势的图形方法。趋势线是可以经过联接恣意两个价格点画出的一条直线。但是,在画出趋势线时,一个常见的问题是,运用最低点还是收盘价来画趋势线?在…

ROS话题消息实时展示在WEB网页上

【使用背景】 最近公司搞了一个室外无人车的项目,需要用到GPS组合惯导,但是这套传感器由于成本控制,它没有提供小程序或是APP之类的数据监测手段,只能通过一个Windows上位机软件去看GPS实时数据,这对于单人外场调试来…

【Skynet 入门实战练习】分布式 ID | 雪花算法 | 缓存设计 | LRU算法 | 数据库

文章目录 前言雪花算法LRU 算法缓存模块数据库测试逻辑 前言 本节实现了 分布式 ID 生成系统,采用雪花算法实现唯一 ID;实现缓存架构,采用 LRU (最近最少使用)算法。 雪花算法 分布式 ID 生成算法的有很多种&#x…

c#学习相关系列之as和is的相关用法

一、子类和父类的关系 public class Program{static void Main(string[] args){Animal animal new Dog();// Dog dog (Dog)new Animal(); 编译成功,运行报错Dog dog (Dog)animal;Dog dog new Dog();Animal animal dog; //等价于Animal animal new Dog();}}pub…

最新UI酒桌喝酒游戏小程序源码,直接上传源码到开发者端即可,带流量主

源码介绍: 2023最新UI酒桌喝酒游戏小程序源码 娱乐小程序源码 带流量主.修改增加了广告位,直接上传源码到开发者端即可。 通过后改广告代码,然后关闭广告展示提交,通过后打开即可。无广告引流。 流量主版本的(配合流…

gitlab高级功能之CI/CD组件 - 实践(二)

上一篇主要讲解了CI/CD组件的原理,看起来稍微有一点枯燥,那么接下来给大家演示下如何使用。 案例 创建一个项目(README.md,template目录) 案例1 step1: 在template中新建yml文件,cat templates/test-st…

计算机毕业设计|基于SpringBoot+SSM+MyBatis框架的迷你仿天猫商城购物系统设计与实现

计算机毕业设计|基于SpringBoot+MyBatis框架的仿天猫商城购物系统设计与实现 迷你仿天猫商城是一个基于SpringBoot+SSM+MyBatis框架的综合性B2C电商平台,需求设计主要参考天猫商城的购物流程:用户从注册开始,到完成登录,浏览商品,加入购物车,进行下单,确认收货,评价等…

分布式任务调度系统XXL-Job

1.介绍 XXL-JOB是一个分布式任务调度平台,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。 执行流程: a、执行器根据配置的调度中心的地址,自动注册到调度中心 b、达到任务触发条件,调度中心下发任务 c、执行器基于线程池…

进程(process) vs 线程(Thread)

文章目录 前言一、进程(process) vs 线程(Thread)引用自维基百科引用自CSDN INCOE AI引用自 geeksforgeeksOS( Operating System )如何调度线程的线程锁的核心原理是什么? 总结 前言 🚀 多方面理解进程(process) ,线…

gateway网关一直404问题

1.nacos配置管理->配置管理列表-> 有gateway网关的相关配置文件 2. idea项目中添加jar包 3.配置bootstarp.yaml 4. 通过网关访问路径: ip网关端口网关配置服务名字接口

SpringBootWeb案例_02

Web后端开发_05 SpringBootWeb案例_02 1.新增员工 1.1需求 在新增用户时,我们需要保存用户的基本信息,并且还需要上传的员工的图片,目前我们先完成第一步操作,保存用户的基本信息。 1.2 接口文档 基本信息 请求路径&#xff…

前端入门(五)Vue3与TypeScript

文章目录 Vue3简介创建Vue3工程使用vite创建vue-cli方式 常用 Composition API安置项 - setupsetup的执行时机与参数 响应式原理vue2中的响应式vue3中的响应式ref函数reactive函数reactive与ref对比 Vue3简介 Vue3带来了: 1、性能的提升: 打包大小减少…

EDA实验-----正弦信号发生器的设计(Quartus II )

目录 一、实验目的 二、实验仪器 三、实验原理 四、实验内容 五、实验步骤 六、注意事项 七、实验过程(操作过程) 1.定制LPM_ROM模块 2.定制LPM_ROM元件 3.计数器定制 4.创建锁相环 5.作出电路图 6.顶层设计仿真 一、实验目的 学习使用Ver…

不同领域文章一键采集,全网关键词文章采集工具

不同领域的从业者、学生、研究者等都可能需要大量的文章来支持他们的工作和学术研究。然而,手动搜索和整理这些文章费时费力,这个时间大家就会借助全网文章采集工具,只需要输入关键词,就能够采集大量相关文章,为大家提…

利用异或、取反、自增bypass_webshell_waf

目录 引言 利用异或 介绍 eval与assert 蚁剑连接 进阶题目 利用取反 利用自增 引言 有这样一个waf用于防御我们上传的文件: function fun($var): bool{$blacklist ["\$_", "eval","copy" ,"assert","usort…

vue3动态加载音频文件,用于不同场景加载不同的文件

本文主要介绍如何在vue3中动态加载音频文件。 目录 前言静态加载动态加载import函数watch函数使用watch函数和import函数动态加载音频文件 前言 在vue3中,我们通常使用import xxx from xxxxxx来加载文件,但是如果我们需要加载哪些文件,是需要…

如何使用住宅IP配置 Postman

Postman是一个用于方便进行网站测试的HTTP客户端。通过它,用户可以配置不同复杂度的HTTP请求,并将它们保存在数据库中以便将来重复使用。你可以连接代理到Postman,使其在进行测试时变得匿名和更安全。下面将详细说明如何在这个程序中配置代理…

RS-232串口芯片静电保护TVS管选择

RS-232串口芯片静电保护TVS管选择 RS-232接口是现在主流的串行通信接口之一,符合美国电子工业联盟制定的串行数据通信的接口标准,原始编号全称为EIA-RS-232(简称232和RS-232),广泛应用于计算机串行接口外设连接&#…

Pytorch-gpu环境篇

最最最头疼的就是配环境了 包之间的版本匹配问题 INSTALLING PREVIOUS VERSIONS OF PYTORCH 要考虑到pytorch和torchvision之间的匹配关系 显卡版本匹配问题

AI知识库:智能化的知识管理

随着人工智能技术的不断发展,越来越多的企业开始关注如何利用AI技术提升业务运营效率。其中,AI知识库作为一种智能化的知识管理工具,已经在各行各业得到了广泛的应用。接下来就探讨一下AI知识库是如何帮助企业实现智能化知识管理的。 | 一、A…