从零开始Hadoop集群环境搭建

news2024/11/22 11:00:58

目录

  • 1. Centos7.5硬件配置
    • 1.1 创建虚拟机
    • 1.2 虚拟机系统设置
  • 2. IP地址和主机名称配置
  • 3. 软件配置
    • 3.1 安装 epel-release
    • 3.2 卸载虚拟机自带的JDK
    • 3.3 克隆虚拟机
    • 3.4 修改克隆虚拟机的IP
    • 3.5 JDK安装
    • 3.6 Hadoop安装
  • 4. Hadoop目录结构

1. Centos7.5硬件配置

1.1 创建虚拟机

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

1.2 虚拟机系统设置

开启虚拟化（Win10一般都是开启的）
在这里插入图片描述
下载Centos7.5镜像
链接：xxxxxxx
在这里插入图片描述
在这里插入图片描述
然后开启此虚拟机开始安装。
（安装需要一些时间，ctrl+alt呼出鼠标）
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述e
设置密码，简单点就好
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
设置一个普通账号
在这里插入图片描述
至此安装完毕！！！

2. IP地址和主机名称配置

有三个地方需要配置IP地址：VMware、Win10服务器、hadoop100服务器

  1. 配置VMware IP，设置顺序
    在这里插入图片描述
    选择VMnet8，设置的网段避开1就行
    在这里插入图片描述
    在这里插入图片描述
    （DHCP设置时注意区间）
  2. 配置Win10 IP
    在这里插入图片描述
    在这里插入图片描述
    注意：设置后会影响浏览器访问速度！
    如果Windows中没有出现上面的VMnet8，可在VMware中点还原默认配置试试：
    在这里插入图片描述
  3. 配置hadoop100 IP和主机名称
    进入虚拟机——打开终端
    su root
vim /etc/sysconfig/network-scripts/ifcfg-ens33
    在这里插入图片描述
    修改主机名称为hadoop100：
    vim /etc/hostname
    修改主机名称映射：
    vim /etc/hosts
    在这里插入图片描述
    修改完后reboot重启
    重新进入虚拟机，打开终端检查下修改是否成功：
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

3. 软件配置

下面操作都在Xshell中执行。
配置IP地址映射（可选项）
进入电脑 C:\Windows\System32\drivers\etc路径下，打开hosts文件添加如下内容：

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108

3.1 安装 epel-release

注:Extra Packages for Enterprise Limux是为“红帽系”的操作系统提供额外的软件包适用于 RHEL、CentOS和 Scientific Linux。相当于是一个软件仓库，大多数 rpm 包在官方repository 中是找不到的)
注意在root账号下操作

su root
yum install -y epel-release
——自己执行安装命令的时候出现了如下问题：

在这里插入图片描述
排查了一下发现是镜像原因，解决方案：使用阿里云或其他国内镜像源
设置YUM仓库源为阿里云镜像源：

sudo nano /etc/yum.repos.d/CentOS-Base.repo

将内容替换为以下内容：

[base]
name=CentOS-$releasever - Base - mirrors.aliyun.com
baseurl=http://mirrors.aliyun.com/centos/$releasever/os/$basearch/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7

[updates]
name=CentOS-$releasever - Updates - mirrors.aliyun.com
baseurl=http://mirrors.aliyun.com/centos/$releasever/updates/$basearch/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7

[extras]
name=CentOS-$releasever - Extras - mirrors.aliyun.com
baseurl=http://mirrors.aliyun.com/centos/$releasever/extras/$basearch/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7

[centosplus]
name=CentOS-$releasever - Plus - mirrors.aliyun.com
baseurl=http://mirrors.aliyun.com/centos/$releasever/centosplus/$basearch/
gpgcheck=1
enabled=0
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7

保存文件并退出。

关闭防火墙，关闭防火墙开机自启

systemctl stop firewalld
systemctl disable firewalld.service

创建用户并设置密码

useradd xxx
passwd 123456

配置创建的用户具有root权限，方便后期加sudo执行root权限的命令

vim /etc/sudoers

在这里插入图片描述
在 /opt 目录下创建文件夹，并修改所属主和所属组

[root@hadoop100 ~] mkdir /opt/module
[root@hadoop100 ~] mkdir /opt/software

[root@hadoop100 ~] chown xxx:xxx /opt/module
[root@hadoop100 ~] chown xxx:xxx /opt/software

3.2 卸载虚拟机自带的JDK

（注意：如果你的虚拟机是最小化安装则不需要执行这一步）

[root@hadoop100 ~] rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
  • rpm -qa：查询安装的所有rpm软件包
  • grep -i：忽略大小写
  • xargs -n1：表示每次只传递一个参数
  • rpm -e --nodeps：强制卸载软件
    重启虚拟机
[root@hadoop100 ~] reboot

3.3 克隆虚拟机

先关闭虚拟机
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
同理克隆得到 hadoop103、hadoop104

3.4 修改克隆虚拟机的IP

分别root账号进入hadoop102、hadoop103、hadoop104，打开终端

vim /etc/sysconfig/network-scripts/ifcfg-ens33

分别修改IPADDR=192.168.10.102、IPADDR=192.168.10.103、IPADDR=192.168.10.104

vim /etc/hostname

分别修改名称为 hadoop102、hadoop103、hadoop104

reboot

3.5 JDK安装

进入到之前创建的software目录，通过

[root@hadoop102 opt] cd software/

通过Xftp或其他工具将JDK和Hadoop安装包一起上传至该目录，
执行下面命令安装

[root@hadoop102 software] tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

配置JDK环境变量

[root@hadoop102 software] cd /opt/module/jdk1.8.0_212

[root@hadoop102 jdk1.8.0_212] cd /etc/profile.d
[root@hadoop102 jdk1.8.0_212] ll

在这里插入图片描述

[root@hadoop102 profile.d] sudo vim my_env.sh

在这里插入图片描述
重新加载环境变量配置：

[root@hadoop102 profile.d] source /etc/profile

测试：

[root@hadoop102 profile.d] java -version

3.6 Hadoop安装

[root@hadoop102 software] tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

配置Hadoop环境变量

[root@hadoop102 hadoop-3.1.3] sudo vim /etc/profile.d/my_env.sh

在这里插入图片描述

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

重新加载环境变量配置：

[root@hadoop102 hadoop-3.1.3] source /etc/profile

测试：

[root@hadoop102 hadoop-3.1.3] hadoop

4. Hadoop目录结构

（1）bin目录：存放对Hadoop相关服务（hdfs，yarn，mapred）进行操作的脚本
（2）etc目录：Hadoop的配置文件目录，存放Hadoop的配置文件
（3）lib目录：存放Hadoop的本地库（对数据进行压缩解压缩功能）
（4）sbin目录：存放启动或停止Hadoop相关服务的脚本
（5）share目录：存放Hadoop的依赖jar包、文档、和官方案例

后续经常使用的目录如下：
在这里插入图片描述
在这里插入图片描述

至此大功告成！！！！！！！！！！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2188720.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

CMU 10423 Generative AI：lec18（大模型的分布式训练）

CMU 10423 Generative AI：lec18（大模型的分布式训练）

这个文档主要讲解了分布式训练（Distributed Training），特别是如何在多GPU上训练大规模的语言模型。以下是主要内容的概述： 1. 问题背景 训练大规模语言模型的主要挑战是内存消耗。 训练过程中，内存消耗主要来源于两个…
阅读更多...
关于Mac管理员root权限的一些问题总结

关于Mac管理员root权限的一些问题总结

🎉 前言 最近在学习Vue CLI的时候，发现在Vscode里面想要修改文件或者保存文件都会显示“permission denied”，即权限不足。于是想了一些解决方法，记录在此。 🎉 检查当前用户权限 打开终端，输入以下指令…
阅读更多...
yolov8/9/10/11模型在工地安全帽检测中的应用【代码+数据集+python环境+GUI系统】

yolov8/9/10/11模型在工地安全帽检测中的应用【代码+数据集+python环境+GUI系统】

yolov8/9/10/11模型在工地安全帽检测中的应用【代码数据集python环境GUI系统】 yolov8/9/10/11模型在工地安全帽检测中的应用【代码数据集python环境GUI系统】 背景意义 在建筑工地、矿山、工厂等工业生产环境中，安全帽是保护工人头部免受伤害的重要劳保工具。然而…
阅读更多...
销售业绩飞跃，通过CRM系统激发销售团队潜力

销售业绩飞跃，通过CRM系统激发销售团队潜力

要让销售人员使用CRM系统，首先需要理解他们抗拒的原因。常见的抗拒理由包括时间不足、系统复杂、缺乏培训以及对成效的怀疑。为了克服这些障碍，企业可以采取一系列措施，如提供全面培训、通过案例展示价值、强调实际收益、逐步引入系统、领导层…
阅读更多...
C语言第15课—数据在内存中的存储

C语言第15课—数据在内存中的存储

文章目录 1. 整数在内存中的存储2. 大小端字节序和字节序判断3. 整数存储练习3.1 练习13.2 练习23.3 练习33.4 练习43.5 练习5 4. 浮点数在内存中的存储4.1 浮点数存的过程4.2 浮点数取的过程 1. 整数在内存中的存储 整数的2进制表示有三种方法：原码、反码、补码有符…
阅读更多...
CSS3--美若天仙！？

CSS3--美若天仙！？

免责声明：本文仅做分享~ 目录 CSS引入方式 选择器 盒子尺寸和背景色 文字控制属性 单行文字 垂直居中 字体族 font复合属性 文本对齐方式 文本修饰线 color 文字颜色 ----- 复合选择器 伪类选择器 超链接伪类 CSS特性 继承性 层叠性 优先级 Emmet …
阅读更多...
37 预处理器与预处理指令、宏定义（定义常量、数据类型、替换文本、嵌套与取消）、带参宏（细节处理、与函数的区别）

37 预处理器与预处理指令、宏定义（定义常量、数据类型、替换文本、嵌套与取消）、带参宏（细节处理、与函数的区别）

目录 1 预处理器 2 预处理指令 2.1 位置 2.2 格式 2.3 换行 2.4 结束符 2.5 位置限制 3 宏定义 3.1 语法格式 3.2 使用宏定义常量 3.3 使用宏定义数据类型 3.4 宏定义的替换文本 3.5 宏定义嵌套 3.6 取消宏定义 4 带参数的宏定义 4.1 语法格式 4.2 案例演示 …
阅读更多...
ElasticSearch学习笔记（三）Ubuntu 2204 server elasticsearch集群配置

ElasticSearch学习笔记（三）Ubuntu 2204 server elasticsearch集群配置

如果你只是学习elasticsearch的增、删、改、查等相关操作，那么在windows上安装一个ES就可以了。但是你如果想在你的生产环境中使用Elasticsearch提供的强大的功能，那么还是建议你使用Linux操作系统。 本文以在Ubuntu 2204 server中安装elasticsearch 8.…
阅读更多...
go的一些知识点

go的一些知识点

一.package 1.新建项目 新建一个itying文件夹，在里面使用命令 就能生成一个go项目。生成一个go.mod 2.调用别的包的代码 按照下面的目录层级生成代码 //clac.go package calcfunc Add(x, y int) int {return x y } func Sub(x, y int) int {return x - y }…
阅读更多...
【Web】复现n00bzCTF2024 web题解(全)

【Web】复现n00bzCTF2024 web题解(全)

目录 File Sharing Portal 方法一： 方法二： Focus-on-yourSELF Passwordless File Sharing Portal 附件的Dockerfile给了这么一段 # Add the cron job to the crontab RUN mkdir /etc/cron.custom RUN echo "*/5 * * * * root rm -rf /app…
阅读更多...
＜＜迷雾＞＞ 第6章 加法机的诞生(1)--全加器 示例电路

＜＜迷雾＞＞ 第6章 加法机的诞生(1)--全加器 示例电路

全加器的符号 info::操作说明 鼠标单击开关切换开合状态 primary::在线交互操作链接 https://cc.xiaogd.net/?startCircuitLinkhttps://book.xiaogd.net/cyjsjdmw-examples/assets/circuit/cyjsjdmw-ch03-01-full-adder.txt 原图 全加器的逻辑电路实现 info::操作说明 鼠标单击…
阅读更多...
ACT调试pycharm报错

ACT调试pycharm报错

在运行ACT 代码时，根据官方readme使用命令行需要在wandb选择的时候输入3 但是，使用pycharm运行的时候会报错 wandb.errors.UsageError: api_key not configured (no-tty). call wandb.login(key[your_api_key]) 网上搜索都是说要注册什么key&#xf…
阅读更多...
平衡BST：AVL树的实现与机制

平衡BST：AVL树的实现与机制

目录 AVL树的简介 AVL节点的构建 AVL树体的构建 具体片段解析 旋转算法 AVL树的验证 AVL树的简介 AVL树是一种自平衡的二叉搜索树，它在19世纪60年代由Adelson-Velsky和Landis首次提出。在AVL树中，任何节点的两个子树的高度最大差别为1，这…
阅读更多...
python-FILIP/字符串p形编码/数字三角形

python-FILIP/字符串p形编码/数字三角形

一：FILIP 题目描述 给你两个十进制正整数 a,b​，输出将这两个数翻转后的较大数。 「翻转」在本题中的定义详见「说明 / 提示」部分。输入 第一行，两个十进制正整数 a,b。输出 第一行，a 和 b 翻转后的较大数。样例输入1 734 893 样…
阅读更多...
《凡人修仙传》TXT精校全本|知轩藏书校对版！

《凡人修仙传》TXT精校全本|知轩藏书校对版！

看了动漫版，准备重温下原著，有好几年没看了。 最近找到了知轩藏书的校对版，堪称精校，nice！ TXT，14.5MB： https://pan.quark.cn/s/c6446be393fa
阅读更多...
二叉树进阶学习——从中序和后续遍历序列构建二叉树

二叉树进阶学习——从中序和后续遍历序列构建二叉树

1.题目解析 题目来源：106.从中序和后序遍历序列构造二叉树 测试用例 2.算法原理 后序遍历：按照左子树->右子树->根节点的顺序遍历二叉树，也就是说最末尾的节点是最上面的根节点 中序遍历：按照左子树->根节点->右子树…
阅读更多...
gm/ID设计方法学习笔记（一）

gm/ID设计方法学习笔记（一）

前言&#xff1a;为什么需要gm/id &#xff08;一&#xff09;主流设计方法往往侧重于强反型区&#xff08;过驱>0.2V&#xff09;&#xff0c;低功耗设计则侧重于弱反型区&#xff08;<0&#xff09;&#xff0c;但现在缺乏对中反型区的简单和准确的手算模型。 1.对于…
阅读更多...
C++系列-二叉搜索树

C++系列-二叉搜索树

&#x1f308;个人主页&#xff1a;羽晨同学 &#x1f4ab;个人格言:“成为自己未来的主人~” 二叉搜索树 二叉搜索树又称二叉排序树&#xff0c;它或者是一颗空树&#xff0c;或者是具有以下性质的树 若它的左子树不为空&#xff0c;则左子树上的所有节点的值都小于根节点…
阅读更多...
大数据实时数仓Hologres（四）：基于Flink+Hologres搭建实时数仓

大数据实时数仓Hologres（四）：基于Flink+Hologres搭建实时数仓

文章目录 基于FlinkHologres搭建实时数仓 一、使用示例 二、方案架构 1、架构优势 2、Hologres核心优势 三、实践场景 四、项目准备 1、创建阿里云账号AccessKey 2、准备MySQL数据源 五、构建实时数仓​编辑 1、管理元数据 2、构建ODS层 2.1、创建CDAS同步作业OD…
阅读更多...
鸿蒙网络管理模块03——多播DNS管理

鸿蒙网络管理模块03——多播DNS管理

如果你也对鸿蒙开发感兴趣&#xff0c;加入“Harmony自习室”吧&#xff01;扫描下方名片&#xff0c;关注公众号&#xff0c;公众号更新更快&#xff0c;同时也有更多学习资料和技术讨论群。 1、概述 多播DNS也简称MDNS(Multicast DNS)&#xff0c;他主要提供局域网内的本地服…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023