CentOS7.5搭建Hadoop-3.3.6集群的详细操作流程-实操版本

news2024/9/20 8:05:30

一、准备工作

1、安装 VMware,已安装的,跳过此步骤即可

官方正版VMware下载(16 pro):https://www.aliyundrive.com/s/wF66w8kW9ac
安装:选一下安装地址,一直下一步即可。(可能会要求重启电脑,重启即可)
在这里插入图片描述

2、安装CentOS7.5

下载Linux系统镜像(阿里云盘不限速):https://www.aliyundrive.com/s/UQMBPEovxNg
(系统镜像下载后,把后缀mp4改成iso即可正常使用)
参考VMware虚拟机安装(非常详细)从零基础入门到精通,看完这一篇就够了

3、安装JDK1.8

3.1官网下载安装包,上传至服务器,解压tar包

tar -zxvf jdk-8u221-linux-x64.tar.gz -C /opt/module/

备注:这里的-C不能省略

3.2配置java环境变量、生效

vi /etc/profile
export JAVA_HOME=/opt/module/jdk1.8.0_221
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

把上述环境变量添加到/etc/profile中并生效

source /etc/profile

3.3检测Java版本:

[root@hadoop1 ~]# java -version
java version "1.8.0_221"
Java(TM) SE Runtime Environment (build 1.8.0_221-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.221-b11, mixed mode)

备注:每台机器上都需要 j d k 环境 \color{Salmon}备注:每台机器上都需要jdk环境 备注:每台机器上都需要jdk环境

4、Hadoop环境准备

根据自己的网段,规划出4个IP
192.168.80.5 hadoop1
192.168.80.6 hadoop2
192.168.80.7 hadoop3

4.1修改主机名

hostnamectl set-hostname hadoop1  
hostname  #查看一下
ls

4.2 hosts修改域名:(三个节点上都配一遍)

vi /etc/hosts

添加内容为

192.168.80.5 hadoop1
192.168.80.6 hadoop2
192.168.80.7 hadoop3

4.3配置SSH免密码登录

有什么作用?当用一台计算机用户登录另一台计算机时,每次登录都必须输入密码,在hadoop中,需要成千上万次登录,那么如果每次都需要输入密码的话,速度太慢了,而且折磨人

进入.ssh目录:cd /root/.ssh/

生成ssh秘钥:ssh-keygen -t rsa 一直回车,只需要第一台计算机这样生成秘钥即可

[root@hadoop1 ~]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): 
/root/.ssh/id_rsa already exists.
Overwrite (y/n)? y
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:Gx/StcC/VVyzkMoT15+ErqQDqZPt3RyfuImkdFh+9HA root@hadoop1
The key's randomart image is:
+---[RSA 2048]----+
|             .+..|
|         . . +.++|
|        . + * ..=|
|       o . O o o.|
|      + S.=o=E.  |
|     + .+B.++o   |
|      ooo+=.=..  |
|      ..+.o+.o   |
|       . . o.    |
+----[SHA256]-----+

到此生成了两个文件:id_rsa和id_rsa.pub

在第一台计算机上执行:cp id_rsa.pub authorized_keys 生成副本

修改文件权限:

chmod 644 authorized_keys

测试一下本机无密码登录

service sshd restart

测试第一台计算机与其他计算机无密码登录

[root@hadoop1 .ssh]# ssh hadoop1
Last login: Wed Nov 29 20:13:24 2023 from 192.168.80.1
[root@hadoop1 ~]# exit
logout
Connection to hadoop1 closed.

以下情况则代表登录成功:

向其他几台计算机发送秘钥:
scp /root/.ssh/authorized_keys 目的机用户名@目的机名称:/root/.ssh

scp /root/.ssh/authorized_keys root@hadoop2:/root/.ssh

测试能否无密码登录其他计算机

[root@hadoop1 ~]# ssh hadoop2
Last failed login: Wed Nov 29 20:18:43 EST 2023 from hadoop1 on ssh:notty
There was 1 failed login attempt since the last successful login.
Last login: Wed Nov 29 20:02:00 2023 from 192.168.80.1

ok,到此成功配置SSH免密码登录

二、安装Hadoop

[root@hadoop1 ~]# cd /opt/software/
[root@hadoop1 software]# ls
hadoop-3.3.6.tar.gz  jdk-8u221-linux-x64.tar.gz
[root@hadoop1 software]# scp /opt/software/hadoop-3.3.6.tar.gz root@hadoop2:/opt/module/
[root@hadoop1 software]# scp /opt/software/hadoop-3.3.6.tar.gz root@hadoop3:/opt/module/
[root@hadoop1 software]# tar -zxvf hadoop-3.3.6.tar.gz -C /opt/module/
vi /etc/profile  #配置hadoop的环境变量

添加配置路径

HADOOP_HOME=/opt/module/hadoop-3.3.6
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

生效查看是否成功

[root@hadoop1 ~]# source /etc/profile #让其配置生效
[root@hadoop1 ~]# hadoop version #查看是否成功
Hadoop 3.3.6
Source code repository https://github.com/apache/hadoop.git -r 1be78238728da9266a4f88195058f08fd012bf9c
Compiled by ubuntu on 2023-06-18T08:22Z
Compiled on platform linux-x86_64
Compiled with protoc 3.7.1
From source with checksum 5652179ad55f76cb287d9c633bb53bbd
This command was run using /opt/module/hadoop-3.3.6/share/hadoop/common/hadoop-common-3.3.6.jar

配置文件修改、./sbin/start-dfs.sh

启动Hadoop

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1273851.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

QListWidget中自定义widget大小自适应

背景: QListWidget中的item,可以添加自定义的widget。 但是怎么去调整widget的大小呢? 参考:QT QListWidget的添加与删除,滚动条显示或隐藏,判断是否滑到顶部或底部,并使QListWidgetItem自适…

.Net 8 Blazor下 Auto交互渲染模式试用

一、环境 C:\Users\zhuji>dotnet --version 8.0.100C:\Users\zhuji>dotnet --list-sdks 5.0.403 [C:\Program Files\dotnet\sdk] 6.0.404 [C:\Program Files\dotnet\sdk] 8.0.100 [C:\Program Files\dotnet\sdk] Microsoft Visual Studio Enterprise 2022 (64 位) - Cu…

SQL Sever 基础知识 - 数据查询

SQL Sever 基础知识 - 一、查询数据 一、查询数据第1节 基本 SQL Server 语句SELECT第2节 SELECT语句示例2.1 SELECT - 检索表示例的某些列2.2 SELECT - 检索表的所有列2.3 SELECT - 对结果集进行筛选2.4 SELECT - 对结果集进行排序2.5 SELECT - 对结果集进行分组2.5 SELECT - …

数学建模-基于集成学习的共享单车异常检测的研究

基于集成学习的共享单车异常检测的研究 整体求解过程概述(摘要) 近年来,共享单车的快速发展在方便了人们出行的同时,也对城市交通产生了一定的负面影响,其主要原因为单车资源配置的不合理。本文通过建立单车租赁数量的预测模型和异常检测模型…

IDEA中springboot 提示 java: 找不到符号 符号: 变量 log

在以下位置加上该配置"-Djps.track.ap.dependenciesfalse" 然后重新启动项目,到此问题解决!!!

软件工程 课后题 选择 查缺补漏

在一张状态图中只能有一个初态,而终态则可以没有,也可以有多个 所有的对象可以成为各种对象类,每个对象类都定义了一组 方法 通过执行对象的操作可以改变对象的属性,但它必须经过 消息 的传递 UML应用于 基于对象的面向对象的方…

js事件流与事件委托/事件代理

1 事件流 事件流分为两步,一是捕获,二是冒泡 1.1 捕获概念 捕获就是从最高层一层一层往下找到最内部的节点 1.2 冒泡概念 捕获到最小节点后,一层一层往上返回,像是气泡从最底部往上冒一样,由于水深不同压强不同&…

Git分支批量清理利器:自定义命令行插件实战

说在前面 不知道大家平时工作的时候会不会需要经常新建git分支来开发新需求呢?在我这边工作的时候,需求都是以issue的形式来进行开发,每个issue新建一个关联的分支来进行开发,这样可以通过issue看到一个需求完整的开发记录&#x…

Mybatis 的简单运用介绍

Mybatis 用于操作数据库 操作数据库肯定需要: 1.SQL语句 2.数据库对象和 java 对象的映射 接下来我们看看怎么使用 Mybatis 我们先搞一些数据库内容 然后将其这些内容和Java对象进行映射 再创建一个类实现 select * from 再写一个类证明上述代码是否可以实现 别忘了在appli…

vue3+element-plus+vue-cropper实现裁剪图片上传

1.vue3element-plusvue-cropper实现裁剪图片 element-UI官网element-plus官网vue-croppervue3使用vue-cropper安装&#xff1a;npm install vue-croppernext 2.vue-cropper插件&#xff1a; <vue-cropper :img"option.img" /><script setup>import {reac…

组合(回溯算法)

77. 组合 - 力扣&#xff08;LeetCode&#xff09; 题目描述 给定两个整数 n 和 k&#xff0c;返回范围 [1, n] 中所有可能的 k 个数的组合。 你可以按 任何顺序 返回答案。 样例输入 示例 1&#xff1a; 输入&#xff1a;n 4, k 2 输出&#xff1a; [[2,4],[3,4],[2,3],…

CSP认证2023-03:田地丈量、垦田计划、LDAP,python满分解答代码

CSP认证2023-03&#xff1a;田地丈量、垦田计划、LDAP&#xff0c;python满分解答代码 目录 一、田地丈量 问题描述 输入输出 思路 代码和结果 二、垦田计划 问题描述 输入和输出 思路 代码和结果 三、LDAP 问题描述 思路 代码和结果 一、田地丈量 问题描…

在ubuntu虚拟机上安装不同版本的交叉编译工具链

在之前的章节中&#xff0c;学习了如何安装了4.8.3的交叉编译工具链&#xff1a; 交叉编译 和 软硬链接 的初识&#xff08;面试重点&#xff09;-CSDN博客 但是&#xff0c;在之后学习内核编译时&#xff0c;由于我的树莓派内核版本较高&#xff0c;为6.1&#xff0c;所以在…

贪心 55. 跳跃游戏 45.跳跃游戏 II

55. 跳跃游戏 题目&#xff1a; 给定非负数组&#xff0c;初始位置在数组第一格&#xff0c;数组值是可以选择的最大跳跃步数&#xff0c;判断能不能达到数组末尾。 示例 1: * 输入: [2,3,1,1,4] * 输出: true * 解释: 我们可以先跳 1 步&#xff0c;从位置 0 到达 位置 1,…

【多传感器融合】BEVFusion: 激光雷达和视觉融合框架 NeurIPS 2022

前言 BEVFusion其实有两篇&#xff0c; 【1】BEVFusion: A Simple and Robust LiDAR-Camera Fusion Framework. NeurIPS 2022 | 北大&阿里提出 【2】BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird’s-Eye View Representation 2022 | MIT提出 本文先分…

VUE2+THREE.JS点击事件

THREE.JS点击事件 1.增加监听点击事件2.点击事件实现3.记得关闭页面时 销毁此监听事件 1.增加监听点击事件 renderer.domElement.addEventListener("click", this.onClick, false); 注:初始化render时监听 2.点击事件实现 onClick(event) {const raycaster new …

leetcode-142-环形链表(C语言实现)

题目&#xff1a; 给定一个链表的头节点 head &#xff0c;返回链表开始入环的第一个节点。 如果链表无环&#xff0c;则返回 null。 如果链表中有某个节点&#xff0c;可以通过连续跟踪 next 指针再次到达&#xff0c;则链表中存在环。 为了表示给定链表中的环&#xff0c;评…

药食同源的食物哪些适合冬季吃?

药食同源的食物是指在中医理论指导下&#xff0c;既是药物又是食物的天然植物和动物&#xff0c;具有营养和药效双重作用。在冬季&#xff0c;由于气候寒冷&#xff0c;人体需要更多的热量和营养来保持温暖和健康&#xff0c;因此药食同源的食物在冬季特别适合食用。以下是几种…

CSS伪类伪元素?:hover,::before,::after使用(举例)

文章目录 什么是CSS伪类&#xff1f;什么是伪元素&#xff1f;怎么用伪元素&#xff1f;可以做些什么&#xff1f;::before&#xff0c;在标签选择器之前添加内容&#xff0c;::after正好与之相反::before&#xff0c;在类选择器之前添加内容&#xff08;:制作一个悬浮提示窗 参…

认识JVM 一个Java文件的JVM之旅

准备 我是一个java文件&#xff0c;如何实现我的功能呢&#xff1f;需要去JVM(Java Virtual Machine)这个地方旅行。 变身 我高高兴兴的来到JVM&#xff0c;想要开始JVM之旅&#xff0c;它确说&#xff1a;“现在的我还不能进去&#xff0c;需要做一次转换&#xff0c;生成c…