Hadoop生态圈框架部署 伪集群版（一）- Linux操作系统安装及配置

news2024/12/26 22:03:53

文章目录

  • 前言
  • 一、下载CentOS镜像
    • 1. 下载
  • 二、创建虚拟机hadoop
  • 三、CentOS安装与配置
    • 1. 安装CentOS
    • 2. 配置虚拟网络及虚拟网卡
      • 2.1 配置虚拟网络
      • 2.2 配置虚拟网卡
    • 3. 安装 SSH 远程连接工具 FinalShell
      • 3.1 简介
      • 3.2 下载和安装
        • 3.2.1 下载
        • 3.2.2 安装
      • 3.3 查看动态ip地址
      • 3.4 使用FinalShell连接虚拟机hadoop
    • 4. 配置虚拟机hadoop的主机名、静态ip地址和uuid
    • 5. 重启虚拟机hadoop，并更新FinalShell的连接信息
    • 6. 关闭并禁用防火墙

前言

本指南旨在帮助读者从零开始，在个人计算机上通过VMware Workstation创建并配置一个基于CentOS操作系统的虚拟机，用于构建Hadoop的学习和测试环境。本文档详细记录了从下载CentOS镜像、创建虚拟机、安装CentOS操作系统，到配置虚拟网络、安装SSH远程管理工具FinalShell以及相关环境设置的全过程。通过本指南，读者可以轻松地搭建起自己的Hadoop实验平台，为进一步深入学习Hadoop及相关大数据技术打下坚实的基础。

一、下载CentOS镜像

1. 下载

CentOS镜像下载地址：
阿里云：https://mirrors.aliyun.com/centos-vault/centos/7/isos/x86_64/

进入网站后，选择红框中的一种点击下载。
在这里插入图片描述

二、创建虚拟机hadoop

运行VMware Workstation软件后，点击创建新的虚拟机。

在这里插入图片描述

点击自定义(高级)©，点击下一步。

在这里插入图片描述

选择硬件兼容性为Workstation 16.x，点击下一步。

在这里插入图片描述

选择稍后安装操作系统，点击下一步。

在这里插入图片描述

选择客户机操作系统为Linux，版本为CentOS 7 64位，点击下一步。

在这里插入图片描述

自定义虚拟机名称，选择虚拟机存储目录，点击下一步。

在这里插入图片描述

选择处理器数量为4，每个处理器的内核数量为2，点击下一步。

在这里插入图片描述

设置虚拟机的内存为8192MB，点击下一步。

在这里插入图片描述

选择网络类型为使用网络地址转换，点击下一步。

在这里插入图片描述

选择SCSI控制器为LSI Logic，点击下一步。

在这里插入图片描述

选择虚拟磁盘类型为SCSI，点击下一步。

在这里插入图片描述

选择磁盘为创建新虚拟磁盘，点击下一步。

在这里插入图片描述

设置最大磁盘大小为40G，选择将虚拟磁盘拆分成多个文件，点击下一步。

在这里插入图片描述

把磁盘文件命名为hadoop.vmdk，点击下一步。

在这里插入图片描述

在这个页面查看虚拟机的相关配置参数，点击完成。

在这里插入图片描述

创建完成的虚拟机如下图所示。

在这里插入图片描述

三、CentOS安装与配置

1. 安装CentOS

在创建完成后的虚拟机页面点击设备下方的CD/DVD（IDE）选项，选择使用ISO映像文件，点击浏览，选择镜像文件，点击确定。

在这里插入图片描述

点击开启虚拟机。

在这里插入图片描述

启动虚拟机后，鼠标点击黑色背景部分，键盘上的上下键可以选择选项，选择Install CentOS 7，之后点击回车键。

在这里插入图片描述

等待加载完成后，点击空白部分，让鼠标可以选择，然后设置语言为简体中文。

在这里插入图片描述

设置日期和时间为亚洲上海时区，键盘为汉语，语言支持为简体中文。

在这里插入图片描述

设置软件选择为最小安装。

在这里插入图片描述
在这里插入图片描述

设置安装位置为自动选择分区。

在这里插入图片描述
在这里插入图片描述

设置网络和主机名，设置以太网状态为开启，主机名为hadoop，点击应用后可以在右下角看到当前主机名，点击完成。

在这里插入图片描述

设置完成后，点击开始安装。

在这里插入图片描述

开始安装后，点击ROOT密码。

在这里插入图片描述

输入需要设置的密码，双击完成。

在这里插入图片描述

设置密码完成后，可以看到已经设置root密码。

在这里插入图片描述

等待安装完成后点击重启。

在这里插入图片描述

重启完成后会跳转到登陆页面，输入用户名root，点击回车，输入密码时不会有任何字符出现，但是已经是输入了，输入密码后，点击回车登录。

在这里插入图片描述

2. 配置虚拟网络及虚拟网卡

2.1 配置虚拟网络

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

2.2 配置虚拟网卡

  1. 按 Win + R 组合键打开“运行”对话框。
  2. 输入 control 并按回车键，打开控制面板。
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

3. 安装 SSH 远程连接工具 FinalShell

3.1 简介

FinalShell 是一款功能全面的 SSH 客户端和终端模拟器，它主要用于远程管理和控制服务器。FinalShell 提供了丰富的特性和工具，使其成为 IT 专业人士、系统管理员和开发者的常用工具之一。

3.2 下载和安装

3.2.1 下载

下载地址：http://www.hostbuf.com/downloads/finalshell_windows_x64.exe

点击下载地址后就会开始下载，等待下载完成。

3.2.2 安装

下载完成后，双击下载好的.exe文件。

在这里插入图片描述

点击我接受。

在这里插入图片描述

点击下一步。

在这里插入图片描述

点击浏览选择安装目录，点击安装。

在这里插入图片描述

等待安装完成后点击关闭。

在这里插入图片描述

3.3 查看动态ip地址

输入账号root，密码123456，进行登录，然后使用如下命令查看动态ip地址。

ip addr

可以看到动态IP地址为 192.168.121.128，记住此IP地址。

在这里插入图片描述

3.4 使用FinalShell连接虚拟机hadoop

安装完成之后会自动运行FinalShell，或者双击桌面快捷方式运行FinalShell。

运行之后，如下图所示，点击新建SSH连接。

在这里插入图片描述

输入自定义名称hadoop、主机ip地址为之前查看虚拟机hadoop的动态ip地址、端口号，选择认证方法为密码，输入用户名root和密码123456，点击确定。

在这里插入图片描述

双击新建的SSH连接，连接虚拟机hadoop。

在这里插入图片描述
在这里插入图片描述

出现如下页面则连接成功。

在这里插入图片描述

4. 配置虚拟机hadoop的主机名、静态ip地址和uuid

在虚拟机hadoop使用如下命令设置虚拟机hadoop的主机名为hadoop，静态ip地址为192.168.121.100。

hostnamectl set-hostname hadoop

在这里插入图片描述

cat >/etc/sysconfig/network-scripts/ifcfg-ens33 <<EOF
TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"
IPADDR="192.168.121.100"
NETMASK="255.255.255.0"
GATEWAY="192.168.121.2"
DNS1="114.114.114.114"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="$(uuidgen)"
DEVICE="ens33"
ONBOOT="yes"
EOF

在这里插入图片描述

5. 重启虚拟机hadoop，并更新FinalShell的连接信息

由于修改ip地址和主机名后，需要重启虚拟机使修改的配置生效，新的ip地址生效后。

点到虚拟机hadoop，然后使用Ctrl+r快捷键重启虚拟机hadoop。

在这里插入图片描述

FinalShell上的虚拟机hadoop的连接信息要改为设置的静态ip地址192.168.121.100。

在这里插入图片描述
在这里插入图片描述

然后刷新连接。

在这里插入图片描述
在这里插入图片描述

6. 关闭并禁用防火墙

执行如下命令关闭并禁用防火墙。

systemctl stop firewalld
systemctl disable firewalld

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/2252208.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

StarRocks存算分离在得物的降本增效实践

StarRocks存算分离在得物的降本增效实践

一、背景 OLAP引擎在得物的客服、风控、供应链、投放、运营、ab实验等大量业务场景发挥重要作用&#xff0c;在报表、日志、实时数仓等应用场景都有广泛的应用。 得物引入和使用OLAP引擎的过程中&#xff0c;每个业务都基于自己的需求选择当时最适合自己的引擎。现在得物内部同…
阅读更多...
L15.【LeetCode笔记】相同的树

L15.【LeetCode笔记】相同的树

目录 1.题目 代码模板 2.分析 通过合理的if判断分类讨论两个根节点 1.首先,p和q都为NULL的情况最好排除 2.排除了两个都为NULL的情况,剩下的情况:1.其中一个为NULL;2.两个都不为NULL 写法1 写法2 3.只剩下最后一种情况:p和q都不为NULL 3.代码 提交结果 1.题目 https…
阅读更多...
TCP协议（一）

TCP协议（一）

TCP协议&#xff08;一&#xff09; 一、TCP协议1、介绍2、主要特点 二、TCP协议段格式1、示意图2、介绍 三、确认应答机制1、基本流程2、作用3、示意图4、序列号示意图 四、超时重传机制1、介绍2、重传超时时间3、往返时间4、平滑往返时间5、系统实现6、数据丢失重传示意图7、…
阅读更多...
单链表---链表分割

单链表---链表分割

将小于x的结点放在前面&#xff0c;大于等于x的结点放在后面&#xff0c;不改变结点相对位置&#xff0c;输出更改后的链表首结点。 typedef struct ListNode {ListNode* next;int val; }ListNode; 思路&#xff1a;我们可以新创建两个链表指针&#xff0c;将小于x的结点全部…
阅读更多...
Android V reboot重启后电量从0直接跳到100%

Android V reboot重启后电量从0直接跳到100%

问题背景 设备每次重启之后statusBar的电量百分比一开始是0，然后过了2s左右的样子电量才恢复为100% 解决方案 看拿到的串口日志来看，重启之后 healthd 拿到的电量值都是100%，而且这一块的电量也没有变化，重启前后电量都是100%： 自己尝试复现，在Android 15上测试重启，…
阅读更多...
【技巧】Mac上如何显示键盘和鼠标操作

【技巧】Mac上如何显示键盘和鼠标操作

在制作视频教程时&#xff0c;将键盘和鼠标的操作在屏幕上显示出来&#xff0c;会帮助观众更容易地理解。 推荐Mac上两款开源的小软件。 1. KeyCastr 这款工具从2009年至今一直在更新中。 https://github.com/keycastr/keycastr 安装的话&#xff0c;可以从Github上下载最…
阅读更多...
C 语言学习的经典书籍有哪些？

C 语言学习的经典书籍有哪些？

学习C语言的理由 C语言是一种程席设计语言&#xff0c;它是由美国AT&T公司贝尔实验室的Dennis Ritchie于1972年发明的。C语言之所以流行&#xff0c;是因为它简单易用。学习C语言的几个理由如下&#xff1a; (1)C、C#和Java使用一种被称为面向对象程序设计(0bject-Orient…
阅读更多...
leetcode 52. N 皇后 II 困难

leetcode 52. N 皇后 II 困难

n 皇后问题 研究的是如何将 n 个皇后放置在 n n 的棋盘上&#xff0c;并且使皇后彼此之间不能相互攻击。 给你一个整数 n &#xff0c;返回 n 皇后问题 不同的解决方案的数量。 示例 1&#xff1a; 输入&#xff1a;n 4 输出&#xff1a;2 解释&#xff1a;如上图所示&#…
阅读更多...
谷歌浏览器中搜索引擎的设置与管理

谷歌浏览器中搜索引擎的设置与管理

谷歌浏览器作为全球最受欢迎的网络浏览器之一&#xff0c;以其高速、稳定和丰富的功能深受用户喜爱。对于许多用户来说&#xff0c;自定义和管理搜索引擎是提升浏览体验的重要一环。本文将详细介绍如何在谷歌浏览器中设置和管理搜索引擎&#xff0c;包括如何修改默认搜索引擎、…
阅读更多...
掌上单片机实验室 — RT - Thread+ROS2 浅尝（26）

掌上单片机实验室 — RT - Thread+ROS2 浅尝（26）

前面化解了Micro_ROS通讯问题&#xff0c;并在 RT-Thread Studio 环境下&#xff0c;使用Micro_ROS软件包中的例程&#xff0c;实现了STM32F411CE核心板和ROS2主机的通讯。之后还尝试修改例程 micro_ros_sub_twist.c &#xff0c;实现了接收 turtle_teleop_key 所发出的 turtle…
阅读更多...
什么是Batch Normalization？

什么是Batch Normalization？

一、概念 Batch Normalization是在2015年提出的数据归一化方法&#xff0c;主要用在深度神经网络中激活层之前。它的主要作用是加快模型训练时的收敛速度&#xff0c;使模型训练过程更加稳定&#xff0c;避免梯度爆炸或消失&#xff0c;并起到一定的正则化作用&#xff0c;有时…
阅读更多...
【Linux】文件操作的艺术——从基础到精通

【Linux】文件操作的艺术——从基础到精通

&#x1f3ac; 个人主页&#xff1a;谁在夜里看海. &#x1f4d6; 个人专栏&#xff1a;《C系列》《Linux系列》《算法系列》 ⛰️ 道阻且长&#xff0c;行则将至 目录 &#x1f4da;前言&#xff1a;一切皆文件 &#x1f4da;一、C语言的文件接口 &#x1f4d6;1.文件打…
阅读更多...
谷歌流量怎么提升？

谷歌流量怎么提升？

用好内容满足用户需求&#xff0c;谷歌流量的提升并非一蹴而就&#xff0c;尤其是行业差异会导致流量效果的巨大差距。无论你做哪个行业&#xff0c;谷歌流量的核心始终是内容&#xff0c;用户需要的是解决问题的信息。相比于花费精力追求热门词&#xff0c;注重内容的深度和实…
阅读更多...
运输层3——TCP协议（重点！！！）

运输层3——TCP协议（重点！！！）

目录 一、TCP协议的特点 二、TCP连接 三、TCP的可靠传输&#xff08;重点&#xff01;&#xff01;&#xff01;&#xff09; 1、停止等待协议 &#xff08;1&#xff09;无差错情况 &#xff08;2&#xff09;出现差错 &#xff08;3&#xff09;确认分组丢失 和 确认分…
阅读更多...
LeetCode题练习与总结：排列硬币--441

LeetCode题练习与总结：排列硬币--441

一、题目描述 你总共有 n 枚硬币&#xff0c;并计划将它们按阶梯状排列。对于一个由 k 行组成的阶梯&#xff0c;其第 i 行必须正好有 i 枚硬币。阶梯的最后一行 可能 是不完整的。 给你一个数字 n &#xff0c;计算并返回可形成 完整阶梯行 的总行数。 示例 1&#xff1a; 输…
阅读更多...
数据查找文件夹里Excel、Word文件

数据查找文件夹里Excel、Word文件

我经常需要处理大量的Excel文件&#xff0c;为了解决查找数据时的困扰&#xff0c;我编写了一个小工具。这个工具可以搜索文件夹下的所有Excel文件&#xff0c;只需输入你想查找的字符串&#xff0c;它就会告诉你该字符串出现在哪个Excel文件的哪个表格中。 下载地址&#xff…
阅读更多...
每天下午16:20达梦数据库干什么？

每天下午16:20达梦数据库干什么？

家里有达梦的朋友注意了&#xff0c;如果您用的是试用版&#xff0c;那么通常1年后数据库就不允许使用了&#xff0c;这是因为缺少正式许可&#xff0c;通常保存在 $DM_HOME/bin/dm.key 文件中 这个1年的时间从软件发布日期算&#xff0c;例如&#xff1a;从官方网站下载的 dm…
阅读更多...
rtc-pcf8563 0-0051: low voltage detected, date/time is not reliable

rtc-pcf8563 0-0051: low voltage detected, date/time is not reliable

解决方法&#xff1a; 1、先测量pcf8563电源电压&#xff0c;是否满足要求。 2、pcf8563首次操作。第一次读取pcf8563的时间&#xff0c;未初始化&#xff0c;非法&#xff0c;芯片门槛电压检测配置不合理。使用hwclock命令写入一次&#xff0c;即可解决。 hwclock -f /dev/…
阅读更多...
SpringBoot 整合 Avro 与 Kafka

SpringBoot 整合 Avro 与 Kafka

优质博文&#xff1a;IT-BLOG-CN 【需求】&#xff1a;生产者发送数据至 kafka 序列化使用 Avro&#xff0c;消费者通过 Avro 进行反序列化&#xff0c;并将数据通过 MyBatisPlus 存入数据库。 一、环境介绍 【1】Apache Avro 1.8&#xff1b;【2】Spring Kafka 1.2&#xf…
阅读更多...
【leetcode100】矩阵置零

【leetcode100】矩阵置零

1、题目描述 给定一个 m x n 的矩阵&#xff0c;如果一个元素为 0 &#xff0c;则将其所在行和列的所有元素都设为 0 。请使用原地算法。 示例 1&#xff1a; 输入&#xff1a;matrix [[1,1,1],[1,0,1],[1,1,1]] 输出&#xff1a;[[1,0,1],[0,0,0],[1,0,1]] 2、初始思路 2…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023