Hadoop高手之路2—Hadoop集群的基础设置

news2024/11/16 12:05:56

文章目录

  • Hadoop集群的基础设置
    • 一、虚拟机软件的安装
    • 二、创建虚拟机,安装CentOS
      • 1.下载CentOS
      • 2.创建虚拟机
      • 3.编辑虚拟机设置
      • 4.安装centos7.9mini版本
      • 5.启动centos,并进行登录
      • 6. 退出root登录,用user1登录
    • 三、CentOS网络配置
      • 1. 查看本地windows主机的网络适配器
      • 2. 查看虚拟机网络地址配置区间
      • 3. 查看本地windows主机的IP地址
      • 4. 虚拟机ip配置
        • 1) 动态IP配置方式(dhcp)
        • 2) 静态IP配置方式
    • 四、远程连接工具连接虚拟机(云服务器)
      • 1. ssh2协议
      • 2. ssh2工具
      • 3. securecrt工具的使用
        • 3.1 下载
        • 3.2 解压
        • 3.3 安装
        • 3.4 破解
        • 3.5 启动securecrt连接虚拟机
    • 五、安装一个好用的文本编辑器notpad++
      • 1. 下载
      • 2. 安装
    • 六、虚拟机配置主机名
      • 1. 永久修改主机名
      • 2. 建立虚拟机主机名和ip地址的映射关系
      • 3. 建立本地windows主机中虚拟机主机名和虚拟机ip的映射关系
    • 七、新建hadoop集群搭建需要的文件夹
    • 八、备份虚拟机
      • 1. 克隆虚拟机
      • 2. 虚拟机快照
      • 3. 从快照恢复
      • 4. 快照管理器
      • 5. 虚拟机迁移
        • 1) 导出为ovf
        • 2) 导入

Hadoop集群的基础设置

一、虚拟机软件的安装

安装VMware或者VirtualBox

image-20221006140510111

这里使用的是VMware 16,网上都有相关的包和密钥

二、创建虚拟机,安装CentOS

1.下载CentOS

可以到官网:https://www.centos.org/download/ 或者国内的镜像网站进行下载

这里我们到官网进行下载,选择x86_64版本的

image-20221006141008572

这里我们选择 7.9 版本的

image-20221006141300066

搭建集群的话,不需要太大的,这里我们选择 mini 版本

image-20221006141352913

2.创建虚拟机

打开VMware,点击文件,点击新建虚拟机

image-20221006141629192

选择自定义模式,然后点击下一步

image-20221006141806205

根据你的VMware选择对应版本(一般默认就可以),点击下一步

image-20221006141944348

选择稍后安装操作系统,点击下一步

image-20221006142213365

选择Linux(L)、CentOS 7 64位(默认就好),点击下一步

image-20221006142322115

设置虚拟机名称和位置,注意不要放在C盘里,点击下一步

image-20221006142524916

设置内核数量和虚拟机数量,点击下一步

image-20221006142715915

设置分配给虚拟机的内存,16G的内存设置2G就可以了,点击下一步

image-20221006142813746

网络类型这里使用 NAT,点击下一步

image-20221006142950235

跟着推荐走,点击下一步

image-20221006143055955

image-20221006143129210

选择创建新虚拟磁盘,点击下一步

image-20221006143206074

设置磁盘容量,这里为20G,点击洗衣部

image-20221006143313700

这里不做修改,点击下一步

image-20221006143438699

点击完成

image-20221006143520995

这样虚拟机就创建好了

image-20221006143604839

3.编辑虚拟机设置

找到 编辑虚拟机设置

image-20221006143800162

找到下载好的CentOS文件

image-20221006144057045

4.安装centos7.9mini版本

点击 开启虚拟机

image-20221006144156988

点击安装

image-20221006144409926

选择安装语言

image-20221006144600449

选择安装磁盘

image-20221006144637786

image-20221006150802409

开始安装

image-20221006144743059

设置root密码

image-20221006160835925

image-20221006160745507

创建普通用户

image-20221006160846347

image-20221006160858955

安装成功后重启

image-20221006161102267

安装成功后重启

image-20221006164345315

5.启动centos,并进行登录

image-20221016150005657

出现#提示符,说明登录成功,输入exit退出登录

6. 退出root登录,用user1登录

image-20221016150216438

出现 $ 提示符,说明登录成功

三、CentOS网络配置

1. 查看本地windows主机的网络适配器

打开设置,找到网络和Internet,点击更改网络适配器

image-20221006164648146

我们可以看到 VMnet1和 VMnet8

image-20221016152146663

2. 查看虚拟机网络地址配置区间

image-20221007122422681

image-20221016153820667

注意:此处每个人的网络配置区间都是不一样的

3. 查看本地windows主机的IP地址

按win+r打开运行

image-20221007122635698

进入命令提示符

image-20221017085357470

4. 虚拟机ip配置

IP配置参数:

  • IP地址:点分十进制,四位十进制数用点进行分割,0~255
  • 子网掩码:
  • 网关:
  • DNS:用于域名和ip地址的转换

修改网卡的配置文件:

打开虚拟机,进入 root 用户下,进入 /etc/sysconfig/network-scripts/ 目录下

image-20221016164222536

输入 ll,查看目录下文件

image-20221016164140762

用 vi 编辑器修改配置文件

image-20221007123627444

image-20221007123954704

1) 动态IP配置方式(dhcp)

虚拟机通过dhcp协议动态获取ip地址,有可能每一次启动虚拟机获取的ip地址都是不一样的,这是不推荐使用的

image-20221007124042556

将 ONBOOT 项修改为yes,保存退出

image-20221017083812117

重启虚拟机

image-20221007124107798

查看虚拟机ip地址配置

image-20221017085235165

测试连通情况

image-20221017085625514

说明网络配置是没问题的

2) 静态IP配置方式

修改网卡的配置文件,将ONBOOT修改为 static

image-20221017090223251

重启网络服务,systemctl restart network

image-20221007132816016

查看网络服务状态,systemctl status network,处于激活状态

image-20221017090439381

查看ip地址设置情况

image-20221017090523533

测试连通情况

image-20221017090732966

说明静态ip配置是成功的

四、远程连接工具连接虚拟机(云服务器)

1. ssh2协议

当我们需要远程登录到服务器上进行操作的时候,一般就会用ssh。ssh是secure shell的简称,它相对于早起的telnet和rsh的明文传输,提供了加密、校验和压缩,使得我们可以很安全的远程操作, 而不用担心信息泄露(当然不是绝对的,加密总有可能被破解,只是比起明文来说那是强了不少)。

2. ssh2工具

推荐几款SSH工具

image-20221007133845467

这里我们推荐使用 XShell /SecureCRT

3. securecrt工具的使用

3.1 下载

image-20221007155838312

3.2 解压

image-20221007155904713

3.3 安装

image-20221007160003263

同意协议,点击下一步

image-20221007160022055

点击下一步

image-20221007160300893

接下来点击 “Custom”(自定义安装),然后点击下一步

image-20221007161044490

修改为自己想设置的路径

image-20221007161214648

这里两个都进行勾选,点击下一步

image-20221007160452118

点击 install 进行安装

image-20221007161317702

安装完成

image-20221007161345665

3.4 破解

参考下面的教程

SecureCRT注册激活教程

image-20221007170304802

3.5 启动securecrt连接虚拟机

image-20221017094208530

image-20221017094222319

image-20221017094244971

image-20221017094304996

说明远程连接虚拟机成功

五、安装一个好用的文本编辑器notpad++

1. 下载

image-20221017094408949

2. 安装

image-20221011114440605

六、虚拟机配置主机名

1. 永久修改主机名

image-20221017094829600

输入 exit 退出

重新登录可以看到主机名已经发生了变化,reboot重启主机后也被修改

image-20221017094928269

2. 建立虚拟机主机名和ip地址的映射关系

主机名和ip地址映射关系保存在/etc/hosts文件中,修改该文件

image-20221017095241984

修改为

image-20221017095216791

保存退出

image-20221017095314177

测试:

image-20221017095354400

3. 建立本地windows主机中虚拟机主机名和虚拟机ip的映射关系

按win+r,打开运行窗口

image-20221011153418818

点击 etc 文件

image-20221016191539271

image-20221016191653851

image-20221017100113067

注意:修改hosts文件需要管理员权限

测试

image-20221017100231089

七、新建hadoop集群搭建需要的文件夹

在根目录下创建/export文件夹,在该文件夹下创建data、software和servers三个子文件夹

image-20221017100618018

八、备份虚拟机

1. 克隆虚拟机

克隆虚拟机之前,最好关闭虚拟机(不要直接关闭虚拟机)

image-20221017100653491

image-20221017101424000

image-20221017101452342

image-20221017101504927

image-20221017101605834

image-20221017101656116

image-20221017101711334

image-20221017101723084

image-20221017101750276

2. 虚拟机快照

image-20221017101905472

image-20221011162249281

3. 从快照恢复

image-20221017102052687

image-20221017102116348

4. 快照管理器

image-20221017102142205

5. 虚拟机迁移

非必要不要进行尝试

1) 导出为ovf

image-20221011162707599

image-20221011162727866

image-20221011162741575

2) 导入

image-20221011162932513

image-20221011163006661

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1540.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

图像格式RGB-HSV-YUV

文章目录一、RGB色彩空间二、HSV 色彩空间三、YUV 色彩空间四、色彩空间的转换待更新中FPGA实现RGB与HSV的转换 一、RGB色彩空间 RGB 是最常用于显示器的色彩空间,R(red)是红色通道,G(green)是绿色,B(blue)是蓝色通道。这三种颜色以不同的量…

(附源码)计算机毕业设计SSM教师教学质量评价系统

(附源码)计算机毕业设计SSM教师教学质量评价系统 项目运行 环境配置: Jdk1.8 Tomcat7.0 Mysql HBuilderX(Webstorm也行) Eclispe(IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持)。 项目技术…

【数据结构与算法】手写HashMap的模拟实现

✨哈喽,进来的小伙伴们,你们好耶!✨ 🛰️🛰️系列专栏:【数据结构与算法】 ✈️✈️本篇内容:手写HashMap的模拟实现! 🚀🚀代码存放仓库gitee:Java数据结构代码存放&…

目标检测 YOLOv5 - Rockchip rknn模型的测试 包括精度,召回率,mAP等详细信息

目标检测 YOLOv5 - Rockchip rknn模型的测试 包括精度,召回率,mAP等详细信息 flyfish 该测试是使用了自定义128张图片的测试结果,如果采用官网的coco128图片数据会比下列数值更好看。 以下是对比结果,pt模型的测试结果和rknn模型…

进程互斥的实现方法

文章目录进程互斥的软件实现方法单标志法双标志先检查法双标志后检查法Peterson算法img硬件实现进程互斥中断屏蔽方法TestAndSet指令Swap指令进程互斥的软件实现方法 软件实现方法的思想:在进入区设置并检查一些标志 来标明是否有进程在临界区中,若已有进程在临界区…

MyBatis

最近新开了个项目&#xff0c;记录第一次新开项目做得一些步骤&#xff0c;整合mybatis就是重要的一步&#xff0c;这里我演示了依赖的添加&#xff0c;逆向文件的生成。 1.整合mybatis 1.1基础配置 先添加依赖&#xff0c;再增加配置文件 dependencies <!--Spring Boot …

Java 开发工具 Eclipse

目录 一、Eclipse 概述 二、Eclipse 安装与汉化 三、创建 Java 项目 四、创建 Java 类 五、运行 Java 程序 六、Eclipse 调试程序 &#xff08;方法一&#xff09; 七、Eclipse 调试程序 &#xff08;方法二&#xff09; 工欲善其事&#xff0c;必先利…

Linux文件查找find

目录 前言 查找命令 命令演示 1.which&#xff1a;命令查找 2.locate命令 3.find命令&#xff08;主要使用这个命令进行查找文件&#xff09; 1&#xff09;语法 2&#xff09;find的用法介绍 按文件名查找 手动写入指定大小数据到文件内&#xff0c;介绍一下dd命令。…

【兄弟反目成仇系列】:我只是写了一个爆炸信息窗口脚本,好兄弟追了我几条街~

文章目录✨ 真的来咯~&#x1f4a5;爆炸信息窗口&#x1f4a1;设计思路&#x1f511;模块准备⚠️删除好友警告⚠️源代码❓这时你可能会问&#x1f440; 批量获取表情包&#x1f6c0;结束语专栏Python零基础入门篇&#x1f525;Python网络蜘蛛&#x1f525;Python数据分析Djan…

高德地图 API,点击地图标记获取自定义标记 (Marker) 中的信息

高德地图 API&#xff0c;点击地图标记获取自定义标记 (Marker) 中的信息 通过 高德地图 JS Web 添加自定义图标&#xff0c;自定义窗口标记 已经能在地图中正常添加自定义标记了 这篇文章讲讲点击标记时&#xff0c;如何从自定义标记中获取你需要的信息&#xff0c;如何预置一…

计算机网络【IP协议与以太网】

计算机网络【IP协议与核心协议】&#x1f34e;一.IP协议&#x1f352;1.1IPv4协议格式&#x1f352;1.2 IP协议地址&#x1f352;1.3IPv4协议的解决方案&#x1f352;1.4路由选择(了解)&#x1f34e;二.以太网协议&#x1f352;2.1以太网协议格式&#x1f352;2.2认识MTU(了解)…

聊一聊JAVA中的缓存规范 —— 虽迟但到的JCache API与天生不俗的Spring Cache

为何需要规范 上一章中构建的最简化版本的缓存框架&#xff0c;虽然可以使用&#xff0c;但是也存在一个问题&#xff0c;就是它对外提供的实现接口都是框架根据自己的需要而自定义的。这样一来&#xff0c;项目集成了此缓存框架&#xff0c;后续如果想要更换缓存框架的时候&a…

哈希的应用

文章目录前言一、位图1.1位图概念1.2位图的实现1.3 位图的应用二、 布隆过滤器2.1 布隆过滤器提出2.2 布隆过滤器概念2.3 布隆过滤器的插入2.4 布隆过滤器的哈希函数2.5 布隆过滤器的查找2.6 布隆过滤器删除2.7 布隆过滤器的优点2.8 布隆过滤器的缺陷2.9 布隆过滤器的应用场景前…

散射辐射变送器的优势体现在哪些方面?

散射辐射是经过大气分子、水蒸气、灰尘等质点的散射&#xff0c;改变了方向的太阳辐射&#xff0c;也称天空散射辐射。太阳散射辐射强弱程度与太阳辐射的入射角、大气条件&#xff08;云量、水汽、砂粒、烟尘等粒子的多少&#xff09;和地面反射率有关。当天空的浑浊程度加大&a…

链路状态路由协议 OSPF (三)

作者简介&#xff1a;一名在校云计算网络运维学生、每天分享网络运维的学习经验、和学习笔记。 座右铭&#xff1a;低头赶路&#xff0c;敬事如仪 个人主页&#xff1a;网络豆的主页​​​​​​ 目录 前言 一.OSPF领接关系的建立 1.OSPF领接关系的建立概述 &#xff0…

彻底理解Java并发:乐观锁与CAS

本篇内容包括&#xff1a;悲观锁与乐观锁的概述、CAS&#xff08;Compare And Swap&#xff09;比较并交换的介绍、非阻塞算法与ABA问题&#xff0c;以及对 Java 中 CAS 的实现解读&#xff08;AtomicInteger 对 CAS 的实现&#xff0c;Unsafe 类简介&#xff09;。 一、悲观锁…

【树莓派不吃灰】Raspberry Pi上搭建NodeJS运行环境

目录1. 前言2. 安装NodeJS环境2.1 安装npm2.2 安装nodejs2.3 配置NPM国内镜像源3. 总结❤️ 博客主页 单片机菜鸟哥&#xff0c;一个野生非专业硬件IOT爱好者 ❤️❤️ 本篇创建记录 2022-10-28 ❤️❤️ 本篇更新记录 2022-10-28 ❤️&#x1f389; 欢迎关注 &#x1f50e;点赞…

嵌入式C语言编程中经验教训总结(八)变量、指针和指针数组的内存管理

目录嵌入式C语言编程中经验教训总结&#xff08;八&#xff09;变量、指针和指针数组的内存管理变量、指针和指针数组的内存占用指针、指针数组的空间验证指针数组的元素数据访问方法嵌入式C语言编程中经验教训总结&#xff08;八&#xff09;变量、指针和指针数组的内存管理 …

【趣学算法】第一章读书笔记

14天阅读挑战赛 *努力是为了不平庸~ 算法学习有些时候是枯燥的&#xff0c;这一次&#xff0c;让我们先人一步&#xff0c;趣学算法&#xff01; 文章目录1.1打开算法之门1.2 妙不可言——算法复杂性算法的特性好算法的标准时间复杂度和空间复杂度时间复杂度空间复杂度宕机1.4算…

62. 如何通过增强(Enhancement) 的方式给 SAP ABAP 标准程序增添新功能

文章目录 如何找到可以创建增强实现的增强点位置如何创建增强实现如何在 SE80 里找到增强实现本身如何调试 ABAP 增强实现总结ABAP 系统有比较完善的修改控制权限管控,比如笔者试图修改一个 SAP ABAP 系统里标准的函数,就会遇到如下的警告消息,然后修改的尝试会被阻止: You…