VMware和ubuntu配置Hadoop环境

news2025/1/13 3:01:21

        本博客主要是为了学校课程”大数据与云计算“需要安装Hadoop而写,希望这篇博客对各位阅读这篇博客的人有所帮助。废话不多说,下面直接开始配置教程。

一、获取VMware安装包

        VMware获取方法有很多种,这里我准备了官网获取和从我准备的资料中获取。

        1、官网获取

1)首先先进入官网,官网首页是下面这样:

 2)接着点击产品选项

 3)进入后点击查看所有产品,然后在右上角选择排序方式为Z到A,然后向下滑动找到Workstation Pro,然后点击进去

4)然后点击下载试用版进行进入下载页面进行下载

 5)点击 DOWNLOAD NOW 进行下载

        2、从资料获取

 阿里云盘:https://www.aliyundrive.com/s/nVT1oCtk6rC

提取码:4pu8

二、安装VMware

        点击下载好的VMware安装包进行安装。

        1)点击下一步

        2)勾选我接受许可协议中的条款,并点击下一步

         3)勾选就按默认的勾选就ok,安装位置选一个自己需要安装的位置,然后点击下一步

         4)这里的勾选根据自己的需要进行勾选(我这边是取消全部的勾选),并点击下一步

 

        5)按默认的勾选就行,并点击下一步

        6)点击安装,等待安装完成

        7)安装完成后,运行VMware

        8)输入密钥:MC60H-DWHD5-H80U9-6V85M-8280D,并点击继续

        9)点击完成

        10)点击完成后的界面如下

 三、下载Ubuntu镜像文件

         1、官网下载

        官网:Download Ubuntu Desktop | Download | Ubuntu

        官网界面如下:

         1)点击右下角的 Download 22.03.3 进行下载(LTS是长期支持版本,选择这个版本),并等待下载完成

        2、从资料获取

         阿里云盘:https://www.aliyundrive.com/s/nVT1oCtk6rC

        提取码:4pu8

四、开始配置Hadoop环境

         1)首先打开安装好的VMware,并点击创建新的虚拟机

        2) 出现下面界面,点击下一步(默认勾选的就ok)

         3)勾选稍后安装操作系统,并点击下一步

         4)然后选择并配置好下图的配置,并点击下一步

         5)编辑自己想要的虚拟机名称,并选择位置,然后点击下一步

         6)磁盘空间自行分配(本人分配40G),勾选将虚拟磁盘存储为单个文件,然后点击下一步

        7)点击自定义硬件

        8)内存分配2048MB(内存根据需要自行分配,最少1024MB),然后选择 新 CD/DVD,勾选使用 ISO 映像文件(之前下在好的文件),然后关闭

         9)点击完成,之后出现下面界面,点击开启此虚拟机

 

         10)按下Enter键

        11)选择自己需要的语言后,并点击安装 Ubuntu        
        12)选择默认勾选就可以,然后点击继续

        13)默认勾选就行,然后点击继续

         14)默认勾选就ok,点击现在安装

         15)点击继续

         16)点击继续

         17)输入自己需要的姓名和密码,并勾选自动登录,然后点击继续,会出现以下界面,等待这个过程完成

         18)按住 ctrl+alt+t 打开终端窗口,输入如下命令创建新用户 :
sudo useradd –m hadoop –s /bin/bash

        19) 输入创建用户时(我创建的是用户black)设置的密码,并按enter

         20)使用下面的命令设置密码,可以简单设置为hadoop
sudo passwd hadoop
注:这个密码你输入后是看不见的,直接输入然后按下enter键就ok

        如果设置hadoop密码(或其它密码)出现下面问题,不用管,直接再次输入hadoop并按下enter,这样密码就设置成功。        

        21)为hadoop用户增加管理员权限,方便部署,避免一些对新手来说比较棘手的权限问题:
 sudo adduser hadoop sudo
         22)安装openssh -server:
sudo apt-get install openssh-server

注:安装过程中,出现 您希望继续执行吗?[Y/n],输入 Y,并按 enter,继续安装 

         23)执行下面命令
ssh localhost

注:其中出现情况,按上面划红线的部分进行输入,密码是之前我们最开始创建用户的密码

        24)执行下面命令退出localhoast登录:
exit

         25)依次执行下面两个命令
cd ~/.ssh/ 
ssh-keygen –t rsa        #有提示直接按 Enter 就行 

         26)执行下面命令
cat ./id_rsa.pub >> ./authorized_keys

        27) 安装JAVA环境,首先执行下面命令安装OpenJDK 8
sudo apt-get install openjdk-8-jre openjdk-8-jdk

 注:安装过程中,出现 您希望继续执行吗?[Y/n],输入 Y,并按 enter,继续安装

         28)打开配置文件
 vim ~/.bashrc

         执行完命令后的界面如下:

        滑到最末端,并按下 insert 键进行插入(进入编辑模式),输入下面内容配置JAVA_HOME

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

       输入完成后,按下电脑的 Esc 键退出编辑模式,并执行下面命令保存并退出

:wq

        如果出现找不到命令 vim,可以使用下面命令进行安装:

sudo apt-get install vim

        29)执行下面命令使配置文件生效 
source ~/.bashrc

         30)执行下面命令,检查是否配置成功
echo   $JAVA_HOME
java -version

        如果出下面的界面。说明配置成功

         31)安装Hadoop2,Hadoop 2 可以到官网下载,需要下载 hadoop-2.x.y.tar.gz 这个格式的文件,这是编译好的,另一个包含 src 的则是 Hadoop 源代码,需要进行编译才可使用。但官网下载速度比较慢,我们可以打开火狐浏览器,并在镜像网址进行下载。

        下载网址:Index of /apache/hadoop (tsinghua.edu.cn)

        进入网址后的界面如下:

         点击 common/,进入下面界面选择一个版本下载,我这里下载的是版本 hadoop-2.10.2

         32)等待下载完成后,用下面命令进行解压
sudo tar -zxf ~/下载/hadoop-2.10.2.tar.gz -C /usr/local 

注:其中hadoop-2.10.2 是根据你下载的版本,我这边下载的hadoop-2.10.2,故写这个

可能会遇到的问题:

1.切换输入法

切换中文输入法的按键是 super + space

windows:win + 空格 

2.不是 -C/usr/local 而是 -C  /usr/local ,中间有空格

        33)解压完成后,依次执行下面命令
cd /usr/local/
sudo mv ./hadoop-2.10.2/ ./hadoop            # 将文件夹名改为hadoop
# 版本为自己下载的那个版本
sudo chown -R hadoop:hadoop ./hadoop        # 修改文件权限

         34)输入如下命令来检查 Hadoop 是否可用,成功则会显示 Hadoop 版本信息:
cd /usr/local/hadoop
./bin/hadoop version

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/915331.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

jstat -gcutil PID命令分析

jstat -gcutil命令打印出的数据可以用来分析Java应用程序的垃圾回收情况。 jstat -gcutil命令打印出的数据可以用来分析Java应用程序的垃圾回收情况。该命令输出的数据包括以下几个关键指标:- S0:幸存者空间0(Survivor Space 0)的…

详解I/O多路转接模型:select poll epoll

文章技术分享思路:从select模型开始,先了解select模型的理论基础,然后编写简单的基于select的tcp服务器,接着分析出select的特点和缺点。引出poll模型,了解了poll模型的基础理论,编写简单的基于poll的tcp服…

十二、执行引擎

这里写自定义目录标题 一、执行引擎概述二、Java代码的编译和执行的流程三、机器码、指令、汇编语言四、解释器五、JIT编译器 一、执行引擎概述 二、Java代码的编译和执行的流程 三、机器码、指令、汇编语言 高级语言 四、解释器 五、JIT编译器

Wlan——Wlan服务集与Wlan漫游的概念

目录 Wlan服务集的基本概念 无线漫游基本概念 无线漫游的分类 无线漫游的数据转发路径 二层本地转发漫游 三层本地转发漫游 二/三层集中转发漫游 无线漫游注意事项 Wlan服务集的基本概念 概念 全称 描述 BSS 基本服务集BSS 无线网络的基本服务单元 可以理解为1个A…

【0822作业】定义一个学生的结构体,设置私有权限,共有函数实现赋值并输出

定义一个学生的结构体,包含学生的姓名,年龄,成绩,性别,学生的成绩,姓名,定义为私有权限;定义一个学生类型的结构体变量,设置公有函数用于给学生的成绩和名字进行赋值&…

Ajax 请求到底应该放在 created 里还是 mounted 里???

示例代码 定义了一个数据 list,默认是空数组 定义了一个 API 请求,getDat 还定义了两个生命周期钩子 created 和 mounted 分析在 created 里的情况 这个时候,我们是能够成功发送 API 请求获取到数据的,控制台会打印 created&…

【Redis】——Redis基础的数据结构以及应用场景

什么是redis数据库 Redis 是一种基于内存的数据库,对数据的读写操作都是在内存中完成,因此读写速度非常快,常用于缓存,消息队列、分布式锁等场景。,Redis 还支持 事务 、持久化、Lua 脚本、多种集群方案(主…

本地CPU部署运行ChatGLM2-6B模型

1、前期准备: 需要下载模型文件 2、部署过程及碰到的问题 (1)编译安装python 3.8.13 (Asianux release 7.6.18 gcc 4.8.5) 按运行的要求需要安装torch的>2.0,因此安装了torch的2.0.1,该版本的torch …

简析SCTP开发指南

目录 前言一、SCTP基本概念二、SCTP开发步骤1. **环境配置**:2. **建立Socket**:3. **绑定和监听**:4. **接收和发送数据**:5. **关闭连接**: 三、 C语言实现SCTP3.1SCTP客户端代码:3.2 SCTP服务器端代码&a…

关于伪装UserAgent知识总结

关于伪装UserAgent知识总结,可以根据自己实际应用环境去选择合适的节点,加入相应的代码即可: 1. 不缓存数据,不使用ssl 验证 from fake_useragent import UserAgentua UserAgent(verify_sslFalse,use_cache_serverFalse)2. 禁用…

C. Another Array Problem

思路:这个题没想到吧数先往0上搞,然后一直想不出来,为什么要先往0上搞呢,对于每个数来说,它最大只会变成这一堆数的最大值,所以我们考虑能不能变成最大值,那么只要是两个相等的数通过一次操作就…

智能安全帽_防抖视频定位智能安全帽头盔

智能安全帽具备出色的性能、超低功耗、广范围覆盖和简单的外围电路等优势,同时还拥有丰富的外部接口。它支持移动/联通/电信的4G5G网络,涵盖了LTE-TDD频段(B34/B38/B39/B40/B41)、LTE-FDD频段(B1/B3/B5/B8)、WCDMA频段(B1/B5/B8)、TD-SCDMA频段(B34/B39)…

【数据分析】客户分析行为分析

下面列举了几种客户行为分析模型。 1 5W2H (1)WHAT——是什么,目的是什么,做什么工作。 (2)WHY——为什么要做,可不可以不做,有没有替代方案。 (3)WHO——…

Android相机-架构

引言: 主要是针对CameraAPI v2 HAL3的架构对Android相机系统进行梳理。 相机架构 App和FrameWork packages/apps/Camer2 frameworks/ex/camera2 Camera API v2;Camera2 CameraDevice: CameraCaptureSession: CameraService AIDL…

Tan Junming 太帅,AK IOI!

tanjunming是一个非常帅气的人。他拥有一双明亮的眼睛,透露出聪明和热情的光芒。他的笑容温暖而迷人,总能让人感到快乐和舒适。他的面容线条清晰,轮廓深邃,展现出他的自信和坚定。他的皮肤光滑细腻,散发出健康和活力的…

Mybatis:xml配置和基本增删改查

目录 一、环境配置(environments) 1.事务管理器(transactionManager) 2.数据源(dataSource) 3.属性(property) 4.设置(settings) 5.类型别名&#xff0…

科研论文配图绘制指南——基于Python—第二章1.matplotlib

目录 第二章2.0 安装所需的环境2.1 Matplotlib2.1.1 图形元素2.1.2 图层顺序2.1.5 子图绘制2.1.7 结果保存 第二章 2.0 安装所需的环境 attrs23.1.0 certifi2023.7.22 click8.1.6 click-plugins1.1.1 cligj0.7.2 colorama0.4.6 cycler0.11.0 Fiona1.9.4.post1 geopandas0.13.…

算法随笔:强连通分量

概念和性质: 强连通:在有向图G中,如果两个点u和v是互相可达的,即从u出发可以到达v,从v出发也可以到达u,则成u和v是强连通的。 强连通分量:如果一个有向图G不是强连通图,那么可以把它…

适用于vue3中图片全屏展示

App中的代码片段 <style scoped> .container {background: url("./assets/back2.jpg");height: 100%;width: 100%;position: fixed;background-size: 100% 100%; } </style>

vue与vueComponent的关系

创建完组件之后 就会创建一个vueComponent构造函数 当注册成功这个组件并且在页面使用之后 就会创建一个vueComponent实例对象&#xff0c; 所以为了避免组件在使用过程中data对象中的值混乱 组件中的data要写成函数&#xff0c; 使得每次创建的组件实例对象都可以返回一…