「大数据-0」虚拟机VMware安装、配置、使用、创建大数据集群教程

news2025/1/10 23:05:46

目录

一、下载VMware Wworkstation Pro 16

二、安装VMware Wworkstation Pro 16

三、检查与设置VMware的网卡

1. 检查

2. 设置VMware网段

四、在VMware上安装Linux虚拟机

五、对安装好的虚拟机进行设置

1. 打开设置

2. 设置中文

3. 修改字体大小

4. 修改终端字体大小

5. 关闭虚拟机

六、创建大数据集群 

七、对大数据集群进行配置

1. 配置三台虚拟机的主机名

2. 配置固定IP

3. 设置SSH免密登录

4. 创建hadoop用户并设置免密登录

八、对虚拟机完成JDK环境的部署 

1. 下载JDK

2. 将下载好的JDK压缩包上传到虚拟机中

九、对虚拟机完成防火墙、SE Linux、时间同步等系统设置

1. 关闭防火墙

2. 关闭SE Linux

3. 修改时区并设置时间同步 

4. 拍摄快照保存配置好的虚拟机

一、下载VMware Wworkstation Pro 16

1. 跳转至官网

选择Workstation 16 Pro for Windows进行下载，官网下载速度可能较慢。

2.百度网盘链接  提取码：2233

二、安装VMware Wworkstation Pro 16

1.点击刚才下载好的安装程序，等待一会会出现一下界面：

2.点击下一步，然后同意协议，来到安装位置界面，在这里更改安装位置：

3.用户体验设置界面的两个选项勾不勾都可以，一般不勾

4.快捷方式界面推荐都勾上，然后下一步，选择安装，等待一会后出现以下界面：

        到该界面后，如果直接点击完成的话，则是进行试用，适用到期后软件将无法使用；点击许可证，输入密钥则是永久使用，密钥需要到官网购买，请大家支持正版软件，如果只是用于学习，在百度搜索VMware Workstation Pro 16密钥，找一个能用的即可，密钥格式如下：

YF390-0HF8P-M81RQ-2DXQE-M2UT6
（仅用于学习）

5.输入密钥后点击完成，到以下界面再点击完成，即可完成安装。 

三、检查与设置VMware的网卡

1. 检查

主要是检查是否有VMnet1和VMnet8这两张虚拟网卡，如果没有，那我们的虚拟机将无法上网。

法一：适用Windows11

1. 打开Windows设置

2. 查看网络连接中是否有VMnet1和VMnet8

法二：通用

因为Windows系统各版本的打开方式有区别，下面提供一个通用方法：

1. 快捷键Win + R 打开运行界面，输入ncpa.cpl

2. 查看网络连接中是否有VMnet1和VMnet8

如果没有那就是安装出现了问题，请卸载软件后重新安装。

2. 设置VMware网段

        为了方便以后大数据的学习，将VMware网段设置为192.168.88.0，在后续的学习中大数据的集群网络就设置为192.168.88.0的网段，同时设置整个虚拟机的网关为192.168.88.2，这样未来就不用频繁的修改适配了，能减少很多麻烦。

2.1 打开虚拟网络编辑器对VMnet8进行修改，将网段设置为192.168.88.0

2.2 修改net设置中的网关为192.168.88.2 ，修改完点击确定，进行应用即可。

四、在VMware上安装Linux虚拟机

1. 下载CentOS或Ubuntu操作系统

1.1  下载CentOS操作系统

选择CentOS7.6版本下载： 

1.2 百度网盘链接  提取码：2233

1.3 跳转下载ubuntu 

2. 打开刚才安装好的VMware，选择创建新的虚拟机

3.进入向导界面选择典型(操作更简单)

4.选择安装程序光盘映像文件，选择浏览找到刚才下载好的CentOS

5. 为该系统创建一个用户

6. 设置虚拟机的名称和位置（点击浏览选择安装位置）

7.设置虚拟机硬盘大小，为了避免影响后续使用，建议设为40GB。

8. 检查虚拟机配置信息，选择创建后打开，完成

9. 选择刚才创建好的虚拟机，如果没有自动开机点击开机

10. 开机后用之前的用户登录

第一次开机需要安装虚拟机，这个过程大概要10分钟左右，开机成功后选择之前创建的账户，填写好密码就能成功进入虚拟机的操作系统界面中了。

10.1 选择用户和填写用户密码

10.2 成功进入虚拟机的操作系统界面

五、对安装好的虚拟机进行设置

1. 打开设置

2. 设置中文

进入设置后，选择 Region & Language 设置语言。

重启后语言就会变为中文，此时会询问你是否修改文件名，选择不修改 ，不建议修改文件名为中文。

3. 修改字体大小

4. 修改终端字体大小

5. 关闭虚拟机

六、创建大数据集群 

0. 关闭刚才创建好的虚拟机

1. 右击虚拟机，选择管理，选择克隆

2. 不断点击下一页，到以下页面后，选择创建完整克隆

因为我们要的是完整的服务器，而不是一个链接，所以选择完整克隆。

3.  点击下一页，修改虚拟机的名称和虚拟机的存放地址

4. 点击完成，成功后出现以下界面

5.同样的操作，克隆出node2和node3

6. 右击我的计算机，选择新建文件夹，创建大数据集群文件夹，然后将node1\2\3拖入其中。

7. 设置node1\2\3的内存

以下内存配置只是推荐，要求电脑至少有16GB内存，如果没有，具体内存分配请根据自己的电脑配置设置(如8GB设置为2/1/1)。

node1为主要服务器会运行更多的软件，将其内存设置为4GB

重复上面的步骤设置node2\3的内存为2GB 

七、对大数据集群进行配置

0. 将三台虚拟机开机并登录

选择之前创建的用户和填写用户密码

1. 配置三台虚拟机的主机名

1.1右击桌面，打开终端。

1.2 在终端里输入 su - ，再输入当前用户密码切换到超级用户root

      只有超级用户root才有权限修改主机名。

1.3 在终端输入 hostnamectl set-hostname node1 修改主机名

1.4 关闭后重新打开终端，检查主机名是否被正确修改

1.5 重复上述步骤将虚拟机node2\3的主机名设置为node2 和 node3

2. 配置固定IP

2.0 以超级用户身份打开配置文件

  • 先使用命令su - 切换为超级用户root
  • 然后在终端下输入指令 vim /etc/sysconfig/network-scripts/ifcfg-ens33 打开配置文件
  • 按i进入插入模式，对文件进行修改

2.1 修改配置文件

  • 将BOOTPROTO="dhcp"改为BOOTPROTO="static" （将协议由自动获取IP变更为固定不变）
  • 在末尾添加 IPADDR="192.168.88.101"（固定后要设置IP地址，node1为192.168.88.101，node2为192.168.88.102，node3为192.168.88.103）
  • 在末尾添加 NETMASK="255.255.255.0" （设置子网掩码）
  • 在末尾添加 GATEWAY="192.168.88.2" （设置网关）
  • 在末尾添加 DNS1="192.168.88.2"（设置DNS服务器，一般和网关一样)

2.2 保存并退出

  • 按下Esc退出编辑模式
  • 按下Shift + : 进入底行模式
  • 输入wq! 强制保存并退出。

2.3 重启网卡

        在终端输入 systemctl restart network 重启网卡

2.4 检查是否配置成功

        在终端输入 ifconfig 检查inet、netmask是否配置成功

        

2.5 在虚拟机node2和node3下进行如上操作

        但要注意在修改配置文件时：在末尾添加 IPADDR="192.168.88.101"（node1为192.168.88.101，node2为192.168.88.102，node3为192.168.88.103）

2.6 配置主机名映射

2.6.1 在Windows系统中修改hosts文件，在文件末尾加上：

        192.168.88.101 node1
        192.168.88.102 node2
        192.168.88.103 node3

步骤：

a. 找到C盘下的hosts文件：C:\Windows\System32\drivers\etc，右击修改属性

b. 修改hosts文件权限为可写入

c. 修改hosts文件，加上配置信息

d. 将hosts文件权限改回

2.6.2 在虚拟机中修改/etc/hosts 文件，在文件末尾加上：

        192.168.88.101 node1
        192.168.88.102 node2
        192.168.88.103 node3

步骤：

a. 在终端下输入指令 vim /etc/hosts 打开配置文件

b. 修改配置文件

按i进入插入模式，在文件末尾加上：

192.168.88.101 node1
192.168.88.102 node2
192.168.88.103 node3

c.  保存并退出
  • 按下Esc退出编辑模式
  • 按下Shift + : 进入底行模式
  • 输入wq! 强制保存并退出。

d. 输入指令 vim /etc/hosts 再次打开配置文件，检查是否配置成功.

配置成功，如下图：

e. 对虚拟机node2\3 进行相同操作

3. 设置SSH免密登录

由于是一个集群，未来需要在多个服务器之间跳转，为了方便起见最好配置一下ssh免密登录。

3.1 生成SSH密钥

在每台虚拟机的终端输入以下命令：ssh-keygen -t rsa -b 4096 ，然后一路回车即可。

3.2 授权免密登录

在每台虚拟机上执行以下步骤：

a. 在终端输入命令：ssh-copy-id node1   输入yes   输入用户密码

b. 在终端输入命令：ssh-copy-id node2   输入yes   输入用户密码

b. 在终端输入命令：ssh-copy-id node3   输入yes   输入用户密码

e. 检查是否成功免密登录

在虚拟机node1的终端输入 ssh node2 或 ssh node3 看看能否跳转成功。

4. 创建hadoop用户并设置免密登录

为保证安全性(防止误操作对系统造成严重破坏)，后续的大数据软件，不会再以root用户启动。为大数据集群创建一个单独的用户hadoop，并为集群上的服务器配置hadoop用户的免密登录。

4.1 在每一台机器执行: useradd hadoop，创建hadoop用户

4.2 在每一台机器执行: passwd hadoop，设置hadoop用户密码为123456

4.3 在每一台机器均切换到hadoop用户: su - hadoop ，并执行 ssh-keygen -t rsa -b 4096 ，一路回车，创建ssh密钥

4.4 在每一台机器均执行以下命令，授权免密登录：
ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

八、对虚拟机完成JDK环境的部署 

JDK就是Java语言的开发环境，很多大数据软件都需要Java环境的支持，所以要预先部署好JDK。

1. 下载JDK

1.1 官网下载跳转

1.2 百度网盘链接  提取码：2233

2. 将下载好的JDK压缩包上传到虚拟机中

2.1 先关闭三台虚拟机的防火墙

在终端执行以下指令：
关闭防火墙：
systemctl stop firewalld

关闭防火墙自启：
systemctl disable firewalld

2.2 然后安装一个远程管理软件，如Xshell、Finalshell，以root身份登录。

2.3 创建文件夹/export/server，将JDK安装部署到该文件夹中

mkdir -p /export/server

2.4 进入到刚才创建的目录中

cd /export/server

2.5 使用rz命令上传下载好的JDK压缩包(或直接将本地文件拖拽进来)

2.6 解压缩

tar -zxvf jdk-8u361-linux-x64.tar.gz

2.7 删除压缩包

rm -rf jdk-8u361-linux-x64.tar.gz

2.8 配置JDK的软链接

ln -s /export/server/jdk1.8.0_361 jdk

2.9 配置JAVA_HOME环境变量，以及将$JAVA_HOME/bin文件夹加入到PATH环境变量中

a. 使用命令 vim /etc/profile 打开profile文件

b. 按i进入插入模式，在文件末尾加上：
export JAVA_HOME=/export/server/jdk
export PATH=$PATH:$JAVA_HOME/bin

c. 按下Esc退出插入模式，按下Shift+：进入底行模式，输入wq!，强制保存并退出。

2.10 生效环境变量

source /etc/profile

2.11 配置java执行程序的软链接

a. 先删除系统自带的java程序
rm -f /usr/bin/java

b. 软链接我们自己安装的java程序
ln -s /export/server/jdk/bin/java /usr/bin/java

2.12 检查是否配置成功

查看java版本：
java -version
javac -version

九、对虚拟机完成防火墙、SE Linux、时间同步等系统设置

1. 关闭防火墙

以下操作在三台虚拟机里都要执行：

1.1 为什么要关闭防火墙？
如果不关闭防火墙，我们无法远程连接虚拟机，且集群内的虚拟机无法通过端口互相通讯。

1.2 怎么关闭防火墙？

关闭防火墙：
systemctl stop firewalld

关闭防火墙自启：
systemctl disable firewalld

2. 关闭SE Linux

以下操作在三台虚拟机里都要执行：

2.1 为什么要关闭SE Linux？

SELinux会限制用户和程序的相关权限，会影响我们后续运行大数据程序，所以提前关闭。

2.2 怎么关闭

a.在终端输入指令，打开selinux文件：
vim /etc/sysconfig/selinux

b.将第七行的 SELINUX=enforcing 改为
SELINUX=disabled
（检查一遍，一定不能出错否则无法启动系统。）

c.重启虚拟机
init 6

3. 修改时区并设置时间同步 

以下操作在三台虚拟机里都要执行：

1. 安装ntp软件 

yum install -y ntp

2. 更新时区

删除原来的时区：
rm -f /etc/localtime;

设置时区为上海：
sudo ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

3. 同步时间 

联网访问阿里云，校准时间
ntpdate -u ntp.aliyun.com

4. 开启ntp服务并设置开机自启

启动ntpd
systemctl start ntpd;

将ntpd加入开机自启
systemctl enable ntpd

4. 拍摄快照保存配置好的虚拟机 

4.0 为什么需要拍摄快照？

拍快照相当于给当前虚拟机的配置做一个备份，将来有问题，直接按照快照还原虚拟机即可，不需要删除再重新配置。

4.1 在VMware将所有虚拟机关机

4.2 拍摄快照

4.3 如何使用快照恢复？

------------------------END-------------------------

才疏学浅，谬误难免，欢迎各位批评指正。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.coloradmin.cn/o/1030684.html

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈，一经查实，立即删除！

相关文章

机器学习（18）---朴素贝叶斯

机器学习（18）---朴素贝叶斯

朴素贝叶斯 一、概述1.1 概率分类器1.2 贝叶斯工作原理1.3 贝叶斯的性质 二、sklearn中的朴素贝叶斯2.1 贝叶斯分类器2.2 高斯朴素贝叶斯GaussianNB2.3 探索贝叶斯：高斯朴素贝叶斯擅长的数据集2.4 探索贝叶斯：高斯朴素贝叶斯的拟合效果与运算速度 一、概…
阅读更多...
Three.js 实现导出模型文件（.glb,.gltf）功能 GLTFExporter

Three.js 实现导出模型文件（.glb,.gltf）功能 GLTFExporter

Three.js提供了导出（.glb,.gltf）文件的API GLTFExporter 用于实现场景内容导出模型文件的功能 导出模型文件主要使用 parse 方法，该方法接收三个参数： 1.scene：要导出的场景对象。 2.onComplete：解析完成…
阅读更多...
Deformable DETR（2020 ICLR）

Deformable DETR（2020 ICLR）

Deformable DETR（2020 ICLR） detr训练epochs缩小十倍，小目标性能更好 Deformable attention 结合变形卷积的稀疏空间采样和Transformer的关系建模能力 使用多层级特征层特征,不需要使用FPN的设计（直接使用backbone多层级输出&a…
阅读更多...
cgroup version jdk version k8s

cgroup version jdk version k8s

bug info: in centos, linux 3.10, cgroup:v1, service works well. in ubuntu 22.04 LTS, linux 5, systemd:v2, service is always crash on boot, or running some minutes then killed by OOM. deploy.yaml文件相关内容: specify limits:memory 1000M in yaml, killed …
阅读更多...
区域气象-大气化学在线耦合模式（WRFChem）在大气环境领域实践技术应用

区域气象-大气化学在线耦合模式（WRFChem）在大气环境领域实践技术应用

随着我国经济快速发展，我国面临着日益严重的大气污染问题。近年来，严重的大气污染问题已经明显影响国计民生，引起政府、学界和人们越来越多的关注。大气污染是工农业生产、生活、交通、城市化等方面人为活动的综合结果，同时气象因…
阅读更多...
Redis缓存相关问题

Redis缓存相关问题

目录 缓存穿透 缓存雪崩 缓存击穿 Redis集群方案 主从复制Replication 哨兵sentinel 高可用介绍 Redis sentinel介绍 Redis sentinel使用 配置sentinel 启动sentinel 测试sentinel Redis内置集群cluster Redis cluster介绍 哈希槽方式分配数据 Redis cluster的…
阅读更多...
ubuntu18.04 编译edk2项目下的intel架构bios

ubuntu18.04 编译edk2项目下的intel架构bios

看了国内的edk2编译文章. 大不部分都是编译 用于虚拟机(qemu)或者模拟器上运行的 很少有编译edk2项目 出 真机的 bios 希望本文章对你有帮助, 请注意 github,com因为被墙了. 所有需要用gitee代替 参考来源 https://gitee.com/binout/edk2-platforms/tree/master https:/…
阅读更多...
PHP8的类与对象的基本操作之类常量-PHP8知识详解

PHP8的类与对象的基本操作之类常量-PHP8知识详解

php 8引入了一种新的特性，称为类常量（class Constants）。类常量是在类中定义的常量，类似于全局常量，但作用域仅限于定义它们的类。 在PHP 8中，类常量的作用域被限制在定义它们的类中。这意味着只有类的成员…
阅读更多...
【配电变电站的最佳位置和容量】基于遗传算法的最优配电变电站放置(Matlab代码实现）

【配电变电站的最佳位置和容量】基于遗传算法的最优配电变电站放置(Matlab代码实现）

💥💥💞💞欢迎来到本博客❤️❤️💥💥 🏆博主优势：🌞🌞🌞博客内容尽量做到思维缜密，逻辑清晰，为了方便读者。 ⛳️座右铭&a…
阅读更多...
uploadifive上传工具php版使用

uploadifive上传工具php版使用

uploadifive自带的DEMO文件。 下载地址&#xff1a; http://www.uploadify.com/download/ <!DOCTYPE HTML> <html> <head> <meta http-equiv"Content-Type" content"text/html; charsetutf-8"> <title>UploadiFive Test&…
阅读更多...
C4BUILDER—用于构建C4模型图的Web项目

C4BUILDER—用于构建C4模型图的Web项目

c4builder是什么&#xff1f; c4builder&#xff1a; 字面理解是产生C4架构图的构建器。 c4builder是一个轻量级的nodejscli工具&#xff0c;用于仅使用文本构建、维护和共享软件体系结构项目。 c4builder是一种架构设计工具&#xff0c;可以帮助开发人员和架构师描述和可视化…
阅读更多...
结合购物车功能，了解RedisTemplate中的BoundHashOperations源码

结合购物车功能，了解RedisTemplate中的BoundHashOperations源码

&#x1f9d1;‍&#x1f4bb;作者名称&#xff1a;DaenCode &#x1f3a4;作者简介&#xff1a;CSDN实力新星&#xff0c;后端开发两年经验&#xff0c;曾担任甲方技术代表&#xff0c;业余独自创办智源恩创网络科技工作室。会点点Java相关技术栈、帆软报表、低代码平台快速开…
阅读更多...
零代码编程：用ChatGPT批量删除文件名称中的部分内容

零代码编程：用ChatGPT批量删除文件名称中的部分内容

要批量删除文件名称中的某些特定字符&#xff0c;可以在ChatGPT中输入提示词&#xff1a; 你是一个Python编程专家&#xff0c;要完成一个文件重命名的任务。具体步骤如下&#xff1a; 本地电脑&#xff1a;E:\peppa4 文件夹下有很多mp4文件&#xff0c;比如Peppa Pig Season…
阅读更多...
轮换对称性

轮换对称性

二重积分 普通对称性–D关于 y x yx yx对称&#xff1a; ∬ D f ( x , y ) d σ { 2 ∬ D 1 f ( x , y ) d σ f ( x , y ) f ( y , x ) 0 f ( x , y ) − f ( y , x ) \iint_{D}f(x,y)d\sigma\begin{cases} 2\iint_{D_1}f(x,y)d\sigma\ \ \ \ \ \ f(x,y)f(y,x) \\ 0 \ \…
阅读更多...
每天几道Java面试题：IO流（第五天）

每天几道Java面试题：IO流（第五天）

目录 第五幕 、第一场&#xff09;街边 友情提醒 背面试题很枯燥&#xff0c;加入一些戏剧场景故事人物来加深记忆。PS:点击文章目录可直接跳转到文章指定位置。 第五幕 、 第一场&#xff09;街边 【衣衫褴褛老者&#xff0c;保洁阿姨&#xff0c;面试者老王】 衣衫褴褛老…
阅读更多...
ATFX汇市：美联储宣布维持利率不变，鲍威尔继续发表鹰派言论

ATFX汇市：美联储宣布维持利率不变，鲍威尔继续发表鹰派言论

ATFX汇市&#xff1a;今日凌晨02:00&#xff0c;美联储公布9月利率决议结果&#xff0c;宣布维持5.25%5.5%的联邦基金利率区间不变。2:002:05&#xff0c;美元指数从最低104.75飙涨至最高105.21&#xff0c;对应EURUSD的汇率从最高1.0727下跌至最低1.0674&#xff0c;跌幅53基点…
阅读更多...
如何将 Transformer 应用于时间序列模型

如何将 Transformer 应用于时间序列模型

在机器学习的广阔前景中&#xff0c;transformers 就像建筑奇迹一样高高耸立&#xff0c;以其复杂的设计和捕获复杂关系的能力重塑了我们处理和理解大量数据的方式。 自 2017 年创建第一个 Transformer 以来&#xff0c;Transformer 类型呈爆炸式增长&#xff0c;其中包括 Chat…
阅读更多...
VS|vs2017跨平台编译linuxC++ConsoleQtGUI

VS|vs2017跨平台编译linuxC++ConsoleQtGUI

未完成 待更新 文章目录 首先安装vs时要勾选上使用C的Linux开发使用Vs2017创建跨平台C Console项目配置Vs的SSH连接 Debug >> Option >> Cross Plaform文件加入到Linux项目&#xff0c;使用Windows下的文件即可。将所有项目包含.CPP、.h文件包含进Linux项目设置项…
阅读更多...
案例丨如何提升可视化分析能力？听听这两家企业怎么说

案例丨如何提升可视化分析能力？听听这两家企业怎么说

神策分析 2.5 版本正式发布经营分析能力以来&#xff0c;已有不少客户接入使用&#xff0c;并充分实现了可视化分析能力的提升。 本文将为大家分享两家客户的真实反馈&#xff0c;希望能够帮助您进一步了解神策经营分析的能力。 案例一&#xff1a;神策数据助力美篇打造公司级“…
阅读更多...
Linux学习之gdb的使用

Linux学习之gdb的使用

目录 1.Debug与Release模式 如何证明debug是可以被调试的&#xff1f; 2.Linux调试器-gdb使用 gdb调试的指令 指令一&#xff1a;list&#xff08;l&#xff09; 查看源代码 编辑 ​编辑 命令二&#xff1a;run&#xff08;r&#xff09;运行程序 命令三&#xff…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023