大数据学习-环境准备

news2024/11/23 22:37:45

VMware 部分

网络设置

下载好 CentOS 7 的镜像文件

修改 VMware 的网络

把子网 ip 修改为 192.168.88.0,然后点击 NAT 设置,修改网关 IP 为 192.168.88.2

之后就确定即可

虚拟机安装

选择镜像文件,使用 VMware 的典型安装方法即可,这里用户是 lyj,密码是 1234

基本就是一路下一步即可

大数据集群这里使用三台虚拟机即可

当第一台虚拟机安装后,关机

右键虚拟机标签(如果没有就打开虚拟机),点击管理—克隆,克隆方法选择:完整克隆

起好名字即可,这里分别起名叫:hadoop-node-1/2/3,还好克隆虚拟机不需要把空间占用也克隆

克隆完毕后,把 node1 的内存修改为 4G,另外两个改成 2G

虚拟机网络设置

先切换为 root

su root

修改固定IP

vim /etc/sysconfig/network-scripts/ifcfg-ens33

IPADDR=192.168.88.131

GATEWAY=192.168.88.2

NETMASK=255.255.255.0

DNS1=192.168.88.2

另外两台就是 192.168.88.132 192.168.88.133

修改主机名

hostnamectl set-hostname node1

重启网络

systemctl restart network

主机名与 IP 映射

在 Windows 中的 hosts 文件

C:\Windows\System32\drivers\etc\hosts

加入这三句:

192.168.88.131 node1

192.168.88.132 node2

192.168.88.133 node3

如果没有权限保存,就用管理员方式+记事本打开即可

在 Linux 的 hosts 文件

vim /etc/hosts

也加上这三句,三台机子都要加

192.168.88.131 node1

192.168.88.132 node2

192.168.88.133 node3

SSH

免密登录

在每一台机器上都执行这个命令,生成密钥,一直回车即可

ssh-keygen -t rsa -b 4096

生成的密钥文件在这个目录下

/root/.ssh

在每一台机器都执行

ssh-copy-id node1

ssh-copy-id node2

ssh-copy-id node3

主要作用好像就是执行 ssh 命令可以快速切换 ssh 连接的主机

比如连接的是 node2,执行 ssh node1,就可以切换到 node1

创建用户 hadoop

主要还是培养习惯吧,毕竟在企业中不可能给开发 root 权限的

在每台机器执行命令,创建 hadoop 用户

useradd hadoop

在每台机器中执行,设置 hadoop 用户的密码:1234

别管它的提示说无效,用 root 用户就可以继续设置

passwd hadoop

切换 hadoop 用户,并生成密钥

su hadoop

ssh-keygen -t rsa -b 4096

在每台机器上执行

ssh-copy-id node1

ssh-copy-id node2

ssh-copy-id node3

JDK 部分

给每个机器都部署好 JDK 环境,这里下载 JDK 1.8

Java Archive Downloads - Java SE 8u211 and later

创建文件夹,用来部署JDK,将JDK和Tomcat都安装部署到:/export/server 内

mkdir -p /export/server

解压上传的 JDK 压缩包

tar -zxvf jdk-8u391-linux-x64.tar.gz -C /export/server

配置 JDK 软连接

ln -s /export/server/jdk1.8.0_391 /export/server/jdk

配置 JDK 的环境变量

vim /etc/profile

export JAVA_HOME=/export/server/jdk

export PATH=$PATH:$JAVA_HOME/bin

使环境变量生效

source /etc/profile

配置 Java 执行程序的软连接

# 删除系统自带的 Java 程序

rm -f /usr/bin/java

# 软连接自己安装的 Java

ln -s /export/server/jdk/bin/java /usr/bin/java

验证

java -version

javac -version

防火墙

每台机器都关闭它,并取消开机自启动

systemctl stop firewalld

systemctl disable firewalld

SELinux

这是一个安全模块,用来限制用户和程序的权限,保证系统安全

目前关闭即可

vim /etc/sysconfig/selinux

把 SELINUX=enforcing,修改为 SELINUX=disabled

disabled,不能拼错,不然无法开机

修改完毕后,重启虚拟机

reboot

修改时区并配置自动时间同步

1. 安装ntp软件

yum install -y ntp

2. 更新时区

rm -f /etc/localtime;sudo ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

3. 同步时间

ntpdate -u ntp.aliyun.com

4. 开启ntp服务并设置开机自启

systemctl start ntpd

systemctl enable ntpd

给虚拟机搞个快照

万一出问题用于恢复

在 VMware 中点上面的虚拟机,找到快照,点击拍摄快照

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1850403.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

Prompt 提示词工程:翻译提示

近期在对计算机学习时,许多内容需要看原始的英文论文,对于我这种学渣来说特别不友好,🤷🏻‍♀️无奈只能一边看翻译,一边学习。 之前有搜到过专门的翻译工具,无奈都是按照字数算费用的&#xf…

【Java毕业设计】基于JavaWeb的礼服租赁系统

文章目录 摘 要Abstract目录1 绪论1.1 课题背景和意义1.2 国内外研究现状1.2.1 国外研究现状 1.3 课题主要内容 2 开发相关技术介绍2.1 Spring Boot框架2.2 Vue框架2.3 MySQL数据库2.4 Redis数据库 3 系统分析3.1 需求分析3.1.1 用户需求分析3.1.2 功能需求分析 3.2 可行性分析…

「动态规划」如何求子数组中等差数列的个数?

413. 等差数列划分https://leetcode.cn/problems/arithmetic-slices/description/ 如果一个数列至少有三个元素,并且任意两个相邻元素之差相同,则称该数列为等差数列。例如,[1,3,5,7,9]、[7,7,7,7]和[3,-1,-5,-9]都是等差数列。给你一个整数…

c++中从父类继承的属性在子类内存中如何显示?

目录 一、继承概念 二、示例 三、结论 一、继承概念 在C中,继承是面向对象编程的一个重要特性,它允许一个类(称为派生类或子类)继承另一个类(称为基类或父类)的成员(包括数据成员和成员函数…

耳夹式佩戴的舒适体验,拥有AI功能的生活助手,塞那Z50耳夹耳机上手

在数码产品层出不穷的今天,一款能够脱颖而出的耳机,不仅要有出色的音质,更要有人性化的设计和独特的功能。最近我就发现了这么一款很有趣的耳机,它是来自sanag塞那Z50耳夹耳机,这款耳机有着新颖的佩戴方式和动听的音质…

算出未来——2024年,计算机相关专业仍是热门

随着高考结束,数百万考生和家长们开始着手专业选择与志愿填报。 选择大学专业不仅关乎未来四年的学习生涯,更可能决定一个人一生的职业方向和人生轨迹。 在众多专业中,计算机相关专业因其广泛的就业前景和不断变化的行业需求,一…

Springboot应用的信创适配

CentOS7在2024.6.30停止维护后,可替代的Linux操作系统-CSDN博客 全面国产化之路-信创-CSDN博客 信创适配评测-CSDN博客 Springboot应用的信创适配 Springboot应用的信创适配,如上图所示需要适配的很多,从硬件、操作系统、中间件&#xff08…

Linux驱动开发笔记(十二)并发与竞争

文章目录 前言一、并发与竞争的引入1.1 并发1.2 竞争1.3 解决方法 二、原子操作2.1 概念2.2 使用方法 三、自旋锁3.1 概念3.2 使用方法3.3 自旋锁死锁 四、信号量4.1 概念4.2 使用方法 五、互斥锁5.1 概念5.2 使用方法 前言 Linux的子系统我们已经大致学习完了,笔者…

tauri中从前端ts调用rust函数,并异步收到响应结果

在前端是可以异步调用rust代码的,而且还是挺简单的逻辑,一共就三步:定义rust函数,注入到invoke_handler中,在前端调用。有英文能力的可以看官方文档:Calling Rust from the frontend | Tauri Apps 没有英文…

AI数据分析:根据时间序列数据生成动态条形图

动态条形竞赛图(Bar Chart Race)是一种通过动画展示分类数据随时间变化的可视化工具。它通过动态条形图的形式,展示不同类别在不同时间点的数据排名和变化情况。这种图表非常适合用来展示时间序列数据的变化,能够直观地显示数据随…

Vatee万腾平台:智能科技的领航者

随着科技的飞速发展,数字化转型已成为企业、行业乃至整个社会不可逆转的趋势。在这个变革的浪潮中,Vatee万腾平台凭借其卓越的技术实力、前瞻的战略眼光和卓越的服务品质,成为了智能科技的领航者。 Vatee万腾平台致力于为企业提供全方位的数字…

[Composer\Downloader\TransportException] 需要切换下载源

使用composer 下载时遇到问题: 如图 切换镜像源: /成阿里镜像: composer config -g repo.packagist composer https://mirrors.aliyun.com/composer/ //Laravel China镜像: composer config -g repo.packagist composer https:…

2024最新版DataGrip安装教程-全网最全教程!!!

1.DataGrip下载安装 1.打开DataGrip官网,选择自己需要的版本下载即可: 2.进行安装: 3.重启打开: 我这个是正版激活码激活的,需要教程可以关注留言

展厅装修时候需要注意哪些细节

1、视觉方面 展厅应该具有很强的视觉冲击力。只有这样不论是领导视察还是合作的客户进行参观的时候才会对展厅产生浓厚的兴趣,同时产生一种亲和力,并直接加深对企业的识别度和记忆度。而个性化设计要跟企业文化相符合。这里,企业标志为寻求个…

Python发送Email的性能怎么样?如何配置?

Python发送Email怎么配置SMTP?批发邮件的方法技巧? Python是一种广泛使用的编程语言,因其简洁和强大的功能深受开发者喜爱。在许多应用场景中,Python发送Email是一个常见需求。那么,Python发送Email的性能怎么样呢&am…

分支循环之案例实战

1.求水仙花数 求1000以内的水仙花数。水仙花是指&#xff0c;一个三位数&#xff0c;其各位数字的立方和等于该数本身 n 100 while n < 1000:i n % 10j n // 10 % 10k n // 100if n i**3j**3k**3:print(n)n 1 2.求兔子数 有一对兔子&#xff0c;从第三个月开始生一对…

U-Net for Image Segmentation

1.Unet for Image Segmentation 笔记来源&#xff1a;使用Pytorch搭建U-Net网络并基于DRIVE数据集训练(语义分割) 1.1 DoubleConv (Conv2dBatchNorm2dReLU) import torch import torch.nn as nn import torch.nn.functional as F# nn.Sequential 按照类定义的顺序去执行模型&…

宝藏APP推荐| 话唠 | 话唠APP

软件介绍 话唠是一款专为年轻人打造的语音交友软件&#xff0c;该软件有着非常多的高质量用户&#xff0c;在这里你可以找到任何感兴趣的人进行聊天&#xff0c;广泛交友&#xff0c;扩大自己的交际圈&#xff0c;还能在这里偶遇心动的TA&#xff0c;软件还为用户提供了非常多…

路由的params参数,命名路由,路由的params参数,命名路由

上篇我们讲了vue路由的使用 今天我们来讲vue中路由的嵌套&#xff0c;路由的params参数,命名路由 一.路由的params参数 1.配置路由规则&#xff0c;使用children配置项&#xff1a; router:[{path:/about,component:About,},{path:component:Home,//通过children配置子路由c…

以太坊==windows电脑本地搭建一个虚拟的以太坊环境

提供不同的选择&#xff0c;适合不同需求和技术水平的开发者&#xff1a; Geth&#xff1a;适合需要与主网兼容或构建私有网络的开发者。Ganache&#xff1a;适合快速开发和测试智能合约的开发者&#xff0c;特别是初学者。Docker&#xff1a;适合需要快速、可重复搭建环境的开…