Hadoop学习笔记(二)环境配置与服务器克隆

news2025/1/21 4:44:19

VMware与Centos7的安装

这部分很简单,只需要按照常规步骤一步一步安装即可。最后出现如下画面便完成了。
2-1

如果出现了一打开 “开启虚拟机” 就蓝屏的情况。可以试试将VMware更新到16+的版本以上。

对虚拟机进行一系列的设置

设置VMware的IP地址

2-2

2-3
2-4
接下来点击 “NAT设置”。
2-5

设置Windows的IP地址

2-6

设置Centos的IP地址

使用命令。

# 最后的32数字可能会更具不同服务器不一样。
vim /etc/sysconfig/network-scripts/ifcfg-ens32

配置如下

TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"

# BOOTPROTO="dhcp"
BOOTPROTO="static"

DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens32"
UUID="073096f1-eb07-418e-bc2a-2f29a12ce6e2"
DEVICE="ens32"
ONBOOT="yes"
# 这部分设置与Windows和VMware设置一致
# IP地址
IPADDR=192.168.10.100
# 网关
GATEWAY=192.168.10.2
# dns
DNS1=192.168.10.2

设置hostname

通过命令,编辑其中的内容即可(重启后生效)。

vim /etc/hostname

设置服务器IP地址映射

vim /etc/hosts

添加下面内容:

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108

上述全部配置完成之后,重启服务器

reboot

重启之后,测试一下是否生效。

ifconfig
hostname
ping www.baidu.com

设置Windows的IP地址映射

打开:C:\Windows\System32\drivers\etc\hosts
添加下列内容:

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
192.168.10.106 hadoop106
192.168.10.107 hadoop107
192.168.10.108 hadoop108

远程链接

2-7

安装与卸载软件

为准备一个模板服务器,还需要安装和删除一些必要的软件包。

# Extra Packages for Enterprise Linux 是为“红帽系”的操作系统提供额外的软件包,
# 适用于 RHEL、CentOS 和 Scientific Linux。相当于是一个软件仓库,大多数 rpm 包在官方
# repository 中是找不到的)
yum install -y epel-release

# 关闭防火墙与开机自启
systemctl stop firewalld
systemctl disable firewalld.service

卸载自带JDK。

rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps
  • rpm -qa :查询所安装的所有 rpm 软件包
  • grep -i java : 忽略大小写
  • xargs -n1:表示每次只传递一个参数
  • rpm -e --nodeps 强制卸载软件

克隆服务器

首先保证服务器为关机状态。
2-8
选择完整克隆。
2-9
将克隆的虚拟机名称分别设置为 hadoop102、hadoop103、hadoop104。克隆完成之后开始修改每个虚拟主机IP地址与 hostname

hadoop102 192.168.10.102
hadoop103 192.168.10.103
hadoop104 192.168.10.104

设置 IP 与 hostname

# 最后的32数字可能会更具不同服务器不一样。
vim /etc/sysconfig/network-scripts/ifcfg-ens32
vim /etc/hostname

安装 Java 与 Hadoop

  • 在 102 机器上,安装Java环境。
  1. 上传java安装包。
  2. 通过 tar -zxvf xxxx.tar.gz 解压
  3. /etc/profile.d/ 下创建 my.sh 用于配置环境变量。内容如下。保存后 source /etc/profile使得配置生效。
# JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin
  • 在102机器上,安装Hadoop
  1. 上传安装包
  2. 解压
  3. /etc/profile.d/my.sh 中添加环境变量。内容如下。保存后 source /etc/profile使得配置生效。
# JAVA_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/469059.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

计算任意时间内课时出现次数以及冲突情况判断

背景 整体由四部分组成,报名时间、报名周期、上课时间、上课周期 通过选择报名时间、报名周期、以及上课时间,去计算在培训周期内总的培训课时,并当上课时间冲突时,给出提示。 需求: 报名时间(日期时分&…

分享10个非常好用的绘图工具

无论你是一个专业的插画师,还是一个有创造力的人,想要随时记录生活的灵感,现在你只需要拿起平板电脑或打开电脑浏览器来描述你脑海中的图片。在本文中,我们选择了10个强大、方便、易于使用的在线绘图软件,其中一个必须…

人工智能之配置环境教程一:安装VsCode和Anaconda

人工智能之配置环境教程一:安装VsCode和Anaconda 作者介绍一. 安装VScode编辑器二. 安装Anaconda 作者介绍 孟莉苹,女,西安工程大学电子信息学院,2021级硕士研究生,张宏伟人工智能课题组。 研究方向&#…

语音特征工程—时域分析

当下主流语音前端算法在特征工程方面,从vad,降噪、降混响到盲源分离,无论是传统做法还是NN做法,大多基于频域。但近年在语音分离领域也看到了利用时域的做法,也取得了不错的效果。 本文从特征工程的角度,对…

jQuery购物车案例模块

<div class"car-header"><div class"w"><div class"car-logo"><img src"img/logo.png" alt""> <b>购物车</b></div></div></div></div><div class"c-…

研究了一个多月ChatGPT我发现了这些!!AI时来了?

好久都没有更新过博客了&#xff0c;大一下是真的很忙碌&#xff0c;属实是真的要崩溃了&#xff0c;但是博主还是坚强的活了下来&#xff0c;好了&#xff0c;进入正题&#xff0c;博主使用了一段时间的chatGPT发现真的可能AI时代将要来临&#xff0c;原本以为gpt能做网页已经…

二十三种设计模式第一篇-设计模式的原则和分类

怎么说&#xff0c;其实我挺讨厌设计模式的&#xff0c;但是不得不说&#xff0c;这东西解决问题确实有一手&#xff0c;并且设计模式确实规范了我们在开发中的代码&#xff0c;并且我们可以使用这二十三种设计模式解决我们碰到的业务问题&#xff0c;并且我们学的框架里边多多…

利用Python操作Mysql数据库

我们在进行Python编程的时候&#xff0c;时常要将一些数据保存起来&#xff0c;其中最方便的莫过于保存在文本文件了。但是如果保存的文件太大&#xff0c;用文本文件就不太现实了&#xff0c;毕竟打开都是个问题&#xff0c;这个时候我们需要用到数据库。提到数据库&#xff0…

怎样从零开始编译一个魔兽世界开源服务端Windows

怎样从零开始编译一个魔兽世界开源服务端Windows 第二章&#xff1a;编译和安装 我是艾西&#xff0c;上期我们讲述到编译一个魔兽世界开源服务端环境准备&#xff0c;那么今天跟大家聊聊怎么编译和安装我们直接进入正题&#xff08;上一章没有看到的小伙伴可以点我主页查看&…

haproxy负载均衡+keepalived高可用

LVS和haproxy、nginx做负载均衡时的区别 调度算法 LVS:轮询(rr)、加权轮询(wrr)、最少连接(lc)、加权最少连接(wlc)、源地址哈希值(sh)、目的地址哈希&#xff08;dh&#xff09; haproxy:轮询&#xff08;roundrobin)、加权轮询&#xff08;static-rr)、最少连接&#xff08…

2023有潜力的新药都有哪些?新药筛选方法总结

2023有潜力的新药都有哪些&#xff1f;这是一道蕴含无限可能性和未知挑战的问题。新药研发是制药公司不断追求的目标&#xff0c;每一次成功都可以带来巨额利润&#xff0c;改善患者生命质量&#xff0c;成就公司声誉。但与此同时&#xff0c;新药研发风险也是极大的&#xff0…

电梯导航栏的实现

点击跳到指定位置类似于电梯导航 .w {width: 1200px;margin: 0 auto; } .fixedtool {position: fixed;top: 100px;left: 50%;margin-left: -676px;width: 66px;background-color: #fff;display: none; }.fixedtool li {height: 32px;line-height: 32px;text-align: center;fo…

基于dsp+fpga的半导体运动台高速数据采集FPGA endac设计(三)

EnDat 双向串行通信协议的实现 数据&#xff08;测量值或参数&#xff09;可以在位置编码器和 EnDat 协议内核之间进行双向传输&#xff0c; EnDat 协议内核的收发单元支持 RS-485 差分信号传输&#xff0c;数据传输与传感伺服控制系统 生成的时钟脉冲同步。传输的数据…

如何将Postman API测试转换为JMeter以进行扩展

许多测试工程师使用Postman进行API测试自动化。他们发现端点&#xff0c;发出请求&#xff0c;创建测试数据&#xff0c;运行回归测试&#xff0c;使用Newman等实现API测试的持续集成。但是&#xff0c;Postman有一定的测试限制。希望获得更多负载测试能力的开发人员&#xff0…

系统集成项目管理工程师 笔记(第10章:项目质量管理)

文章目录 10.1.2 质量管理及其 发展史 35610.1.3 项目质量管理 35810.2.2 规划质量管理的输入 35910.2.3 规划质量管理的工具与技术 3601、成本效益分析法2、质量成本法&#xff08;一致性成本【预防、评价】 和 非一致性成本【内部、外部】&#xff09;3、七种基本质量工具&am…

数字设计小思 - 谈谈时钟:数字系统的心脏

前言 本系列整理数字系统设计的相关知识体系架构&#xff0c;为了方便后续自己查阅与求职准备。时钟作为数字系统中的“心脏”&#xff0c;其设计的质量好坏直接关乎整个系统的稳定性&#xff0c;本文主要介绍了数字设计中的常见的时钟产生电路和时钟类型&#xff0c;并进行相…

音视频八股文(7)-- 音频aac adts

AAC介绍 AAC&#xff08;Advanced Audio Coding&#xff09;是一种现代的音频编码技术&#xff0c;用于数字音频的传输和存储领域。AAC是MPEG-2和MPEG-4标准中的一部分&#xff0c;可提供更高质量的音频数据&#xff0c;并且相比于MP3等旧有音频格式&#xff0c;AAC需要更少的…

【经典题】二叉搜索树与双向链表

二叉搜索树与双向链表链接 解题思路 思路1 &#xff1a; 中序遍历&#xff0c;将节点放进vector中&#xff0c;再改链接关系&#xff0c;这很容易想出并解决&#xff0c;但这样明显不符合题意。 思路2&#xff1a; 这道题目要求将一个二叉搜索树转换成一个排序的双向链表&a…

php连接sqlserver

1.使用工具 Wampserver--3.3 sqlserver2023 php7.4.33 2.连接流程 1.下载Microsoft Drivers for PHP for SQL Server 下载地址&#xff1a;下载 Microsoft Drivers for PHP for SQL Server - PHP drivers for SQL Server | Microsoft Learn 2.下载Microsoft ODBC Driver …

简记二分算法模板与代码案例:整数二分和浮点数二分

本文以 Java 语言实现&#xff0c;整理的代码模板适用于编程竞赛。对代码模板原理的讲解不多&#xff0c;主要记录一下如何使用。 目录 一、算法模板 &#xff08;1&#xff09;整数二分 &#xff08;2&#xff09;浮点数二分 二、例题 例题&#xff1a;acwing-789.数的范…