一、Hadoop初始化配置(final+ubuntu保姆级教程)

news2024/11/26 13:58:26

1、配置虚拟机

        三台虚拟机,分别为node1、node2、node3,内存分别为4G、2G、2G,现存最好为(>40G),如下:

2、修改主机名

分别打开三台虚拟机,root用户输入一下命令:

node1虚拟机输入:
hostnamectl set-hostname node1
node2虚拟机输入:
hostnamectl set-hostname node2
node3虚拟机输入:
hostnamectl set-hostname node3

3、验证

输入完成之后,刷新cmd窗口,可以看到主机名发生变化:

 

4、修改配置文件

(1)图形化界面修改

设置-》网络-》点击-》将ipv4调整为手动-》修改地址、子网掩码、网关、dns

(2)重启网络设置

先开关按钮,再重启网络:

sudo systemctl restart NetworkManager.service

(3)查看修改结果

5、修改主机的host文件

找到C盘下的如下目录:

C:\Windows\System32\drivers\etc

打开第一个hosts文件,在文件末尾输入三台虚拟机的IP地址,然后保存,分别为:

192.168.88.101 node1
192.168.88.102 node2
192.168.88.103 node3

6、finall shell连接

(1)建立连接

        因为已经在windows中配置过node1,所以这里主机名只需要输入node1即可,不需要输入IP地址。

(2)关闭防火墙

sudo ufw disable

(3)配置ssh

安装ssh服务器
sudo apt install openssh-server
安装ssh客户端
sudo apt install openssh-client

(4)配置root密码

        当你按照(1)中步骤连接时,会不断弹出密码框,这是因为在初始化Ubuntu时,我们只赋予了普通用户密码,并没有给与root用户密码,我们需要在Ubuntu中配置root用户密码:

sudo passwd root

(5)修改配置文件

        在root用户下,进入如下配置文件:

vim /etc/ssh/sshd_config

        找到PermitRootLogin……这一行:

        在这一行的下面添加如下语句:

PermitRootLogin yes

(6)重启ssh服务

systemctl restart sshd

(7)完成链接

7、修改Ubuntu中的hosts文件

(1)进入目录

vim /etc/hosts

(2)加入如下内容

192.168.88.101 node1
192.168.88.102 node2
192.168.88.103 node3

8、为root用户创建ssh免密登录配置

(1)配置

(2)生成密钥

        输入如下语句,一路回车即可:

 ssh-keygen -t rsa -b 4096

(3)验证

(4)授权免密登录

在node1下执行如下语句,这里以node1中执行为例

·node1到node1免密登录

ssh-copy-id node1

·node1到node2免密登录

ssh-copy-id node2

·node1到node3免密登录

ssh-copy-id node3

9、为普通用户创建ssh免密登录

(1)为三台虚拟机创建hadoop用户

adduser:会自动为创建的用户指定主目录、系统shell版本,会在创建时输入用户密码。
useradd:需要使用参数选项指定上述基本设置,如果不使用任何参数,则创建的用户无密码、无主目录、没有指定shell版本。

这里强烈建议使用adduser,否则会在生成密钥时,出现“文件不存在报错”

adduser hadoop

(2)将三台虚拟机切换到hadoop用户

su hadoop

(3)生成密钥

        一直回车键即可,记着,三台虚拟机都要再生成一次密钥

ssh-keygen -t rsa -b 4096

(4)授权免密登录

这里请参考8、(4)进行操作

10、配置java的JDK

(1)创建目录

(2)上传文件和解压

安装rz,上传压缩包

解压文件

 tar -zxvf jdk-8u391-linux-x64.tar.gz -C /export/server/

验证

(3)创建软连接

ln -s /export/server/jdk1.8.0_391 jdk

(4)修改配置文件

vim /etc/profile
在配置文件中加入:
export JAVA_HOME=/export/server/jdk
export PATH=$PATH:$JAVA_HOME/bin

刷新

 source /etc/profile

验证:

(5)删除操作系统自带的java

rm -f /usr/bin/java

(6)将刚刚下载java软连接到usr的bin文件中

ln -s /export/server/jdk/bin/java /usr/bin/java

验证

11、关闭防火墙和SELinux

(1)下载防火墙

apt install firewalld

 (2)关闭防火墙

systemctl stop firewalld
 systemctl disable firewalld

(3)关闭selinux

在安装selinux之后,输入如下,进入配置文件进行修改

 vim /etc/selinux/config

将文件第七行进行如上修改即可

12、修改时区

(1)安装ntp

apt install ntp

 (2)更新时区

rm -f /etc/localtime;sudo ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

(3)同步时间

ntpdate -u ntp.aliyun.com

(4)启动ntp

systemctl status ntp
systemctl enable ntp #开机自启

(5)验证是否开机自启动

yang@node1:~$ systemctl is-enabled ntp
enabled

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1170642.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

openLayers--绘制多边形、获取视图的中心点、获取当前地图等级、设置地图等级

openLayers绘制多边形、获取视图中心点 前言效果图1、导入LineString2、创建添加多边形3、定义多变形样式4、获取当前视图的中心点5、获取当前视图等级6、设置地图等级 前言 上一篇文章在vue项目中绘制了openlayers绘制了地图和标记点,本篇文章讲解openlayers绘制多…

Java医院HIS系统源码

Java医院HIS系统源码 项目描述 该项目是用springbootlayuishiro写的医院管理系统,该系统的业务比较复杂,数据库一共有36张表。项目的视频业务参考文档,都在百度云盘中。可以先看看视频和参考文档。 运行环境 jdk8mysqlIntelliJ IDEAmaven…

Docker学习——③

文章目录 1、Docker Registry(镜像仓库)1.1 什么是 Docker Registry?1.2 镜像仓库分类1.3 镜像仓库工作机制1.4 常用的镜像仓库 2、镜像仓库命令3、镜像命令[部分]4、容器命令[部分]4.1 docker run4.2 docker ps 5、CentOS 搭建一个 nginx 服…

英伟达显卡深度学习训练微调环境安装清单

可以考虑 安装完操作系统后,安装更新及其他基础软件如gcc cmake, 再安装英伟达几件套(这里列出了四个) 如果自带的python版本在3.8或以上,再安装python常用库。 python版本不能太低,看你要跑的代码的需求了…

Leetcode-70 爬楼梯

递归公式方法会出现超时(时间复杂度大于On^2) 方法一:依然使用递归思想,由于递归过程中会出现反复计算问题,所以定义两个变量分别记录f(n-1)和f(n-2)的值,避免重复计算,减小时间复杂度 class …

mysql索引深度学习

索引是什么? 索引是一种用于加快查询和索引的数据结构,其本质上就是一种排序好的数据结构,就类似书的目录。 索引的底层有多种实现的结构:b树,b树,Hash,红黑树。InnoDB和MyISAM的索引都是通过…

【安全】Java幂等性校验解决重复点击(6种实现方式)

目录 一、简介1.1 什么是幂等?1.2 为什么需要幂等性?1.3 接口超时,应该如何处理?1.4 幂等性对系统的影响 二、Restful API 接口的幂等性三、实现方式3.1 数据库层面,主键/唯一索引冲突3.2 数据库层面,乐观锁…

Flink SQL 窗口聚合详解

1.滚动窗⼝(TUMBLE) **滚动窗⼝定义:**滚动窗⼝将每个元素指定给指定窗⼝⼤⼩的窗⼝,滚动窗⼝具有固定⼤⼩,且不重叠。 例如,指定⼀个⼤⼩为 5 分钟的滚动窗⼝,Flink 将每隔 5 分钟开启⼀个新…

Activiti7工作原理

Java Activiti是一个开源的工作流引擎,用于管理和执行业务流程。 它是基于BPMN 2.0标准的,提供了丰富的功能和灵活性。 Java Activiti的工作原理如下: 1.Java Activiti 流程建模 使用BPMN 2.0标准的图形化编辑器,可以创建和定义…

基于饥饿游戏算法的无人机航迹规划-附代码

基于饥饿游戏算法的无人机航迹规划 文章目录 基于饥饿游戏算法的无人机航迹规划1.饥饿游戏搜索算法2.无人机飞行环境建模3.无人机航迹规划建模4.实验结果4.1地图创建4.2 航迹规划 5.参考文献6.Matlab代码 摘要:本文主要介绍利用饥饿游戏算法来优化无人机航迹规划。 …

Docker容器技术实战3

8、docker原生网络 Docker原生网络基于Linux桥接技术和虚拟网络接口,使用了Linux内核的网络功能。每个Docker容器都有自己的网络命名空间,这使得容器之间可以使用独立的IP地址,并隔离了容器的网络栈。 当创建一个Docker原生网络时&#xff…

Apache Flink 1.12.0 on Yarn(3.1.1) 所遇到的問題

Apache Flink 1.12.0 on Yarn(3.1.1) 所遇到的問題 新搭建的FLINK集群出现的问题汇总 1.新搭建的Flink集群和Hadoop集群无法正常启动Flink任务 查看这个提交任务的日志无法发现有用的错误信息。 进一步查看yarn日志: 发现只有JobManager的错误日志出现了如下的…

JOSEF约瑟 数显三相电压继电器 HJY-931A/D 导轨安装

名称:数字交流三相电压继电器型号:HJY-93系列品牌:JOSEF约瑟电压整定范围:10~450VAC额定电压:200、400VAC功率消耗:≤5W HJY系列 数字交流三相电压继电器 系列型号 HJY-931A/D数字式交流三相电压继电器&am…

吴恩达《机器学习》5-6:向量化

在深度学习和数值计算中,效率和性能是至关重要的。一个有效的方法是使用向量化技术,它可以显著提高计算速度,减少代码的复杂性。接下来将介绍向量化的概念以及如何在不同编程语言和工具中应用它,包括 Octave、MATLAB、Python、Num…

lvgl生成图片

网址:https://lvgl.io/tools/imageconverter CF_TRUE_COLOR:可以生成565,232,等多种形式的数组,选择Carray,会生成C数组。

2023.11.2事件纪念

然而造化又常常为庸人设计,以时间的流逝,来洗涤旧迹,仅以留下淡红的血色和微漠的悲哀。 回顾这次事件,最深的感触就是什么是团队的力量! 当我们看到希望快要成功的时候,大家洋溢出兴奋开心的表情,一起的欢声笑语;但看…

抖音群控软件的作用是什么?

随着智能手机的普及和社交媒体的兴起,抖音成为了人们日常生活中不可或缺的一部分,许多人都通过抖音平台分享自己的生活、展示才艺、开展商业活动等。 然而,要想在抖音上获得更多的关注和收益,需要投入大量的时间和精力&#xff0…

【C语言初学者周冲刺计划】3.2将一个数组中的值逆序重新存放

目录 1解题思路&#xff1a; 2代码 3运行代码如图&#xff1a; 4总结&#xff1a; 1解题思路&#xff1a; 首先学会如何利用循环输入位数和输入数值&#xff0c;然后再利用循环逆序即可 2代码 #define _CRT_SECURE_NO_WARNINGS #include<stdio.h> int main() { int…

佳易王钟表铭表维修养护拍图留存查询手表保养跟踪记录系统软件下载

佳易王钟表铭表维修养护拍图留存查询手表保养跟踪记录系统软件下载 【软件试用版下载、软件资讯或技术支持服务可以点击文章最下方官网】 佳易王钟表养护维修管理系统V16.3&#xff0c;录入维修订单&#xff0c;维修进度查询&#xff0c;会员活动方案&#xff0c;打印服务报…

并发安全问题之--锁失效和锁边界问题

并发安全问题之–锁失效和锁边界问题 此处为新增insert无法在SQL中通过数量限制(除非插入SQL中有子查询)&#xff0c;上面改进的乐观锁失效&#xff08;前一节的乐观锁适合修改数据&#xff09; 故使用悲观锁&#xff0c;synchronized如果加在方法上范围是this是整个service&…