ubuntu虚拟机下搭建zookeeper集群,安装jdk压缩包,搭建Hadoop集群与spark集群的搭建【上篇】

news2025/1/20 1:39:43

系列文章目录

在vmbox里面安装Ubuntu16.04并且配置jdk以及Hadoop配置的教程【附带操作步骤】

虚拟机vmware下安装Ubuntu16.04修改屏幕尺寸与更新源,以及对应的安装vim和vim常见的操作

Hadoop与主机连接以及20版本的Hadoop配置网络的问题_hadoop连不上网

Hadoop升级update命令被锁定的解决方法_hadoop重新初始化被锁住怎么办

文章目录

前言

一、准备工作

二、配置三台主机之间的映射关系

三、建立三台虚拟机之间的ssh连接方便后续分发文件

3.1建立ssh连接

3.2、在slave1节点也同样建立ssh连接

3.3、在slave2节点也同样建立ssh连接

3.4、在master节点上将密钥.id_rsa.pub.改为id_master.pub

3.5、在slave1节点上将密钥.id_rsa.pub.改为id_master.pub

3.6、在slave2节点上将密钥.id_rsa.pub.改为id_master.pub

3.7、将slave1节点上修改过的密钥传到master节点

3.8、将slave2节点上修改过的密钥传到master节点

3.9、将传过来的id_master.pub ,id_slave1.pub, id_slave2写入到authorized_keys

3.10、在master节点上将authorized_keys文件分发到slave1,slave2节点

四、实现三台虚拟机之间的时间同步

五、搭建zookeeper集群

5.1、修改opt的用户权限为Hadoop:sudo chown -R Hadoop:Hadoop  /opt

5.2、下载zookeeper,将其上传到Hadoop里面

5.3、解压zookeeper:tar zxvf zookeeper-3.4.10.tar.gz

5.4、修改文件名:mv zookeeper-3.4.10 zookeeper

5.5、将文件移动到opt目录下面:mv zookeeper  /opt/

5.6、进入zookeeper下面的conf目录下:cd /opt/zookeeper/conf/

5.7、先修改zoo_sample.cfg 文件名:  cp   zoo_sample.cfg   zoo.cfg

5.8、编辑上面的文件:vim zoo.cfg【修改文件位置等等】

5.9、进入opt下的zookeeper里,创建zkdata和zkdatalog的文件

5.10、创建完成之后,进入zkdata里面,vim  myid【内容为一个数字,用来标识主机】

5.11、配置.bashrc文件时,先复制一份,再配置

5.12、分发zookeeper

5.13、修改myid【另外两台的id】

六、配置jdk环境

6.1、上传jdk

​6.2、解压缩文件:tar -zxvf jdk-8u321-linux-x64.tar.gz

6.3、移动jdk到opt目录:sudo mv jdk1.8.0_321/  /opt/

6.4、重新命名:sudo mv jdk1.8.0_321/ jdk

​6.5、进入系统目录下面的bashrc文件里面配置环境变量


前言

本文主要介绍在ubuntu虚拟机下搭建zookeeper集群,安装jdk压缩包。由于篇幅有限,集群配置Hadoop和spark将在下一小节介绍。

一、准备工作

首先在VMware软件里面安装好Ubuntu16.04,其次在里面安装好ssh和vim用于后面编写文件和上传文件,最后,需要克隆三台一样的虚拟机。

二、配置三台主机之间的映射关系

2.1、进入到etc下的network目录下修改interfaces文件

2.2、修改主机之间的映射关系

2.3、修改主机名称sudo vim hostname

slave2里面也是如此操作

三、建立三台虚拟机之间的ssh连接方便后续分发文件

3.1建立ssh连接

3.2、在slave1节点也同样建立ssh连接

3.3、在slave2节点也同样建立ssh连接

3.4、在master节点上将密钥.id_rsa.pub.改为id_master.pub

3.5、在slave1节点上将密钥.id_rsa.pub.改为id_master.pub

3.6、在slave2节点上将密钥.id_rsa.pub.改为id_master.pub

3.7、将slave1节点上修改过的密钥传到master节点

3.8、将slave2节点上修改过的密钥传到master节点

3.9、将传过来的id_master.pub ,id_slave1.pub, id_slave2写入到authorized_keys

3.10、在master节点上将authorized_keys文件分发到slave1,slave2节点

在master节点上使用ssh看是否能直接链接到slave2节点

在slave1节点上使用ssh看是否能直接链接到master节点

在slave1节点上使用ssh看是否能直接链接到slave2节点

在slave2节点上使用ssh看是否能直接链接到slave1节点

在slave2节点上使用ssh看是否能直接链接到master节点

四、实现三台虚拟机之间的时间同步

下面仅以一台展示

五、搭建zookeeper集群

5.1、修改opt的用户权限为Hadoop:sudo chown -R Hadoop:Hadoop  /opt

使用ll  /查看修改的权限

5.2、下载zookeeper,将其上传到Hadoop里面

scp zookeeper-3.4.10.tar.gz hadoop@192.168.215.140:/home/hadoop/

5.3、解压zookeeper:tar zxvf zookeeper-3.4.10.tar.gz

5.4、修改文件名:mv zookeeper-3.4.10 zookeeper

5.5、将文件移动到opt目录下面:mv zookeeper  /opt/

5.6、进入zookeeper下面的conf目录下:cd /opt/zookeeper/conf/

5.7、先修改zoo_sample.cfg 文件名:  cp   zoo_sample.cfg   zoo.cfg

5.8、编辑上面的文件:vim zoo.cfg【修改文件位置等等】

dataLogDir=/opt/zookeeper/zkdatalog

server.1=master:2888:3888

server.2=salve1:2888:3888

server.3=salve2:2888:3888

5.9、进入opt下的zookeeper里,创建zkdata和zkdatalog的文件

mkdir  zkdata与mkdir zkdatalog

5.10、创建完成之后,进入zkdata里面,vim  myid【内容为一个数字,用来标识主机】

5.11、配置.bashrc文件时,先复制一份,再配置

5.12、分发zookeeper

5.13、修改myid【另外两台的id】

六、配置jdk环境

6.1、上传jdk

scp jdk-8u321-linux-x64.tar.gz hadoop@192.168.215.140:/home/hadoop/

 6.2、解压缩文件:tar -zxvf jdk-8u321-linux-x64.tar.gz

6.3、移动jdk到opt目录:sudo mv jdk1.8.0_321/  /opt/

6.4、重新命名:sudo mv jdk1.8.0_321/ jdk

6.5、进入系统目录下面的bashrc文件里面配置环境变量

#配置Java环境变量

export JAVA_HOME=/opt/jdk

export JRE_HOME=/$JAVA_HOME/jre

export CLASSPATH=.:${JAVA_HOME}/lib:$JRE_HOME/lib

export PATH=$PATH:${JAVA_HOME}/bin

配置完成之后重启source .bashrc

 分发

 

 其他节点也要source一下

 

总结

大家在配置过程要书写正确的语句,要细心一点才不会出错奥~

以上就是今天的内容喽~

最后欢迎大家点赞👍,收藏⭐,转发🚀,
如有问题、建议,请您在评论区留言💬哦。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/427779.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

英文文档翻译软件-汉语文章翻译成英语

免费文章翻译软件的主要优点包括: 方便快捷:在线免费文章翻译软件使得翻译变得更加方便和快速,只需要将需要翻译的文本复制粘贴到输入框中,即可获取翻译结果。 费用低廉或免费:相对于一些专业的翻译服务或软件&#x…

AcWing语法基础班 1.1 变量、输入输出、表达式和顺序语句

预备知识 首先先来了解一下最简单的C代码。 本文的所有代码操作均在AcWing的AC Editor中 #include <iostream>using namespace std;int main(){cout << "Hello World" << endl;return 0; }然后使用编译&#xff08;点击调试&#xff0c;再点击运…

(3)基础强化:静态类静态成员,静态构造函数,抽象类抽象成员,值类型和引用类型,Ref

一、静态成员 1、方法重写注意事项 1&#xff09;子类重写父类方法时&#xff0c;必须与父类保持一致的方法签名与返回值类型。即: 方 法名、返回值类型、参数列表都必须保持一致。[访问修饰符也得一致] 2&#xff09;“方法签名”:一般是指…

Authing 新增 Gitee 、Github、抖音、快手、华为、小米、Gitlab、Oppo、Amazon、Slack、Line 等多种身份源

Authing 身份源新增&#xff1a; 移动端&#xff1a;Gitee 、Github、抖音、快手、华为、小米、Gitlab、Oppo、Amazon、Slack、LineWeb 端&#xff1a;Amazon 身份源提供商&#xff08;Identity Providers&#xff0c;简称 IdP&#xff09; 是一种身份认证服务&#xff0c;其主…

干货分享!提高项目执行力的六大方法

在当今竞争激烈的商业环境中&#xff0c;企业成功的关键在于实施高效的项目管理。项目执行力是一个企业能否在规定时间内交付高质量成果的重要因素。为了确保项目最终交付&#xff0c;企业需要采取以下措施提高项目执行力。 1、明确项目目标和时间表 首先&#xff0c;企业需要…

理解C语言中的空指针和野指针

在C语言中&#xff0c;指针是一个非常重要的概念&#xff0c;可以用于操作变量和数据结构。但是&#xff0c;指针也是很容易出错的地方。其中包括两种可能的错误&#xff1a;空指针和野指针。 空指针 空指针指代无效的地址&#xff0c;表示指针不指向内存中的任何一个合法对象…

[oeasy]python0133_变量名_标识符_identifier_id_locals

变量名 回忆上次内容 上次讲了 什么是变量变量变量 能变的量 就是变量 各种系统、游戏就是由变量所组成的 声明了变量 并且 定义了变量 声明就是 declaration 把标识符 和 具体值 联系起来标识符就是 变量的标记符具体值 就是 赋给变量的值 过程就是 赋值 就是 assignment 可…

【id:35】【20分】E. Stack(类与构造)

题目描述 上面是栈类的定义&#xff0c;栈是一种具有先进后出特点的线性表&#xff0c;请根据注释&#xff0c;完成类中所有方法的实现&#xff0c;并在主函数中测试之。 堆栈类的说明如下&#xff1a; 1. 堆栈的数据实际上是保存在数组a中&#xff0c;而a开始是一个指针&…

Linux操作基础(进程和计划任务管理)

文章目录一 、程序和进程的关系1.1程序1.2进程1.3进程和线程的关系二 、查看进程的命令2.1 ps命令2.11 ps aux2.12 ps -elf2.3 top 命令2.4 pgrep命令2.5 进程的启动方式2.51 手工启动2.52 调度启用进程的前后台调度终止进程的运行2.6 kill命令三 、计划任务管理3.1使用at命令&…

Java面试技巧之每天一个Tip——SpringBean生命周期和作用域?

Spring Bean是个「古老的」问题&#xff0c;似乎面试中已经不常见了。 但是&#xff0c;偶尔&#xff0c;面试者还是会遭遇到这个问题&#xff0c;以至于被打了个措手不及&#xff0c;一脸懵。 为了防止出现类似的情况&#xff0c;Tip一下大家&#xff0c;很简单的Tip&#x…

nginx (uos)

安装nginx apt install nginx php php-fpm -y 切换目录 cd /etc/nginx vim /etc/nginx/conf.d/proxy.conf server { listen 80; ssl_certificate "/etc/nginx/nginx.crt"; ssl_certificate_key "/etc/nginx/nginx.key"; …

项目1实现login登录功能方案设计第三版

需求优化点:MySQL表常用功能模块实现方案index页面home页面需求 实现一个登录功能 实现的功能 注册(邮箱注册)登录(邮箱密码)重置密码查看操作记录(登录, 注册, 重置密码, 登出. 都算操作)登出在第2版的基础上进行优化:\ 优化点: VerificationCode(验证码储存库): 增加时间字段…

LAMP框架的架构与环境配置

1.LAMP架构的相关知识 1.1 LAMP架构的概述 LAMP架构是目前成熟的企业网站应用模式之一&#xff0c;指的是协同工作的一整套系统和相关软件&#xff0c;能够提供动态Web站点服务及其应用开发环境。LAMP是一个缩写词&#xff0c;具体包括Linux操作系统、Apache网站服务器、MySQ…

追梦之旅【数据结构篇】——详解小白如何使用C语言实现堆数据结构

详解小白如何使用C语言实现堆数据结构 “痛”撕堆排序~&#x1f60e;前言&#x1f64c;什么是堆&#xff1f;堆的概念及结构堆的性质&#xff1a;堆的实现堆向下调整算法画图分析&#xff1a;堆向下调整算法源代码分享&#xff1a;向下调整建小堆向下调整建大堆堆向上调整算法…

矩阵求逆_高斯消元法

高斯消元法流程 首先必须要判断矩阵是不是一个方阵&#xff0c;其方法是对于一个矩阵AnnA_{n \times n}Ann​&#xff0c;先构造一个增广矩阵W[A∣E]W[A \mid E]W[A∣E]&#xff0c;其中EEE是一个nnn \times nnn的单位矩阵&#xff0c;这样WWW就成了一个n2nn \times 2nn2n的矩…

说说你对Event Loop(事件循环)的理解?

目录标题一、是什么二、事件循环三、宏任务和微任务微任务宏任务四、async与awaitasyncawait一、是什么 Javascript在设计之初便是单线程&#xff0c;即指程序运行时&#xff0c;只要一个线程存在&#xff0c;同一时间只能做一件事。 为了解决单线程运行阻塞问题&#xff0c;J…

【jvm系列-07】深入理解执行引擎,解释器、JIT即时编译器

JVM系列整体栏目 内容链接地址【一】初识虚拟机与java虚拟机https://blog.csdn.net/zhenghuishengq/article/details/129544460【二】jvm的类加载子系统以及jclasslib的基本使用https://blog.csdn.net/zhenghuishengq/article/details/129610963【三】运行时私有区域之虚拟机栈…

消息中间件Kafka分布式数据处理平台+ZooKeeper

目录 一.消息队列基本介绍 1.为什么需要消息队列&#xff08;MQ&#xff09; 2.使用消息队列的好处 2.1 解耦 2.2 可恢复性 2.3 缓冲 2.4 灵活性 & 峰值处理能力 2.5 异步通信 3.消息队列的两种模式 3.1 点对点模式 3.2 发布/订阅模式 二.Kafka基本介绍 1.Kaf…

【http】 get方法和Post方法区别;http和https

get方法和Post方法 get方法&#xff1a;通过url传参&#xff0c;回显输入的私密信息&#xff0c;不够私密 Post方法&#xff1a;通过正文传参&#xff0c;不会回显&#xff0c;一般私密性有保证。 一般如果上传的图片&#xff0c;音频比较大&#xff0c;推荐Post方法&#x…

Android中的AsyncTask

近期写了一个项目&#xff0c;在前台刷新界面的时候需要操作数据库&#xff0c;进行数据操作&#xff0c;在UI线程更新数据会导致ANR&#xff0c;程序十分卡&#xff0c;因此用了AsyncTask进行后台数据处理。 介绍 AsyncTask是一个用于在后台线程执行异步任务并在主线程更新U…