1. hadoop环境准备

news2024/10/6 20:34:27

环境准备

准备三台虚拟机,配置最好是 2C 4G 以上

本文准备三台机器的内网ip分别为

172.17.0.10
172.17.0.11
172.17.0.12

本机配置/etc/hosts

cat >> /etc/hosts<<EOF
172.17.0.10 hadoop01
172.17.0.11 hadoop02
172.17.0.12 hadoop03
EOF

本机设置与服务器地址免密登录

这一步可以设置也可以不设置,在mac电脑上设置免密登录比较方便

如果是通过工具入secure-crt那也可以记住密码就行

ssh-copy-id -i ~/.ssh/id_rsa.pub root@hadoop01
ssh-copy-id -i ~/.ssh/id_rsa.pub root@hadoop02
ssh-copy-id -i ~/.ssh/id_rsa.pub root@hadoop01

ssh root@hadoop01 测试看能不能登录

主机修改hostname

分别进入三台虚拟机,设置对应的hostname

hostnamectl set-hostname hadoop01
hostnamectl set-hostname hadoop02
hostnamectl set-hostname hadoop03

效果如图所示
hadoop01

主机配置hosts

与本机操作一样

cat >> /etc/hosts<<EOF
172.17.0.10 hadoop01
172.17.0.11 hadoop02
172.17.0.12 hadoop03
EOF
ping hadoop02
PING hadoop02 (172.17.0.11) 56(84) bytes of data.
64 bytes from hadoop02 (172.17.0.11): icmp_seq=1 ttl=64 time=0.195 ms
64 bytes from hadoop02 (172.17.0.11): icmp_seq=2 ttl=64 time=0.147 ms

网络时间同步

每台机器时间最好同步下,避免后面出现问题

查看是否有 ntpdate

which ntpdate

# 如果没有就安装
yum install ntpdate -y

统一时区上海时区

ln -snf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
bash -c "echo 'Asia/Shanghai' > /etc/timezone"

使用阿里服务器进行时间更新

# 使用阿里服务器进行时间更新
ntpdate ntp1.aliyun.com

查看当前时间

date
Thu Nov 16 10:08:47 CST 2023

配置jdk

由于hadoop以及zk都需要jdk环境,所以我们把jdk配置到全局访问路径下

我们就放在自己的目录下 /apps/svr

创建文件夹 mkdir -p /apps/svr

赋权 chmod -R 777 /apps/svr

上传jdk scp jdk.tar.gz root@hadoop01:/apps/svr

解压 tar -zxvf jdk.tar.gz

配置环境变量加到 /etc/bashrc 的最后面

export JAVA_HOME=/apps/svr/jdk
PATH=$PATH:$JAVA_HOME/bin
export PATH

source /etc/bashrc

查看java版本

java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

如上所示表示配置成功,其它两台机器一样的操作配置

总结

hadoop集群的环境准备就到这里,后面我们基于这套环境部署zk,hdfs,yarn


欢迎关注,学习不迷路!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1217390.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

java: 程序包XXX.XXX.XXX不存在解决方法

背景介绍&#xff1a; com.DXG.bean 来源于同一个项目底下的另一个包 问题所在&#xff1a; 明明已经引入了相关包 但是编译的时候报错&#xff1a;java: 程序包com.DXG.bean不存在 问题分析&#xff1a; 怀疑是拆模块以后引入相关包没有将相关包下载到本地maven仓库中 所以…

【408】计算机学科专业基础 - 操作系统

一、计算机系统概述 1.简介 什么是操作系统&#xff1f; 操作系统&#xff08;Operating Ststem&#xff0c; OS&#xff09;是指控制和管理整个计算机系统的硬件和软件资源&#xff0c;并合理地组织调度计算机的工作和资源的分配&#xff0c;以提供给用户和其他软件方便的接口…

Vue3实现 SKU 规格

效果图 1 HTML 基本结构 1.1 遍历 SKU 规格数据 <template><div class"productConten"><div v-for"(productItem, productIndex) in specifications" :key"productItem.name"><div class"productTitle">{…

56个Python技巧,轻松掌握Python高效开发!可以收藏~

1. 枚举 - enumerate 可以有参数哦 之前我们这样操作&#xff1a; i 0for item in iterable: print i, item i 1现在我们这样操作&#xff1a; for i, item in enumerate(iterable):print i, itemenumerate函数还可以接收第二个参数。就像下面这样&#xff1a; \>>…

三菱FX3U小项目—机床定时器延时启动

目录 一、项目描述 二、IO口分配 三、项目程序 四、总结 一、项目描述 为了防止工人操作失误&#xff0c;启动按钮需要按住1s后&#xff0c;设备才启动&#xff0c;启动后第一台电机启动10s后第二台电机自动启动&#xff0c;当按下停止按钮时&#xff0c;两台电机同时停止。…

OpenVPN服务器搭建与OpenVPN客户端访问

1.服务器搭建: 操作系统 ubuntu 22.04: 安装OpenVPN服务器前先更新系统 2.下载OpenVPN安装脚本: wget https://raw.githubusercontent.com/angristan/openvpn-install/master/openvpn-install.sh 3.给脚本运行权限: chmod +x openvpn-install.sh 4.运行脚本进行OpenVPN服务器…

这7个“小毛病”项目经理必须克服

大家好&#xff0c;我是老原。 项目经理干项目可能不在行&#xff0c;但“踩坑”、“背锅”一定在行。 当上项目经理不容易&#xff0c;当好项目经理更不容易&#xff0c;有永远填不完的坑和背不完的锅。 如果要问项目经理都踩过哪些坑&#xff0c;那真的是太多了&#xff0…

【创作活动】作为程序员的那些愚蠢瞬间

作为一名程序员&#xff0c;我相信你一定遇到过这种情况&#xff1a;在写代码的时候&#xff0c;遇到了一些bug&#xff0c;在当下怎么检查都查不出问题出现在哪&#xff0c;等过几天后突然发现困扰自己的问题原来这么简单&#xff0c;突然觉得自己很蠢。这种情况在我身上也发生…

制造企业MES管理系统解决方案的深化应用

随着制造业的发展&#xff0c;生产车间管理一直是企业面临的难题。生产过程繁忙而混乱&#xff0c;信息不流通&#xff0c;生产效率低下等问题频发。为了解决这些问题&#xff0c;企业管理者急需寻找有效的解决方案。这时&#xff0c;MES管理系统解决方案应运而生&#xff0c;成…

第四代智能井盖传感器:万宾科技助力城市安全

在繁华喧嚣的城市里人来人往&#xff0c;井盖作为基础设施的一个组成部分在路面上分布范围广。然而这些看似普通的井盖却存在着位移、水浸的风险&#xff0c;可能给我们的生活带来诸多不便&#xff0c;更会威胁到我们的人身安全。如何有效监测和管理井盖的状态&#xff0c;成为…

计算机毕业设计选题推荐-一周穿搭推荐微信小程序/安卓APP-项目实战

✨作者主页&#xff1a;IT研究室✨ 个人简介&#xff1a;曾从事计算机专业培训教学&#xff0c;擅长Java、Python、微信小程序、Golang、安卓Android等项目实战。接项目定制开发、代码讲解、答辩教学、文档编写、降重等。 ☑文末获取源码☑ 精彩专栏推荐⬇⬇⬇ Java项目 Python…

计算机视觉基础(8)——齐次坐标系与相机内外参

前言 本节我们将学习到透视投影、齐次坐标系等基础知识&#xff0c;在这些基础知识上&#xff0c;进一步了解到相机的参数&#xff0c;相机参数分为相机外参和相机内参&#xff0c;相机外参是从世界坐标系到相机坐标系&#xff0c;相机内参是从相机坐标系到图像坐标系。 一、透…

winform+access超市管理信息系统

说明文档 主要技术&#xff1a; 基于C#winform架构和access数据库 功能模块&#xff1a; 登陆和对access数据库的一些简单操作&#xff0c;只适合新手学习看看 运行环境&#xff1a; 运行需vs2013或者以上版本&#xff0c;sql server 2012或者以上版本。附送有运行说明文档。…

ROS Turtlebot3多机器人编队导航仿真

文章目录 前言一、Gzazebo中加载多台Turtlebot3机器人二、RVIZ中加载多个Turtlebot3机器人三.多机器人编队导航总结 前言 前面已经实现了在gazebo仿真环境中机器人一字型编队、三角形编队、N字型编队等仿真&#xff0c;接下来考虑多机器人编队在编队行进过程中的避障问题&…

EtherCAT从站EEPROM组成信息详解(3):字16-63邮箱、EEPROM信息

0 工具准备 1.EtherCAT从站EEPROM数据&#xff08;本文使用DE3E-556步进电机驱动器&#xff09;1 字10-63邮箱、EEPROM信息 1.1 字10-63组成规范 字10-63虽然包含的空间区域很大&#xff0c;但实际上仅包含引导状态下邮箱配置、标准邮箱配置、EEPROM大小、执行的SII标准版本…

无需API实现MySQL与巨量引擎的对接

通过数环通&#xff0c;您可以使用不到几分钟的时间即可实现MySQL与巨量引擎的对接与集成&#xff0c;从而高效实现工作流程自动化&#xff0c;降本增效&#xff01; 1.产品介绍 巨量引擎是字节跳动旗下的营销服务品牌&#xff0c;它整合了字节跳动旗下的产品及海量内容&#…

SQL自学三部曲_Part3:关于SQL必须要知道的一切

文章目录 一、关于SQL必须要知道的一切&#xff08;1&#xff09;SQL是什么?&#xff08;2&#xff09;你为什么要学SQL?&#xff08;3&#xff09;SQL到底要学什么? 二、 SQL学习的三个阶段&#xff08;1&#xff09;理解运行原理&#xff0c;串联核心语句&#xff08;2&am…

基于IDEA创建Maven工程及注意事项

Java全能学习面试指南&#xff1a;https://javaxiaobear.cn 1. 概念梳理Maven工程的GAVP Maven工程相对之前的项目&#xff0c;多出一组gavp属性&#xff0c;gav需要我们在创建项目的时候指定&#xff0c;p有默认值&#xff0c;我们先行了解下这组属性的含义&#xff1a; Ma…

Apache Airflow (八) :DAG任务依赖设置

&#x1f3e1; 个人主页&#xff1a;IT贫道_大数据OLAP体系技术栈,Apache Doris,Clickhouse 技术-CSDN博客 &#x1f6a9; 私聊博主&#xff1a;加入大数据技术讨论群聊&#xff0c;获取更多大数据资料。 &#x1f514; 博主个人B栈地址&#xff1a;豹哥教你大数据的个人空间-豹…