大数据技术学习笔记(二)—— Hadoop 运行环境的搭建

news2024/9/30 19:29:00

目录

  • 1 准备模版虚拟机hadoop100
    • 1.1 修改主机名
    • 1.2 修改hosts文件
    • 1.3 修改IP地址
      • 1.3.1 查看网络IP和网关
      • 1.3.2 修改IP地址
    • 1.4 关闭防火墙
    • 1.5 创建普通用户
    • 1.6 创建所需目录
    • 1.7 卸载虚拟机自带的open JDK
    • 1.8 重启虚拟机
  • 2 克隆虚拟机
  • 3 在hadoop101上安装JDK
    • 3.1 传输安装包并解压
    • 3.2 配置JDK环境变量
    • 3.3 测试JDK是否安装成功
  • 4 在hadoop101上安装Hadoop
    • 4.1 解压安装包
    • 4.2 配置Hadoop环境变量
    • 4.3 测试Hadoop是否安装成功

笔者使用镜像为:CentOS-7.5-x86_64-DVD-1804.iso

1 准备模版虚拟机hadoop100


CentOS-7.5-x86-1804为例,安装成功后:

1.1 修改主机名


查看当前主机名

hostname

修改当前主机名

vim /etc/hostname

修改主机名为 hadoop100

1.2 修改hosts文件


  1. 修改linux的主机映射文件(hosts文件)

编辑 /etc/hosts

vim /etc/hosts

添加如下内容

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105
  1. 修改windows的主机映射文件(hosts文件)

进入C:\Windows\System32\drivers\etc 路径,打开hosts文件并添加如下内容

192.168.10.100 hadoop100
192.168.10.101 hadoop101
192.168.10.102 hadoop102
192.168.10.103 hadoop103
192.168.10.104 hadoop104
192.168.10.105 hadoop105

1.3 修改IP地址

1.3.1 查看网络IP和网关


查看虚拟网络编辑器

在这里插入图片描述

查看windows环境的中VMnet8网络配置

在这里插入图片描述

1.3.2 修改IP地址


vim /etc/sysconfig/network-scripts/ifcfg-ens33

在这里插入图片描述

编辑完后,按键盘esc ,然后输入 :wq 回车即可。

重启网络

systemctl restart network

查看修改后的IP

ifconfig

或者

ip addr

1.4 关闭防火墙


关闭防火墙,并关闭防火墙开机自启

systemctl stop firewalld
systemctl disable firewalld

1.5 创建普通用户


创建普通用户huwei

useradd huwei

修改普通用户huwei的密码

passwd huwei

配置 huwei 用户具有 root 权限,方便后期加 sudo 执行 root 权限的命令

vim /etc/sudoers

esc,键入:set nu显示行号,找到91行,在 root 下面添加一行

在这里插入图片描述

esc,对该只读文件保存强制退出:wq!

1.6 创建所需目录


/opt 目录下创建 module、software 文件夹

mkdir /opt/module
mkdir /opt/software

修改 module、software 文件夹的所有者和所属组均为 huwei 用户

chown huwei:huwei /opt/module
chown huwei:huwei /opt/software

查看module、software文件夹的所有者和所属组

cd /opt/
ll

在这里插入图片描述

1.7 卸载虚拟机自带的open JDK


rpm -qa | grep -i java | xargs -n1 rpm -e --nodeps

1.8 重启虚拟机


reboot

2 克隆虚拟机


利用模板机 hadoop100,克隆三台虚拟机:hadoop101 、hadoop102、hadoop103

然后修改克隆机IP,以下以 hadoop101 举例说明。

修改IP地址,只需改 IPADDR=192.168.10.101

vim /etc/sysconfig/network-scripts/ifcfg-ens33

修改主机名为 hadoop101

vim /etc/hostname

重启!

暂时不考虑克隆 hadoop102、hadoop103

3 在hadoop101上安装JDK

3.1 传输安装包并解压


将 hadoop 和 jdk 通过传输工具上传到 /opt/software

在这里插入图片描述

切换到 /opt/software目录下,解压 jdk到 /opt/module目录下

cd /opt/software
tar -zxvf jdk-8u212-linux-x64.tar.gz -C ../module/

3.2 配置JDK环境变量


新建 /etc/profile.d/jdk.sh文件

sudo vim /etc/profile.d/my_env.sh

添加如下内容

# JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin

使环境变量生效

source /etc/profile

3.3 测试JDK是否安装成功


java -version

在这里插入图片描述

如果能看到以上结果,则代表 Java 安装成功!

4 在hadoop101上安装Hadoop

4.1 解压安装包


切换到 /opt/software目录下,解压 jdk到 /opt/module目录下

cd /opt/software
tar -zxvf hadoop-3.1.3.tar.gz -C ../module/

查看Hadoop目录结构

cd /opt/module/hadoop-3.1.3/
ll

在这里插入图片描述

重要目录

  • bin目录:存放对Hadoop相关服务(HDFS,YARN)进行操作的脚本
  • etc目录:Hadoop的配置文件目录,存放Hadoop的配置文件
  • lib目录:存放Hadoop的本地库(对数据进行压缩解压缩功能)
  • sbin目录:存放启动或停止Hadoop相关服务的脚本
  • share目录:存放Hadoop的依赖jar包、文档、和官方案例

4.2 配置Hadoop环境变量


编辑 /etc/profile.d/jdk.sh文件

sudo vim /etc/profile.d/my_env.sh

添加如下内容

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

使环境变量生效

source /etc/profile

4.3 测试Hadoop是否安装成功


hadoop version

在这里插入图片描述

如果能看到以上结果,则代表 Hadoop 安装成功!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/1129397.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

likeadmin部署

以下内容写于2023年9月17日,likeadmin版本 1.登录页404,且无法登录 参照官方教程部署后,访问登录页,能打开但提示404,点登录也是404,在issues中搜到新搭建的环境,登录管理后台,报re…

系统设计 - 我们如何通俗的理解那些技术的运行原理 - 第八部分:Linux、安全

本心、输入输出、结果 文章目录 系统设计 - 我们如何通俗的理解那些技术的运行原理 - 第八部分:Linux、安全前言Linux 文件系统解释应该知道的 18 个最常用的 Linux 命令HTTPS如何工作?数据是如何加密和解密的?为什么HTTPS在数据传输过程中会…

java通过IO流下载保存文件

我们在开发过程中,可能会遇到需要到远程服务器上下载文件的需求,一般我们的文件可能会有一个url地址,我们拿到这个地址,可以构建URLConnection对象,之后可以根据这个URLConnection来获取InputStream,之后&a…

C++ list 的使用

目录 1. 构造函数 1.1 list () 1.2 list (size_t n, const T& val T()) 1.3 list (InputIterator first, InputIterator last) 2. bool empty() const 3. size_type size() const 4. T& front() 4. T& back() 5. void push_front (const T& val) 6.…

【Java系列】Java 基础

目录 基础1.JDK和JRE的区别2.Java为什么不直接实现lterator接口,而是实现lterable?3.简述什么是值传递和引用传递?4.概括的解释下Java线程的几种可用状态? 中级1.简述Java同步方法和同步代码块的区别 ?2.HashMap和Hashtable有什么区别?3.简述Java堆的结构? 什…

生命礼赞,带动世界第三次文化复兴——非洲回顾篇

一个民族的复兴需要强大的物质力量,也需要强大的精神力量。大型玉雕群组《生命礼赞》是对中华民族伟大生命的讴歌,是对百姓美好生活的赞美,完美诠释了中华民族的伟大图腾,它象征着中华民族在党的带领下艰苦奋斗,江山稳…

嵌入式软件工程师面试题——2025校招专题(二)

说明: 面试题来源于网络书籍,公司题目以及博主原创或修改(题目大部分来源于各种公司);文中很多题目,或许大家直接编译器写完,1分钟就出结果了。但在这里博主希望每一个题目,大家都要…

美团动态ThreadPoolExecutor底层实现源码实战

开篇:介绍springboot连接nacos实现动态线程池,同时得安装nacos,同时代码将有两个模块,dtp-spring-boot-starter 与 user 模块,前者将是独立的动态线程池,可以引入自己的项目中,后者模块主要用于…

面试官:听说你很了解Java8特性,给我优化一下这段代码吧?

文章目录 前言我的想法面试官 前言 在之前的一次面试过程中,我被问到了一道代码优化题:对于下面的代码,你有什么优化的思路呢? boolean handleStrList(String strList){for (String s :strList){if(s.length()%20){return true;…

测试用例的设计方法(全):等价类划分方法

一.方法简介 1.定义 是把所有可能的输入数据,即程序的输入域划分成若干部分(子集),然后从每一个子集中选取少数具有代表性的数据作为测试用例。该方法是一种重要的,常用的黑盒测试用例设计方法。 2.划分等价类: 等价类是指某个输入域的…

祝各位程序员节日快乐

今天是1024程序员节,小编祝各位Windows开机蓝屏,Linux开机Kernel Panic,macos开机五国,服务器iDRAC/ iLO/IPMI/KVM全部失联,路由器全爆炸,路由表内存全溢出,交换机全环路,防火墙全阻…

Spring Security加密和匹配

一. 密码加密简介 1. 散列加密概述 我们开发时进行密码加密,可用的加密手段有很多,比如对称加密、非对称加密、信息摘要等。在一般的项目里,常用的就是信息摘要算法,也可以被称为散列加密函数,或者称为散列算法、哈希…

清华训练营悟道篇之浅谈操作系统

文章目录 前言系统软件执行环境操作系统的功能操作系统组成 前言 操作系统是一个帮助用户和应用程序使用和管理计算机资源的软件,它控制着嵌入式设备、更通用的系统(如智能手机、台式计算机和服务器)以及巨型机等各种计算机系统 系统软件 …

【模型部署】c++部署yolov5使用openvino

1. 推理方式 CPU推理GPU推理(要求电脑具备核显,即CPU中有嵌入显卡) 2. openvino依赖项下载 https://github.com/openvinotoolkit/openvino/releases 直接解压(随便放到哪个路径) 环境配置 ********(…

Text Classification via Large Language Models

Abstract 表达大模型在文本分类上做的不好。 原因: 1、处理复杂语境时缺少推理能力。(e.g… 类比、讽刺) 2、限制学习的上下文的token数。 提出了自己的策略: ** Clue And Reasoning Prompting (CARP).线索与推理提示** 1、能用prompt找到clue(语境线索…

Mysql进阶-存储引擎篇

MySQL体系结构 其他数据库相比,MySQL有点与众不同,它的架构可以在多种不同场景中应用并发挥良好作用。主要体现在存储引擎上,插件式的存储引擎架构,将查询处理和其他的系统任务以及数据的存储提取分离。 这种架构可以根据业务的需…

RK3568平台开发系列讲解(应用篇)串口应用编程之串口的使用步骤

🚀返回专栏总目录 文章目录 一、配置参数1.1、获取当前串口的配置参数1.2、修改和写入串口的配置参数二、模式2.1、输入模式2.2、输出模式2.3、控制模式2.4、本地模式2.5、特殊控制字符沉淀、分享、成长,让自己和他人都能有所收获!😄 📢 串口设备是嵌入式开发中最常用的…

Facebook批量注册如何做?一文教会你

我们都知道单个代理地址注册多个社媒账号,基本第二天都会进入到一个风控状态,要申诉或者封号,批量注册需要用不同的地址进行注册,推荐使用动态代理代理,下面是需要准备到的环境和材料以及注册的全流程。 一、环境需求 1、接码平…

STM32定时器介绍

STM32F103系列单片机定时器主要有:系统定时器SysTick,2个高级定时器TIM1和TIM8,4个通用定时器TIM2/3/4/5,2个基本定时器TIM6和TIM7。下面先简单介绍一下: 基本定时器:基本定时器只能计时,不能产…

MIT-BIH-AF 数据集开发库

目录 1 介绍数据集2 本博客函数库代码地址以及介绍读取dat,qrc,atr文件,获得 ECG_rpeaks,ann_aux_note,ann_sample,ECG0寻找时间点函数----signal_time_sample寻找R_R峰信号以及其位置----find_R_R_peak寻找 nR 峰信号以及位置---…