黑马大数据学习笔记2-HDFS环境部署

news2024/11/29 0:50:56

目录

  • 环境部署
    • hadoop-3.3.4.tar.gz
    • 构建软链接
    • 配置workers文件夹
    • 配置hadoop-env.sh文件
    • 配置core-site.xml文件
    • 配置hdfs-site.xml文件
    • 准备数据目录
    • 分发Hadoop文件夹
    • 将Hadoop的一些脚本、程序配置到PATH中
    • 授权为hadoop用户
    • 格式化整个文件系统
    • 查看HDFS WEBUI
    • 保存快照

https://www.bilibili.com/video/BV1WY4y197g7?p=22

环境部署

hadoop-3.3.4.tar.gz

Hadoop HDFS的角色包含:
NameNode,主节点管理者
DataNode,从节点工作者
SecondaryNameNode,主节点辅助

节点CPU内存服务
node11核心4GBNameNode、DataNode、SecondaryNameNode
node21核心2GBDataNode
node31核心2GBDataNode

node1节点执行,root身份登录
上传Hadoop安装包

通过finalshell软件直接拖拽上去

解压安装包到/export/server/

tar -zxvf hadoop-3.3.4.tar.gz -C /export/server

构建软链接

cd /export/server
ln -s /export/server/hadoop-3.3.4 hadoop

进入hadoop安装包内

cd hadoop

在这里插入图片描述
文件夹含义:

  • bin,存放Hadoop的各类程序(命令)
  • etc,存放Hadoop的配置文件
  • include,C语言的一些头文件
  • lib,存放Linux系统的动态链接库(.so文件)
  • libexec,存放配置Hadoop系统的脚本文件(.sh和.cmd)
  • license-binary,存放许可证文件
  • sbin,管理员程序(super bin)
  • share,存放二进制源码(Java jar包)

配置workers文件夹

workers文件是为了记录整个集群中哪几个服务器是我们的从节点。
进入配置文件目录

cd etc/hadoop

编辑workers文件

vim workers

删除localhost,添加以下内容

node1
node2
node3

配置hadoop-env.sh文件

vim hadoop-env.sh

添加以下内容

export JAVA_HOME=/export/server/jdk
export HADOOP_HOME=/export/server/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_LOG_DIR=$HADOOP_HOME/logs

JAVA_HOME,JDK环境的位置
HADOOP_HOME,Hadoop安装位置
HADOOP_CONF_DIR,Hadoop配置文件目录位置
HADOOP_LOG_DIR,Hadoop运行日志目录位置

配置core-site.xml文件

vim core-site.xml

添加configuration里面的内容

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://node1:8020</value>
	</property>
	
	<property>
		<name>io.file.buffer.size</name>
		<value>131072</value>
	</property>
</configuration>
  • key:fs.defaultFS
  • 含义:HDFS文件系统的网络通讯路径
  • 值:hdfs://node1:8020
    • 协议为hdfs://
    • namenode为node1
    • namenode通讯端口为8020

  • key:io.file.buffer.size
  • 含义:io操作文件缓冲区大小
  • 值:131072bit

  • hdfs://node1:8020为整个HDFS内部的通讯地址,应用协议为hdfs://(Hadoop内置协议)
  • 表明DataNode将和node1的8020端口通讯,node1是NameNode所在机器
  • 此配置固定了node1必须启动NameNode进程

配置hdfs-site.xml文件

vim hdfs-site.xml

添加内容

<configuration>
	<property>
		<name>dfs.datanode.data.dir.perm</name>
		<value>700</value>
	</property>
	
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>/data/nn</value>
	</property>
	
	<property>
		<name>dfs.namenode.hosts</name>
		<value>node1,node2,node3</value>
	</property>
		
	<property>
		<name>dfs.blocksize</name>
		<value>268435456</value>
	</property>
		
	<property>
		<name>dfs.namenode.handler.count</name>
		<value>100</value>
	</property>
		
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>/data/dn</value>
	</property>	
</configuration>
  • key:dfs.datanode.data.dir.perm
  • 含义:hdfs文件系统,默认创建的文件权限设置
  • 值:700,即:rwx------

  • key:dfs.namenode.name.dir
  • 含义:NameNode元数据的存储位置
  • 值:/data/nn,在node1节点的/data/nn目录下

  • key:dfs.namenode.hosts
  • 含义:NameNode允许哪几个节点的DataNode连接(即允许加入集群)
  • 值:node1,node2,node3

  • key:dfs.blocksize
  • 含义:hdfs默认块大小
  • 值:268435456(256MB)

  • key:dfs.namenode.handler.count
  • 含义:namenode处理的并发线程数
  • 值:100,以100个并发度处理文件系统的管理任务

  • key:dfs.datanode.data.dir
  • 含义:从节点DataNode的数据存储目录
  • 值:/data/dn,即数据存放在node1、node2、node3,三台机器的/data/dn内

准备数据目录

在node1节点:

mkdir -p /data/nn
mkdir -p /data/dn

在node2和node3节点:

mkdir -p /data/dn

分发Hadoop文件夹

从node1将hadoop安装文件夹远程复制到node2、node3

在node1执行

cd /export/server
scp -r hadoop-3.3.4 node2:`pwd`/
scp -r hadoop-3.3.4 node3:`pwd`/

在node2和node3执行
构建软链接

cd /export/server
ln -s /export/server/hadoop-3.3.4 hadoop
ll

将Hadoop的一些脚本、程序配置到PATH中

在node1、node2、node3中操作

vim /etc/profile

底部添加以下内容

export HADOOP_HOME=/export/server/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

生效

source /etc/profile

授权为hadoop用户

为了确保安全,hadoop系统不以root用户启动,我们以普通用户hadoop来启动整个Hadoop服务。
。。。前置章节已经创建了hadoop用户,并配置了hadoop用户之间的免密登录。。。
以root身份在三台服务器执行以下命令

chown -R hadoop:hadoop /data
chown -R hadoop:hadoop /export

在这里插入图片描述

格式化整个文件系统

在node1执行
切换到hadoop用户

su - hadoop

格式化namenode

hadoop namenode -format

验证

cd /data/
ll -h
cd nn
ll
cd current/
ll

在这里插入图片描述

上图说明格式化成功
启动
一键启动hdfs集群

start-dfs.sh

查看当前系统正在运行的java进程

jps

查看HDFS WEBUI

启动完成之后,可以在浏览器打开:
http://node1:9870,即可查看hdfs文件系统的管理页面。
整个Hadoop HDFS在运行的时候,会给我们提供一个管理平台页面,这个网站是namenode所在服务器的9870端口。
在这里插入图片描述

保存快照

一键关闭

stop-dfs.sh

退出hadoop用户

exit

三个服务器执行关机

init 0

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.coloradmin.cn/o/741686.html

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈,一经查实,立即删除!

相关文章

三分钟查看navicat保存的密码超详细

第一步&#xff1a;打开注册表 计算机\HKEY_CURRENT_USER\SOFTWARE\PremiumSoft\Navicat\Servers\3DEV 如图所示Pwd值就是所保存的密码 Navicat针对不同的数据库&#xff0c;它所存放的地点是不一样的 MySQL&#xff1a; HKEY_CURRENT_USER\Software\PremiumSoft\Navicat\Ser…

Video Path流程学习之路

RPC RPC指远程过程调用&#xff08;Remote Procedure Call&#xff09;&#xff0c;通俗一些理解就是两台服务器A、B&#xff0c;一个应用部署在A服务器上&#xff0c;想要调用B服务器上应用提供的函数/方法&#xff0c;由于不在一个内存空间&#xff0c;不能直接调用&#xf…

go-zero学习 第三章 微服务

go-zero学习 第三章 微服务 1 相关命令2 微服务代码实战2.1 基础代码2.2 API简单调用RPC服务2.3 服务注册/发现2.4 文件上传/下载&分组2.5 go-zero超时时间2.6 grpc服务端接收请求体大小限制2.7 grpc客户端接收响应体大小限制2.8 API和RPC服务拦截器2.9 服务间通过metadata…

平替笔和ipad笔差别大吗?主动式电容笔推荐

现在不少人开始用上了iPad&#xff0c;用来书写笔记&#xff0c;用来作画。再一个&#xff0c;现在很多iPad的使用者&#xff0c;追求的是实用性&#xff0c;认为要提高iPad的实用性&#xff0c;必须要有一个好的电容笔才行。事实上&#xff0c;如果你仅仅是拿来记笔记&#xf…

从零开始 Spring Boot 68:连接实体

从零开始 Spring Boot 68&#xff1a;连接实体 图源&#xff1a;简书 (jianshu.com) 在 JPA 中关联实体实际上对应表连接&#xff0c;而表连接可以通过内连接&#xff08;Inner Join&#xff09;、外连接&#xff08;Outer Join&#xff09;和 Where等方式实现&#xff0c;实际…

系统运维和网络运维有什么区别吗?

跟着互联网以及科技的高速开展&#xff0c;衍生出了许多的新奇职业&#xff0c;比方网络运维、网络安全运维。 从字面意思了解&#xff0c;两者之间没有什么太大区别&#xff0c;因而很多人很容易将两者混杂。 系统和网络运维有什么区别? 一个偏系统&#xff08;linux、doc…

cookiesession(会话技术)

会话技术 Http:超文本传输协议&#xff0c;不可靠。 ​ 不保持连接的协议。无状态的。 什么是会话 会话是在一次会话中包含多次请求和响应 一次会话&#xff1a;浏览器第一次给服务器资源发送请求&#xff0c;会话建立&#xff0c;直到有一方断开为止 会话的作用 由于Http是…

微服务之Eureka服务注册中⼼

关于务注册中⼼服 服务注册中⼼本质上是为了解耦服务提供者和服务消费者,尽可能量使两者联系可控在一定的范围外 1.在父项目下下引入 Spring Cloud 依赖 <dependencyManagement> <dependencies> <!-- SCN --> <dependency> <groupId> org.sp…

【记录】SMB|Windows下修改SMB端口并挂载

环境&#xff1a;Window11 使用背景&#xff1a;勒索病毒导致445端口不安全&#xff0c;故而该端口在服务器端被全面禁用了&#xff0c;如需使用SMB服务需要换个SMB服务端口。 方法1&#xff1a;端口转发 winx点开管理员权限的终端&#xff1a; 运行以下指令&#xff0c;检查…

ROS:URDF使用

目录 一、URDF集成Rviz&#xff08;实例讲解&#xff09;1.1需求1.2流程1.3code操作1.3.1创建功能包1.3.2编写 URDF 文件1.3.3在 launch 文件中集成 URDF 与 Rviz1.3.4在 Rviz 中显示机器人模型1.3.5优化 rviz 启动 二、URDF语法详解2.1robot2.1.1属性2.2.2子标签 2.2link2.2.1…

手把手教你玩转内存函数(含模拟实现)

目录 一、memcpy 1.认识memcpy 2.使用memcpy 3.拓展&#xff1a;模拟实现memcpy 二、memmove 1.认识memmove 2.使用memmove 3.拓展&#xff1a;模拟实现memmove 三、memcmp 1.认识memcmp 2.使用memcmp 四、memset 1.认识memset 2.使用memset 3.拓展&#xff1a;模…

【网络编程】应用层协议——HTTP协议

文章目录 一、HTTP协议基本认识二、URL的认识2.1 urlencode和urldecode 三、HTTP协议格式3.1 HTTP请求与响应格式3.2 如何保证请求和响应被应用层完整读取&#xff1f;3.3 请求和响应如何做到序列化和反序列化&#xff1f;3.4 代码验证请求格式3.5 代码验证响应格式3.5.1 telne…

小程序开发及生态丰富,还需要App吗?

微信小程序自2017年推出以来&#xff0c;其生态系统得到了迅速的发展和壮大。作为中国最大的社交平台之一&#xff0c;微信拥有庞大的用户基础。微信小程序作为微信生态系统的一部分&#xff0c;自然而然地吸引了大量用户。据对公开资料进行统计&#xff0c;2021年全网小程序数…

校园跑腿小程序:为学生提供便捷的服务

随着社会的发展和人们生活水平的提高&#xff0c;高等教育越来越受到重视。大学校园不仅是学习的地方&#xff0c;也是学生们日常生活的场所。然而&#xff0c;在繁忙的学业和生活压力下&#xff0c;学生可能经常面临诸如代购、快递、取餐等各种琐碎但繁琐的任务。基于这个需求…

ModaHub魔搭社区:AI原生云向量数据库Zilliz Cloud与 Cohere 集成搭建智能问答系统

目录 准备工作 主要参数 准备数据 创建 Collection 插入数据 测试问答 本文将演示如何使用 Zilliz Cloud 和 Cohere 搭建基于 SQuAD 数据集 的问答系统。其中,Zilliz Cloud 负责提供向量数据库,Cohere 负责提供获取指定文字向量表示的接口。 准备工作 本示例中的脚…

黑马前端三大件

文章目录 1.html1.1 标题标签1.2 段落标签1.3换行标签1.4 水平分割线标签1.5 文本格式化标签1.6 图片标签1.7 音频标签1.8 视频标签1.9 链接标签的介绍1.10列表标签1.10.1 无序列表1.10.2 无序列表1.10.3 自定义列表 1.11表格属性1.11.1表格的基本标签1.11.2 表格相关属性1.11.…

使用layui滑块slider遇到问题解决:1、加标尺2、兼容移动端拖拽1、多个滑块使用赋值4、切换箭头赋值问题

使用layui框架 滑块组件 slider 时遇到的问题&#xff0c;以下图为例&#xff0c;我创建了一个总滑块和3个滑块&#xff0c;改变总滑块可以控制滑块123&#xff1a; 1、我的需求是加上标尺&#xff0c;layui没有该功能&#xff0c;自己写了一个简单的,代码在下面。 2、移动端…

Linux:输入输出流、重定向、管道命令

相关文章 Linux&#xff1a;chgrp、chown、chmod权限属性更改指令 Linux&#xff1a; 磁盘状态观察命令lsblk、blkid Linux&#xff1a;df、du容量查询指令 1、标准流文件 数据流重定定向由字面上的意思来看&#xff0c;就是将数据定向到其他地方去&#xff0c;事实也是如此…

ModaHub魔搭社区:非结构化数据范式转变和示例

目录 范式转变——非结构化数据 非结构化数据示例 范式转变——非结构化数据 既然我们对结构化数据和半结构化数据有了清晰的理解,现在让我们开始谈谈非结构化数据。与结构化数据和半结构化数据不同,非结构化数据可以采取任何形式,可以有任意大小或尺寸,并需要大量的运行…

ModaHub魔搭社区:AI原生云向量数据库Zilliz Cloud与 HuggingFace 集成搭建问答系统

目录 准备工作 主要参数 创建 Collection 插入数据 测试问答 本文将演示如何使用 Zilliz Cloud 和 HuggingFace 搭建问答系统。其中,Zilliz Cloud 负责提供向量数据库,HuggingFace 负责提供获取指定文字向量表示的接口。 准备工作 本示例中的脚本需要安装 pymilvus,…